X 情感分析:为什么短文本上准确率会掉

19 min readSocialAPI 工程团队

X 情感分析:为什么短文本上准确率会掉

推文情感分析是社交数据上需求最多、也最不可靠的东西。管道很简单——取文本、跑模型、把分数平均。问题在于你得到的那个数字通常没有它看起来那么可信,而输出里没有任何东西会告诉你这一点。

我们宁愿把这话说直白,也不想把它当卖点:★短文本上的自动情感分析不可靠到——你应该围着这个不可靠性做设计,而不是忽略它。★ 这篇讲它在哪里失效、什么真的有用、以及怎么诚实地汇报一个情感数字。

需要先解决采集的话,监控关键词讲怎么拿到文本。这篇假设你手上已经有帖子,正在决定拿它们做什么——有个免费 demo 端点,可以先拉一批真实样本来标注。


为什么短文本很难

情感模型大多是在评论上训练的——商品评论、影评、餐厅评论。那些文本长、明确、而且是为了表达观点而写的。推文一样都不是。

四种具体的失效方式,大致按危害程度排序:

★讽刺和反话。★ 「哦太好了,又挂了」会因为「太好了」被打成正面。这不是预处理能解决的问题,它需要文本里没有的上下文。而在那些容易招来抱怨的话题上——也就是大多数品牌监控场景——讽刺常见到足以把整体分数带偏。

否定的作用范围。 「不难吃」和「不好吃」差一个字、意思反过来。基于词典的打分器处理得很差;transformer 模型好一些,但也不完美。

★领域内倒转的词汇。★ 在加密和游戏圈,「这太疯了」是赞美。在金融语境里,「激进」常常是中性偏正面。通用模型按日常用法打分,于是把符号搞反——而且是一贯地搞反,这更糟,因为★一贯的偏差不会在平均里被抹掉★。

长度本身。 一条 40 字的帖子能给模型的东西非常少。置信度分数却仍然很高而准确率在掉,所以模型不会警告你。

★★值得内化的后论:这里的误差是「有偏的」,不是「随机的」。★★ 随机误差在几千条上平均会相互抵消。一个系统性误读抱怨里讽刺的模型,会把你的整体值朝一个方向推——而任何样本量都修不了这个。


哪些预处理有用,哪些没用

import re

URL  = re.compile(r'https?://\S+')
MENT = re.compile(r'@\w+')
HASH = re.compile(r'#(\w+)')
WS   = re.compile(r'\s+')

def preprocess(text: str) -> str:
    text = URL.sub(' ', text)            # URL 不携带情感
    text = MENT.sub(' ', text)           # @用户名是噪声, 而且泄露身份
    text = HASH.sub(r'\1', text)         # 保留那个「词」, 去掉 #
    return WS.sub(' ', text).strip()

★话题标签要留词、去符号。★ #失望 就是整条帖子的情感。把标签整个删掉——很多教程就是这么做的——等于删掉了信息量最大的那个 token。

★不要删 emoji。★ 在短帖子里它们常常是唯一没有歧义的情感信号,而现代模型会用它们。删掉它们是个常见且昂贵的条件反射。

也不要全部转小写(如果你用 transformer 模型)。全大写携带强度,而带大小写的模型就是带着这个信息训练的。

没用的那些: 词干提取和停用词过滤。两者对词袋模型有用,对 transformer 则是主动有害的——它需要真实的词,★包括那些携带否定含义的停用词★。


汇总之前先去重

★这是会静默作废你结果的那个错误,而且它跟模型压根没关系。★

转推携带原文。 如果 500 个账号转了一条愤怒的帖子、而你给这 500 条都打了分,你就把一个观点数了 500 遍——而你的「情感」测的主要是这一条帖子的传播量。

def dedupe_for_sentiment(posts):
    """一个观点, 一票。"""
    seen_text, out = set(), []
    for p in posts:
        if p.get("is_retweet"):
            continue                      # 原帖已经在你的集合里了
        key = preprocess(p["text"]).lower()
        if not key or key in seen_text:
            continue                      # 近乎相同的复制粘贴
        seen_text.add(key)
        out.append(p)
    return out

★「排除转推」和「归一化文本去重」是两个独立的过滤器,两个都需要。★ 协同发帖和复制粘贴会从不同账号产出近乎相同的文本,这能通过转推检查,但仍然不是独立观点。

想要按传播量加权的情感,那是个刻意的选择——明确地按粉丝数加权,而不是让转推量意外地替你加权。


诚实地汇报

单一的情感百分比几乎总是在夸大。 三件事能让输出站得住:

★报出中性那一档,而且要单独报。★ 大多数话题下的大多数推文是中性的。一个被迫二选一的模型会把它们任意分配,而藏掉中性的「62% 正面」是个没有意义的数字。

★追趋势,不要追绝对值。★ 绝对准确率很差;变化方向更稳健,因为一贯的偏差对两次测量影响相同、在差值里会部分抵消。

def sentiment_report(scored):
    n = len(scored)
    if n < 30:
        return {"status": "insufficient_sample", "n": n}   # 说出来, 不要猜

    pos = sum(1 for s in scored if s["label"] == "positive")
    neg = sum(1 for s in scored if s["label"] == "negative")
    neu = n - pos - neg
    low_conf = sum(1 for s in scored if s["score"] < 0.7)

    return {
        "n": n,
        "positive_pct": round(100 * pos / n, 1),
        "negative_pct": round(100 * neg / n, 1),
        "neutral_pct":  round(100 * neu / n, 1),
        "low_confidence_pct": round(100 * low_conf / n, 1),  # ← 诚实字段
    }

★low_confidence_pct 是让你不出事的那个字段。★ 如果你 40% 的分类置信度低于 0.7,那个头条百分比就不该在不带这个前提的情况下展示。把它摆出来,意味着看你看板的人能自己校准,而不是把一个弱信号当成强信号。

★低于约 30 条时返回 insufficient_sample★ 比看起来更重要。在六条推文上算出来的情感分数是带小数点的噪声,而这恰好就是有人会截图进 PPT 的那种情况。


拿你自己的标注来验证

公开的基准准确率不会迁移到你的话题上。 唯一有意义的数字是在你自己数据上测出来的:

  1. 从你真实的查询里抽 100–200 条。
  2. 自己标注——正面、负面、中性。
  3. 跑你的模型,比对。
  4. ★看混淆矩阵,不要只看准确率。★

★混淆矩阵才是你找到偏差的地方。★ 75% 的整体准确率能藏住「几乎每一条讽刺性抱怨都被判成正面」——而对品牌监控来说,那正是最要紧的那种错误。一下午的手工标注,比任何模型对比都更能告诉你这事行不行。

如果在你的话题上准确率算出来约 60%,这也是有用的信息:★把模型用于分流和趋势方向,不要用于向会据此行动的人汇报一个数字。★


什么时候压根不该用情感分析

有些人们指望情感分析回答的问题,用可量化的东西回答更好:

问题 更好的工具
这事炸了吗? 帖子数量随时间变化——不需要模型
大家生气了吗? 回复/点赞比;回复多而赞少通常意味着反对
这事在扩散吗? 转推数和引用数
大家在说什么? 按互动量读前 20 条。真的。

★数量是比情感更可靠的警报。★ 提及量 10 倍暴涨是没有歧义的、不需要分类器;而「情感下降了 8%」可能只是模型的假象。要检测「有事发生了」,先计数、后分类——而按数量告警压根不需要模型。

那个比例启发式也值得知道——引用往往比回复携带更强的观点,因为写一条引用需要更多力气。回复 vs 引用讲了其中机制。


我们返回完整帖子正文并把互动数内联带上,所以一次调用既给你要分类的文本、也给你用来做合理性校验的指标。用 Google 一键注册送 $0.20 额度、不用信用卡——够你拉一批真实样本、手工标注一遍,再决定情感分析值不值得进你的管道。


常见问题

推文情感分析有多准? 比公开基准暗示的低,因为那些是在长评论上测的。在你自己话题的 100–200 条手工标注上测——那才是唯一值得引用的数字。

为什么推文比评论难? 长度、讽刺、领域词汇。 评论长而且是为表达观点写的;一条 40 字的帖子几乎什么都没给模型,而且常常字面意思相反。

模型能识别讽刺吗? 不可靠。 讽刺需要文本不携带的上下文,而它恰好在人们最想监控的那些多抱怨话题里最常见。

在几千条上取平均能抹掉误差吗? ★不能,而这是关键的误解。★ 这些误差是有偏的而不是随机的——误读讽刺的模型把整体值朝一个方向推,样本量帮不上。

该删掉话题标签吗? 去掉 #,留下那个词。 #失望 常常是帖子里最清晰的情感信号,整个删掉等于扔掉你最好的 token。

该删 emoji 吗? 不该。 在短帖子里它们常常是唯一没有歧义的信号,而现代模型就是被训练来用它们的。

该把文本转小写吗? transformer 模型不要——全大写携带强度,而带大小写的模型是带着这个信息训练的。老式词袋方法上影响较小。

词干提取有用吗? 没用,而且对 transformer 有害。 停用词过滤同理:★停用词携带否定含义,而那恰恰是你不能丢的东西。★

为什么必须排除转推? 因为转推是同一段文本。 给一条愤怒帖子的 500 条转推打分等于把一个观点数了 500 遍,把你的情感指标变成了传播指标。

排除转推就够去重了吗? 不够。 复制粘贴和协同发帖会从不同账号产出近乎相同的文本,这能通过转推检查。还要在归一化文本上去重。

该按粉丝数给情感加权吗? 只有在你明确决定这么做时。 风险在于让转推量意外地替你加权——那是同一件事,只是没有意图。

为什么要单独报中性那一档? 因为大多数话题下的大多数帖子是中性的,而被迫二选一的模型会任意分配它们。藏掉中性会让头条数字变得没有意义。

该报绝对值还是趋势? 趋势。 绝对准确率很差,但一贯的偏差对相邻两次测量影响相同、在差值里会部分抵消。

最小样本量是多少? 约 30 条,百分比才有意义,趋势则需要更多。低于这个数就返回「样本不足」而不是一个数字——小样本分数正是最后会进 PPT 的那种。

low_confidence_pct 是干什么的? ★诚实。★ 如果 40% 的分类置信度低于 0.7,头条数字就需要带上这个前提,否则读者会把弱信号当强信号。

怎么在我的话题上验证情感模型? 从真实查询里手工标注 100–200 条然后比对。 一下午的标注胜过任何程度的模型挑选。

为什么要看混淆矩阵而不是准确率? 因为 75% 的准确率能藏住「几乎每条讽刺性抱怨都被读成正面」——而对品牌监控来说那正是最要紧的错误。

准确率到多少才能对外汇报? 如果在你自己数据上接近 60%,那就只用于分流和方向。 从一个弱模型里报出一个精确数字,正是看板误导人的方式。

通用模型够用,还是需要微调? 通用模型作为分流起点是合理的。 在你的领域上微调才能修掉倒转的词汇——在加密或游戏圈,「疯了」是赞美。

该改用 LLM 吗? 它们对否定和上下文的处理好于词典打分器,代价是单条成本更高。验证要求完全一样:在你标注的样本上测,不要相信一个泛泛的说法。

有比情感更便宜的信号吗? ★数量。★ 提及量 10 倍暴涨没有歧义、不需要模型。要检测「有事发生了」,先计数、后分类。

不用情感分析怎么判断大家生气了? 看回复相对于点赞的比例。 回复多而赞少通常意味着反对,而引用往往比回复携带更强的观点。

能直接从 API 拿到情感结果吗? 我们返回文本和互动数,分类由你来跑。 这是刻意的——一个我们用通用模型算出来的分数会带着上面描述的全部问题,而你却看不见它们。

要先做语言识别吗? 要。 大多数情感模型是特定语言的,拿英文模型给非英文文本打分会产出自信的胡话。分类之前先按语言过滤。

推文情感管道最大的那个错误是什么? ★在一个没验证过的模型上、对一个没做任何去重的样本、报出一个精确百分比。 这三件事单独出现都还能活,合在一起会产出一个自信地错误的数字。★


搭管道之前先手工标注 200 条——如果准确率撑不起来,你就省下了一个不该被信任的看板。用 Google 注册送 $0.20 额度、不绑卡,够你拉这批样本。