追踪 X 数据：采样频率就是实验设计
追踪 X 数据：采样频率就是实验设计
做数据追踪器看起来是个定时任务问题。选个间隔、记下数字、画出图表。
它其实是个测量问题，而你选的那个间隔会悄悄决定你能回答哪些问题。 按天采样，你永远看不到「大部分互动发生在前三小时」——不是因为它没发生，而是因为你的数据没法显示它。图表会很平滑、很合理，而且在你最想知道的那件事上是错的。
这篇讲怎么刻意地选这个间隔，以及拿到数据之后哪些数字经得起比较。
需要先搞存储层的话，表结构决策在这之前。这篇假设数据已经在入库，问的是它能证明什么——有个免费 demo 端点，可以先看看一次观测里有什么。
采样频率的代价，用数字说
X 上的互动高度前倾。下面的数字来自一个饱和衰减模型、不是实测的 X 数据——请把「形状」当成重点，把具体百分比当成示意。设一条最终 1,000 次互动的帖子：
| 发布后小时 | 已累积互动 |
|---|---|
| 1 | 21% |
| 3 | 50% |
| 6 | 75% |
| 12 | 94% |
| 24 | ~100% |
★最终数字的一半在前三小时内落地。★ 现在拿同一条曲线用三种间隔采样，各自问它「峰值每小时速率是多少」：
| 采样间隔 | 观测到的峰值速率 | 误差 |
|---|---|---|
| 每小时 | 206 / 小时 | — |
| 每 6 小时 | 125 / 小时 | −39% |
| 每天 | 41 / 小时 | −80% |
★按天采样把峰值低估了 5 倍。★ 这个比例是「取平均」这件事本身的性质，不是这条特定曲线的性质：任何前倾序列按 24 小时间隔采样，都会以同样方式丢掉它的尖峰。这不是噪声，而且在分析阶段修不回来。 如果你的问题是「我的内容起量有多快」，按天的追踪器在任何样本量下都答不了。
反过来也成立，而且值得说，因为它省钱：★如果你的问题是「这个账号这几个月的走势」，按小时采样什么都买不到★，却要花 24 倍的请求。让频率去匹配问题。
| 你的问题 | 频率 | 为什么 |
|---|---|---|
| 一条帖子起量多快？ | 15–60 分钟，只在头 24 小时 | 尖峰在第 0–6 小时 |
| 哪些帖子表现更好？ | 48 小时时测一次 | 互动已基本稳定 |
| 这个账号在涨吗？ | 每天 | 粉丝数变化很慢 |
| 竞品对标 | 每天 | 可比性比分辨率更重要 |
★好用的模式是分层的★：对新帖子高频采样一天，然后停掉。 上个月的帖子不需要按小时观测——它已经不变了。
哪些数字真的可比
有数据不等于比较成立。 三个坑，按被踩的频率排序：
跨账号比原始计数是没有意义的。 一个 200 万粉的账号拿 500 赞是表现不佳；一个 5 千粉的账号拿 500 赞非常好。比较之前先归一化，而且要明说分母是什么——选粉丝数还是选浏览数会改变答案，展示量到底是什么在这里很要紧。
view_count 和其他数字不是同一类数。 它通常大两到三个数量级、计数方式不同，而且不是每条帖子都有。把它和点赞放在同一个坐标轴上，结果是点赞变成一条贴着零的直线。
帖龄压倒一切。 今早的帖子和上周的帖子在原始互动上完全不可比。要么按帖龄对等比较，要么只比较已经稳定的帖子。
def comparable_engagement(post, min_age_hours=48):
"""宁可返回 None, 也不要返回一个你自己都不信的数字。"""
age_h = (now() - parse_created_at(post["created_at"])).total_seconds() / 3600
if age_h < min_age_hours:
return None # 太新了 —— 说出来, 不要猜
views = post.get("view_count") or 0
if not views:
return None # 没有分母就没有比率
inter = (post.get("like_count", 0) + post.get("retweet_count", 0)
+ post.get("reply_count", 0) + post.get("quote_count", 0))
return inter / views
★返回 None 胜过返回一个你不相信的数字。★ 一个会为三小时前的帖子默默算出互动率的追踪器，会给你看一条纯粹是帖龄造成的趋势，而这个一旦进了图表就非常难发现。
把真实变化和噪声分开
X 上的计数会往下走。取消点赞会发生、账号会被封、帖子会被删。一个把每次下降都当成事件的追踪器会不停地叫你。
def is_real_change(prev, curr, min_abs=5, min_rel=0.02):
"""绝对值和相对值两个阈值都要满足。"""
delta = abs(curr - prev)
if delta < min_abs:
return False # 任何东西涨 3 个赞 = 噪声
if prev and delta / prev < min_rel:
return False # 10,000 上涨 50 = 噪声
return True
★是「两个条件都要」，不是「任一」。★ 只用绝对阈值会在大账号上把你淹掉，那里 50 个赞什么都不算。只用相对阈值会在小账号上把你淹掉，那里 2 涨到 4 就是 100%。两个都要，才让信号在不同账号规模上都可用。
突然掉到零通常不是互动流失——而是帖子被删或账号被封。把它当成一个要去查的状态变化，不是一个要画进图表的指标。
粉丝数是缓存值
这个会绊住做增长看板的人：资料页上的粉丝数不是实时数字。它是缓存的、按自己的节奏刷新，而且不会和你刚刚遍历出来的粉丝列表对得上。
两个后果：
不要用相隔几分钟的两次快照算日增——你测的是缓存刷新，不是关注行为。粉丝增长的采样至少要隔一天才有意义。
和列表导出之间的小幅差异是预期的。 大账号上千分之几是正常的，导出粉丝那篇讲过。如果你的看板把这个标成 bug，你会永远追着它跑。
一个分层采集器
import time
from datetime import datetime, timedelta, timezone
HOT_WINDOW_H = 24 # 高频采样窗口
HOT_INTERVAL_S = 900 # 每 15 分钟
COLD_INTERVAL_S = 86400 # 每天, 用于账号级数据
def due_for_sample(post, last_sampled):
age = datetime.now(timezone.utc) - post["created_at"]
if age < timedelta(hours=HOT_WINDOW_H):
return (time.time() - last_sampled) >= HOT_INTERVAL_S
return False # 已稳定: 停止采样这条帖子
def collect(api, username, state):
posts = api.user_last_tweets(username, limit=50)
hot = [p for p in posts if due_for_sample(p, state.last.get(p["id"], 0))]
for p in hot:
record_metrics(p) # 追加一条观测
state.last[p["id"]] = time.time()
# 账号级数字走更慢的时钟
if time.time() - state.last_profile >= COLD_INTERVAL_S:
record_profile(api.user_info(username))
state.last_profile = time.time()
★老帖子那个 return False 就是成本控制。★ 没有它，每一条发过的帖子都会永远留在采样轮转里，你的请求数无界增长而什么新信息都不给你。一个按小时采样一万条历史帖子的追踪器，几乎把全部预算花在重读没动过的数字上。
一个请求返回最多 50 条帖子、互动数随帖附带，所以热窗很便宜：每个账号每间隔一次调用就覆盖了全部近期帖子。这笔账在批量化请求里。
我们的 API 把互动数随每条帖子一起返回，所以一次时间线调用就是一次完整观测，而不是 N 个后续请求。用 Google 一键注册送 $0.20 额度、不用信用卡——够你对一个真实账号采一天、在定频率之前先看清曲线的形状。
常见问题
X 数据该多久采样一次？ 按问题定，不要按习惯定。 起量速度需要头 24 小时内 15–60 分钟一次；账号增长按天；超过两天的帖子基本不需要采样。
按天采样真的损失那么多吗？ 是的。 以按小时为基准，在前倾曲线上按天快照把峰值速率低估约 80%——5 倍误差，而且是方法本身带来的，不是数据带来的。
为什么互动这么前倾？ 分发发生得早，所以大约一半的最终互动在前三小时到位、约 94% 在十二小时内。这就是为什么真正要紧的采样窗口是第一天。
帖子什么时候算稳定了？ 大多数帖子约 48 小时。 之后计数变化慢到继续采样只花请求、不加信息。
粗粒度采样能在分析阶段补回来吗？ 不能。 跨 24 小时取平均从构造上就把尖峰压平了。你没采集的分辨率拿不回来。
该采样我采到过的每一条帖子吗？ 不该，而这是主要的成本错误。 帖子稳定之后就停止单独采样它，否则请求数永远增长而数字不变。
原始互动数在账号之间可比吗？ 不可比。 500 赞对 200 万粉是弱、对 5 千粉是优秀。归一化，并且明说分母。
该按粉丝数还是浏览数归一化？ 单帖表现用浏览数，因为那是实际触达的受众。账号级对比用粉丝数。 它们回答不同问题，而且会给出不一致的结论。
view_count 为什么会毁掉我的图表？ 因为它比其他计数大两到三个数量级。在共享坐标轴上其他一切都变成直线——给它单独的轴或单独的图。
每条帖子都有 view_count 吗？ 没有，这正是比率计算需要兜底的原因。 拿缺失或为零的浏览数做除法，是追踪器产出垃圾的最常见方式。
互动率为什么返回 None 而不是 0？
因为 0 是一个断言，None 是一个缺失。 会为三小时前的帖子算出比率的追踪器，会显示一条纯粹由帖龄造成的趋势。
互动数会下降吗？ 会——取消点赞、删帖、封号都会让它减少。不要做假设单调增长的告警。
变化告警的合理阈值是多少？ 绝对下限和相对下限都要。 只有绝对值会在大账号上淹掉你；只有相对值会在小账号上淹掉你。两个都要才能跨规模可用。
突然掉到零意味着什么？ 通常是帖子被删或账号被封，不是互动流失。 当成要去查的状态变化，不是要画的数据点。
资料页上的粉丝数是实时的吗？ 不是，它是缓存的、按自己的节奏刷新。 相隔几分钟的两次采样测的是缓存行为，不是关注行为。
粉丝数为什么和我导出的列表对不上？ 资料页数字是缓存值，导出是在一个变动列表里实时遍历。大账号上千分之几的差异是预期的。
怎么正确测量粉丝增长？ 每天在固定时刻快照。 更短的间隔主要在捕捉缓存噪声；固定时刻把时段效应从比较里去掉。
追踪器会积累多少数据？ 由观测数驱动，不是帖子数。 一条帖子每 15 分钟采一天就是 96 行。定频率之前先乘上帖子数和账号数。
该存每次观测还是只存最新值？ 只要你以后会问「随时间怎么变」，就存每次观测——而那通常就是做追踪器的理由。只存最新值等于把追踪器做成了缓存。
怎么公平地比较两个账号？ 同一指标、同一归一化、同一帖龄窗口、同一采样频率。 任何一项不同，这个比较就只是装饰。
最便宜的可用追踪器是什么样？ 每个账号每天一次时间线调用，把返回的全部帖子连计数一起存下来。这能给你趋势和相对表现，只是给不了起量曲线。
没追踪过的帖子能拿到历史数据吗？ 只能拿到当前数字，拿不到历史。 互动历史只存在于你记录下来的东西里——这就是为什么早开始采集比采得密更重要。
一次请求就包含互动数吗？ 是的——计数随每条帖子附带，所以一次时间线调用就是一次完整观测。不需要每条帖子再发一个请求。
追踪器里怎么避免限流？ 分层频率 + 能批量就批量。 追踪器的限流问题大多来自采样已稳定的帖子，不是来自采样新帖子。
该追踪自己的账号还是竞品？ 都要，但注意不对称：自己的帖子 X 会给你 API 看不到的私有指标。而公开计数才是让跨账号比较成为可能的东西。
数据追踪器最大的那个错误是什么？ ★按方便程度选间隔，然后去问这个间隔答不了的问题。 频率是实验设计，不是定时任务的细节。★
先定问题，频率自然就跟着出来了——这个顺序就是这篇大部分的价值。用 Google 注册送 $0.20 额度、不绑卡，可以在定间隔之前先对一个真实账号采一遍。