先给结论:小样本有效、批量无效,通常不是“方法突然失效”,而是小样本里混入了你手工挑选、手工修正或时机巧合带来的额外条件。要复现,必须先把这些条件写下来,再在批量中逐项核对;如果核对不上,就退回小样本重做,而不是继续加大批量。
假设你负责一个内容站,在百度指数里发现某类词的检索需求在近三个月有波动。你挑了5个词,手动改了标题和首段,两周后这5个词对应的页面在百度搜索里的点击有上升。于是你把同样改法套到200个词上,四周后整体没有变化。这个情境是假设,用来演示判断顺序,不代表真实项目结果。
此时不要急着说“批量没用”。先问:那5个词是不是本来就处于需求上升期?是不是你改的时候刚好赶上一次站内结构调整?是不是你只看了点击,没看展现?这些差异决定了你能否复现。
第一层是需求侧证据:在百度指数里看这些词所在的大类,需求曲线是否在改动前后本身就在上行。如果整个大类都在涨,单个页面的点击上升不能单独归因于你的改动。
第二层是页面侧证据:改动前后的标题、首段、内链位置是否只动了你打算动的那一处。小样本里你可能是顺手改了内链,批量时却没改,这就不是同一操作。
第三层是采集侧证据:百度搜索后台的数据统计口径、统计周期和延迟是否一致。小样本你可能是第14天看的,批量时第28天看,周期不同,结论不能直接比。
具体动作:建一张三列表,左列写小样本当时实际发生的事,中列写批量时对应的事,右列写是否一致。只允许写可观察事实,不写“感觉更好”。
这张表的作用是决定下一步:如果右列出现两个以上“不一致”,先不要扩大批量,先按小样本条件重做一轮。如果右列基本一致,才进入下一层判断。
第一种,需求本身在回落。百度指数显示某类词需求下行时,页面点击下降不能证明改动错误。
第二种,页面被替换了展示位置。百度搜索结果里同一查询下出现更多其他页面,你的页面展现可能没变,点击却被分走。
第三种,数据采集差异。统计周期切换、样本量变化、后台口径调整,都会让前后数字不可直接比较。看到数字归零或骤降,不能单独证明处理正确,还要看同期需求和其他页面是否同步变化。
这个顺序的关键是:每次只改变一个可核对条件,并保留参照。批量无效时,最该做的不是换方法,而是把丢失的条件找回来。