把“需要人工判断”的项目从自动评分里拆出来,不是关掉评分,而是让评分只负责筛出候选,把最终取舍留给一个能核对的分歧记录。对淘宝关键词查询而言,这意味着先明确哪些字段必须由人看语义、看商品匹配、看竞争语境,再决定评分在流程中的位置。
自动评分擅长处理可量化、口径统一的字段,比如词长、是否含品牌词、是否含年份或规格、在样本中的出现次数。这些字段只要数据来源一致,排序结果就相对稳定。人工判断要处理的是评分无法覆盖的部分:词与自身商品的匹配度、词背后的购买意图、词是否指向已经饱和的细分市场、词与店铺定位是否冲突。
一个可执行的分法是给每个词打两个标记:可量化标记和需定性标记。可量化标记交给评分,需定性标记必须留下判断人和判断理由。这样做的结果是,评分不再决定“用不用这个词”,而是决定“先看哪些词”,人工复核的队列因此变短,而不是被整体替代。
多个角色对同一个词有不同理解时,常见做法是各自说“这个词好”或“这个词不行”,讨论很快变成立场之争。更有效的做法是把分歧写成可核对的项目。假设运营认为“夏季冰丝”适合主推,商品同事认为它指向的是面料而非具体品类,采购同事认为该词对应的货源不稳定——这三种判断其实指向三个不同的核对项,而不是三个互相否定的结论。
可以按下面的方式把分歧落成项目:
当分歧被写成这四类项目后,自动评分只能回答其中的口径项和部分事实项,条件项和验证项必须由人推进。这一步的实际动作是:把每个争议词转成一张核对卡,卡上写明待核对的事实、统一后的口径、成立条件和验证方式。结果是讨论从“谁判断得对”转为“哪一项还没核对”,人工判断因此有了明确的落点。
防止自动评分替代人工判断,关键不是降低评分的权重,而是给评分结果设置人工否决位。具体做法是:评分输出一个排序列表,人工只能做三件事——保留、否决、挂起。否决必须填写理由,挂起必须写明还缺哪项信息。
这样设计的原因是,如果人工只能“调整分数”,最终仍会退回到用数字表达判断,分歧又被压回评分里。而保留、否决、挂起是三种不同性质的动作:保留表示评分与人工判断一致;否决表示评分遗漏了语义或匹配问题;挂起表示当前信息不足以判断。挂起的词进入下一轮核对,而不是被默认采用或默认丢弃。
一个假设的例子:某次查询得到八十个候选词,评分排序后取前二十进入复核。复核中发现其中六个词虽然量化字段靠前,但指向的是与店铺品类不同的商品,于是被否决并记录理由;另有两个词因货源信息未确认被挂起。下一轮查询时,这八个词的处理记录成为新的核对依据,而不是重新从零争论。这个例子只说明流程如何运转,具体数量和处理方式需要按自身情况调整。
人工判断最容易被质疑的地方是“凭什么说这个词行”。解决办法不是给判断也打一个分,而是用一次成本可控的实际动作去检验。对淘宝关键词查询得到的候选词,可以选择少量词做小范围上架标题调整或小预算投放,观察的是核对项是否成立,而不是单看某一个数字的涨跌。
这里需要提醒一点:某个指标上升或下降,不能单独证明判断正确。展示量变化可能来自季节、竞争环境或平台展示逻辑的调整;点击变化可能来自主图或价格,而非词本身。因此检验时要尽量固定其他变量,并提前写下“如果出现什么情况,就认为这一项核对通过或不通过”。
实际动作及其影响下一步的方式可以这样理解:先对挂起项做一次小范围验证,验证结果决定该词是进入保留队列还是继续挂起。如果验证无法区分原因,就把它退回事实项,补充更细的核对维度,而不是直接采用评分结论。这样,评分始终是筛选工具,人工判断始终是决策环节。
如果每次查询都重新争论一遍,人工判断就会变成负担,最终又会被评分替代。可行的做法是把反复出现的否决理由和挂起原因沉淀成判断规则,例如“指向非本店品类的词一律否决”“货源未确认的词一律挂起”。规则本身也要定期复核,因为商品结构和竞争环境会变化。
沉淀规则时要注意区分两类内容:一类是可以写成条件的判断规则,另一类是需要逐次看语义的个案。前者可以逐步交给自动筛选,后者必须保留人工环节。判断哪些规则可以移交,依据是它是否已经能被稳定核对,而不是它看起来是否足够简单。这样处理之后,自动评分承担的范围会变化,但人工判断不会被取消,只是从重复劳动转向真正需要定性的部分。