编辑导语：上篇作者说到了case评测尺度，本篇文章就可以正式开始举办case评测，本篇将以搜索为例详细讲一下搜索是怎么举办case评测的，我们一起来看一下。

一、谁来参加

凡是在搜索团队内部，会把这个工作界说为“搜索用户满足度评测项目”，以便更好的举办组织和推进。

立项之后需要界说项目标参加方，“搜索满足度评测”一般包括这几个脚色：项目认真人、产物司理，算法工程师，开拓工程师；他们的分工纷歧样。

项目认真人：主要认真整个评测项目标时间打算拟定，相同机制成立，评测意见统一以及评测进程中碰着的问题处理惩罚；

产物司理：认真详细case的测评，评测陈诉的撰写以及评测尺度修订发起收集；

算法工程师：认真详细case的评测，case归因阐明；

开拓工程师：认真详细case的评测，一般参加较少；

这里简朴表明一下算法工程师和开拓工程师，有的团队大概不会举办区分，统一称之为工程师；有的会做区分，算法工程师主要是认真人计策中算法、模子的开拓；开拓工程师则主要认真工程段的开拓，凡是指的是后端、处事端。

别的，搜索满足度评测项目标实施周期可以凭据搜索迭代打算的快慢举办机动配置。

在迭代较快的环境下，测评的频率也会相应加速，我见过一些团队一周一次；假如迭代较慢，可能优化项目周期跨度较长，可以适当把测评周期拉长，我们之前做的是2个月一次。

二、case抽样

case抽样是指提取评测案例，一般是由工程师通过sql在搜索日志中取数。

对付搜索来说，一个case最根基需要包罗用户id，搜索要害词和搜索功效；跟着业务的差异需要抽取的数据差异，好比在美团还需要抽取搜索时间、搜索所在等。

对样本的要求一般包罗如下几方面：

时间上一般选择测评周期内的最后一周，这个时候相关的优化计策根基上都生效；

case的数量凭据项目参加人员的几多来确定，人均100个阁下；

对付中台搜索凡是会处事于若干条业务线，因此需要节制好差异业务之间的case数量比例；

总体的抽取法则回收随机抽取的 *** ，担保测评功效的可信度；

需要留意的是，随机抽出的case许多时候都是无效case，好比：无要害词、要害词是非凡字符等等；可是只有基于有效case来举办评测，这样功效才可信，所以还需要对抽样功效举办过滤，一般抽样的时候会比打算评测case数量要多一些。

三、case测评

case评测是指评测人员对抽样后的case质量举办评估的一个进程，就雷同阅卷，需要给每一份试卷举办打分。

为了操纵利便，在大型企业，一般城市自建case测评平台，各人可以领略为这是一个case评测人员的协作平台；它主要提供的成果就是对case举办分派、筛选、查察、打分（分级）；若为badcase需要选择原因，以及填写备注。

留意这里的打分并不是凭据评测人员的主观判定举办打分，而是会提前拟定一个算法，算法或许的思路就是差异的badcase功效有差异的分数和权重，按照评测人员选择的原因分类自动举办分数计较。

好比：评测人员选择badcase原因是无关商品排序靠前，记为0分；若是低相关商品排序靠前，则为3分——通俗领略，就是badcase越严重，得分越低，也意味着对用户体验伤害越大。

case的评测最重要的前提就是需要定一个评测的尺度，关于尺度的拟定见：如何搭建一个case评测流程（一） ；这里各人要留意的是，尺度不是一成稳定的，每一次评测都是一次优化、完善尺度的时机。

四、冗余评测

大大都团队在举办了评测之后就开始举办数据统计，看看goodcase有几多、badcase有几多，然后基于这两个数据计较当前评估周期的满足度。

搜索满足度的计较 *** 为：

goodcase/(goodcase+badcase)*100%

这里无论是goodcase，照旧badcase，都是指的有效的case。

由于评测的尺度是人工拟定的，因此常常呈现一些尺度没有包围的case，以及各人领略纷歧致的处所，因此这个时候就需要加一个冗余case评测环节。

冗余评测就是对评测进程中有意见分歧的case举办项目构成员集团评测，最终做出决定。

显然冗余评测的目标除了可以或许担保满足度功效的合理，更为重要的一环是基于各人对badcase的差异领略，去完善评测尺度。

评测尺度可以说是满足度评测的基础，只有尺度拟定的好，才气产出一个客观的满足度功效。我微信靠山放了一个评测尺度的模板，各人可以输入模板来获取。

五、case归因

case评测的直接方针是权衡搜索的满足度，可是基础方针照旧通过badcase明晰、指导搜索计策优化。

因此，当case评测举办了bad和good鉴定之后，最后一个环节就是case归因。

简朴来说，就是阐明造成每一个badcase的原因是什么？

一般来讲对付搜索badcase，包括下面几类：

辞书问题

查询阐明问题

召回问题

排序问题

前端问题

这一块下一篇再具体讲授。

#专栏作家#