编辑导读：数据是AI公司的必须品，数据标注是AI产物模子开拓中重要的一环，也是AI产物司理必需要相识的根基技能，本文作者从认知基本、为什么我们需要标注、锦囊三个方面临AI标注东西的产物设计事情展开了阐明说明，与各人分享。

一、认知基本

小我私家概念的认知基本如下，假如读者不认同50%以上，那么就没须要挥霍时间阅读后续内容了，反之，我但愿各人多质疑与交换，通过Q&A来配合进步。

认知1：人工智能成长大致可以分3个阶段：标记主义（第1阶段）→ 联络主义（第2阶段）→ 抱负AI（第3阶段），我们将恒久（＞30年）处于第2阶段

标记主义：代表人物纽厄尔和西蒙，认为人类的智能不管多巨大，归根到底都是由标记计较来实现的。只要计较机科学家设计了适合的措施，计较机迟早有一天能凭着标记的计较，也能提出相对论、缔造罗纳尔多的射门、而剪纸捏泥人和书法篆刻就更不在话下。

标记主义的缺陷：很难在很是巨大的求解组合中快速找到更优解。

联络主义：代表人物大卫休谟，认为人工智能的首要任务是成立大脑的模子，不是预先给定办理问题的算法，而是构建一个在计较机上模仿的“神经元 *** ”，让呆板自主地成立差异神经元之间的“联络”，通过最终功效的反馈，不绝调解联络的模式，最终迫近更优解。

联络主义的缺陷：过于依赖履历数据

抱负AI：感知智能+认知智能+感情的主观感觉+自我意识

抱负AI的缺陷：临时无实现方案

认知2：AI执行语义领略任务，当前已经到了技能成熟期，后续依赖产物力和数据

粗暴一点说，各家算法根基无不同（＜10%）。以办理实际业务问题、实现业务代价为权衡尺度的话，产物的易用性（抉择落地门槛/局限/结果）、组件化水平（抉择本钱），数据的数量和质量，才是决订代价的砝码。

认知3：中国现阶段（10年内）ToB市场，大B的真需求都在自给自足，第三方处事中小B才是正途

大B只有摸索型需求和伪需求（为了体制内的升官蓬勃）才会留给第三方，所以一个第三方公司如大胆说只做大B，那么必然是死路一条可能半死不活（无法成立壁垒/低利润率）

二、为什么我们需要标注？

认知1中提到“联络主义的缺陷在于太过依赖履历数据”，那履历数据是什么？履历数据 = 已标注数据。

未标注数据只能用于无监视呆板进修，当前执行99%以上AI任务的都是有监视呆板进修模子，估量将来30年以内还会保持近况。所以数据标注就是绕不开的槛。

三、锦囊

效率高是好的标注东西的独一尺度，所以3条锦囊全部都是环绕语义标注东西效率晋升。

效率 = 认知效率 + 操纵效率 + 智能化，以下锦囊也都是沿着这3个晋升效率的偏向举办的产物设计。

锦囊1：互斥性原则

语义模子本质上是一个分类模子，分类最要害的是种别清晰，譬喻想想熬煎我们的垃圾分类。互斥性值得就是差异类之间要做到不重不漏（漏的部门必然配置专门的“其他分类”来兜住）。

详细到产物设计上，歧义优化（按照向量相似度，自动识别差异类之间存在交叠干系的语料），分类说明（配置为必填项）等都是互斥性道理的详细浮现。

锦囊2：聚类冷启动

Bert无监视聚类模子做冷启动，“结果杠杠的，谁用谁知道”。缺失此模块，数据标注人员冷启动阶段就全靠想象力“瞎编”。我见过太大都据人员编写相似句（同一语义差异句式表达 *** ）写到生无可恋。上线周期还会因为标注效率低和结果差一拖再拖。

锦囊3：By分类智能推荐待标注语料

来，这一条锦囊各人可以在评论区猜一猜是啥意思？

锦囊4：Badcase闭环调优

语义模子调优 = 正向调优（By精确率）+ 反向调优（By Badcase）

Badcase指模子判定功效存在毛病的语料（来自于测试集+业务侧收集反馈），是极其名贵的复盘资料。设计道理是从点状问题（Badcase）顺藤摸瓜找到本质问题（如ASR精确率、语义分类体系问题、存在大量歧义等）举办办理。反向调优可以极大晋升模子的精确率、包围率等焦点指标。

锦囊5：断绝数据打点与标注东西

若不举办断绝，跟着产物成果巨大度的晋升，标注东西的认知门槛会陡增。可以领略为厨房里的原质料和锅碗瓢盆混在一起丢到了一个橱柜中。这将严重影响产物给用户简直定感，会将标注效坦白接打6折。

结语

AI执行语义任务，标注是绕不外的槛。但只要我们通过“傻瓜式东西”帮助用户轻松迈已往，AI对真实场景的赋能代价将被放大100倍以上。