文章回顾了近几年NLP的发展历程,从项目实施的两个阶段中带我们梳理了NLP技术的应用演变。
之一个与大家分享的Case,基于NLP展开。分为3个部分,分别是NLP的发展、项目叙述、以及Lesson Learned。
讲述NLP的发展,是为了更好地理解这门技术,为项目的展开做铺垫。Lesson Learned是笔者总结整个项目下来自己的收获。
笔者本身并非计算机课班,对理论知识的理解难免不深刻,以及可能会有偏差,请大家不吝指教。
目录:
NLP的发展
项目阐述
Lesson Learned
一、NLP的发展 1.1 NLP的定义The field of study that focuses on the interactions between human language and computers is called Natural Language Processing, or NLP for short. It sits at the intersection of computer science, artificial intelligence, and computational linguistics ( Wikipedia)
总结一下 *** 对NLP的定义, NLP关注人类语言与电脑的交互。
使用语言,我们可以精确地描绘出大脑中的想法与事实,我们可以倾诉我们的情绪,与朋友沟通。
电脑底层的状态,只有两个,分别为0和1。
那么,机器能不能懂人类语言呢?
1.2 NLP的发展历史NLP的发展史,走过两个阶段。之一个阶段,由”鸟飞派“主导,第二个阶段,由”统计派“主导。
我们详细了解一下,这两个阶段区别,
阶段一,学术届对自然语言处理的理解为:要让机器完成翻译或者语音识别等只有人类才能做的事情,就必须先让计算机理解自然语言,而做到这一点就必须让计算机拥有类似我们人类这样的职能。这样的 *** 论被称为“鸟飞派”,也就是看鸟怎样飞,就能模仿鸟造出飞机。
阶段二,今天,机器翻译已经做得不错,而且有上亿人使用过,NLP领域取得如此成就的背后靠的都是数学,更准确地说,是靠统计。
阶段一到阶段二的转折时间点在1970年,推动技术路线转变的关键人物叫做弗里德里克. 贾里尼克和他领导的IBM华生实验室。(对IBM华生实验室感兴趣的朋友可以阅读吴军老师的《浪潮之巅》,书中有详细讲述。)
我们今天看到的与NLP有关的应用,其背后都是基于统计学。那么,当前NLP都有哪些应用呢?
1.3 目前NLP的主要应用当前NLP在知识图谱、智能问答、机器翻译等领域,都得到了广泛的使用。
二、项目阐述 2.1 业务背景说明:在项目阐述中,具体细节已经隐去。
客户是一家提供金融投融资数据库的科技公司。在其的产品线中,有一款产品叫做人物库,其中包括投资人库和创始人库。
创始人库供投资人查看,使用场景,当投资人考察是否要投资创业者,因此会关注创业者的学校(是否名校)、工作(大厂)、以及是否是连续创业者、是否获得荣誉,如“30 under 30”。
投资人库供创业者查看,使用场景:当创业者需要投资人,会考察投资人的投资情况。因此会关注投资者的学校(是否名校)、工作(大厂)、投资案例、投资风格等
我提供的服务,便是为这两条产品线服务。因为本项目主要关注,相关人物的履历信息,因此该项目代号为「人物履历信息抽取」。
需要抽取的人物履历信息,由5个部分组成:学校、工作、投资(案例)、创业经历、获取荣誉。
2.2 项目指标项目指标包括算法指标与工程指标。
2.2.1 算法指标
算法层面,指标使用的是Recall和Precision。为了避免大家对这两个指标不太熟悉,我带大家一起回顾一下。
我们先来认识一下混淆矩阵(confusion matrix)。混淆矩阵就是分别统计分类模型归错类,归对类的观测值个数,然后把结果放在一个表里展示出来。矩阵中的每一行,代表的是预测的类别,每一列,代表的是真实的类别。
通过混淆矩阵,我们可以直观地看到系统是否混淆了两个类别。
我们可以举一个混淆矩阵的例子:
0代表Negative,1代表 Positve。
TN:当真实值为0,且预测值为0,即为TN(True Negative)
FN:当真实值为1,而预测值为0,即为FN(False Negative)
TP: 当真实值为1,且预测值为1,即为TP(True Positive)
TN:当真实值为0,而预测值为1,即为FP(False Positive)
除了上面,我们还需要了解下面三个指标,分别为Recall、Precision、和F1。
Recall(召回率)是说我们的Predicted Class中,被预测为1的这个item的数量,占比Actual Class中类别为1的item的数量。如果,我们完全不考虑其他的因素,我们可以将所有的item都预测为1,那么我们的Recall就会很高,为1。但是在实际生产环境中,是不可以这样操作的。
Precision(精准率)是说,我们预测的Class中,正确预测为1的item的数量,占比我们预测的所有为1item的数量。
F1是两者的调和平均。
Ok~了解了上面这些衡量算法模型用到的基础概念之后,我们来看看本项目的指标。
模型算法指标为:recall 90;precision 60。
iPhone安全漏洞会被间谍软件入侵,重启是否可以修复? 首先是易受网络攻击漏洞。苹果强烈谴责了类似的网络攻击,但没有提及最新的iOS17系统是否修复了该漏洞。虽然这个bug对我们的普通用户影响不大,...
我想监控我老婆的微信,微信有利有弊,一方面极大的改变着我们的生活,为生活提供便利;另一方面也加剧了某些人群的矛盾,想要同步老婆的微信聊天记录来解除内心的猜忌。但是我们如何才可以同步到对方的聊天,以下几...
黑客怎么黑别人的钱推荐全球最大往事正规平台(全球体育足球比分推荐)黑客最喜欢什么语言入侵他人电脑四个步骤酒店监控(木马病毒入侵步骤)黑客入侵网络违反什么法律在淘宝上找黑客(淘宝黑客服务)黑客为什么不敢...
怎么样才可以玩手机让被人以为我是黑客 1、首先下载安装TheFatRat,安装好了以后可以看到这样的界面:我们到网上下载一个游戏的apk文件,可以选择消消乐,Flappybrid这类小游戏,到时候加载...
防止黑客攻击的方法有哪些 1、(2)不断创新计算机安全技术,计算机安全技术是一门不断发展的学科,就目前来说,主要有以下关键技术:①防火墙技术;②信息加密技术;③漏洞扫描技术;④入侵检测技术;⑤病毒检测...
有关私人会所的记忆中,妙曼的春色一直漂着绵软的樱花盛开,树技上的樱花盛开如柔化的烟脂,内置着高光。轻风轻轻地一拂,便半空中的挣脱着淮安市商务预约,上下摇荡,婀娜多姿,最后轻轻地的落在肩上,跌坐着鼻间,...