在美团商家数据中心(MDC),有超过100w的已校准审核的POI数据(我们一般将商家标示为POI,POI基础信息包括:门店名称、品类、 *** 、地址、坐标等)。如何使用这些已校准的POI数据,挖掘出有价值的信息,本文进行了一些尝试:利用机器学习 *** ,自动标注缺失品类的POI数据。例如,门店名称为“好再来牛肉拉面馆”的POI将自动标注“小吃”品类。
机器学习解决问题的一般过程:
本文将按照:1)特征表示;2)特征选择;3)基于Naive Bayes分类模型;4)分类预测,四个部分顺序展开。
特征表示
我们需要先将实际问题转换成计算机可识别的形式。对于POI而言,反应出POI品类的一个重要特征是POI门店名称,那么问题转换成了根据POI门店名称判别POI品类。POI名称字段属于文本特征,传统的文本表示 *** 是基于向量空间模型(V *** 模型)[1]:
空间向量模型需要一个“字典”,这个字典可以在样本中产生,也可以从外部导入。上图中的字典就是[好, 宾馆, 海底, 拉面, 冰雪, ....... ,馆]。我们对已校准的POI,先利用Lucene的中文分词工具SmartCn[2]对POI名称做预分词处理,提取特征词,作为原始粗糙字典 *** 。
有了字典后便可以量化地表示出某个文本。先定义一个与字典长度相同的向量,向量中的每个位置对应字典中的相应位置的单词。然后遍历这个文本,对应文本中的出现某个单词,在向量中的对应位置,填入“某个值”(即特征词的权重,包括BOOL权重,词频权重,TFIDF权重)。考虑到一般的POI名称都属于短文本,本文采用BOOL权重。
在产生粗糙字典 *** 时,我们还统计了校准POI中,每个品类(type_id),以及特征词(term)在品类(type_id)出现的次数(文档频率)。分别写入到表category_frequency和term_category_frequency,表的部分结果如下:
个人开的房记录查询软件(开的房记录保存多久在派出所)【黑客徽信:】专业盗取微信密码,开房查询,通话记录查询,查询微信聊天记录,非常靠谱!现在,几乎每个人都有自己的微信小组,他们的价值和意义不同,他们的...
本文目录一览: 1、黑客入门,先学什么编程? 2、如何成为黑客 3、做黑客必须具备的语言有哪些? 4、黑客刚开始学的是什么编程语言? 5、黑客学的是什么编程语言 黑客入门,先学什么编...
国会大厦遭暴力攻破 美国大选在混乱中走向终点 国会山之乱 中央纪委国家监委网站 柴雅欣 李云舒 当地时间1月6日,被视为“民主象征”的美国国会山被特朗普总统的支持者攻占,选举人票...
一、华盟改成绩怎么找黑客 1、黑客网站操作IE浏览器单击工具Internet选项的安全性和自定义水平,将安全水平定义为安全水平高的ActiveX控件和插件中的第23个项目。华盟改成绩修改我不得不佩服它...
看破解难度和内有价值而定,一般很少有愿意帮人入侵的,因为真正的黑客没有多少人愿意出卖自己的技术来换取金钱,除非他已经堕落。 黑客是入侵别人电脑的方法有9种。1、获取口令这又有三种方法:一是通过网络监听...
强壮的男人(男人那方面不行的几种表现) 每个男人都想拥有强壮的身体,不仅能够应对生活的各种挑战,还能使自己在疾病面前有好的抵抗力,并且在性生活方面可以游刃有余。都知道男性无病无灾就是身体好,除了无病...