微信聊天记录删除还原24小时接单的黑客免费接单黑客 ***

访客4年前关于黑客接单414

京东商品搜索引擎是搜索推荐部自主研发的商品搜索引擎,主要功能是为海量京东用户提供精准、快速的购物体验。虽然只有短短几年的时间,我们的搜索引擎已经经过了多次618店庆和双11的考验,目前已经能够与人们日常使用的如谷歌、百度等全文搜索引擎相比,我们的产品与其有相通之处,比如涵盖亿级别商品的海量数据、支持短时超高并发查询、又有自己的业务特点:

1、海量的数据,亿级别的商品量;
2、高并发查询,日PV过亿;
3、请求需要快速响应。

搜索已经成为我们日常不可或缺的应用,很难想象没有了Google、百度等搜索引擎,互联网会变成什么样。京东站内商品搜索对京东,就如同搜索引擎对互联网的关系。

他们的共同之处:1. 海量的数据,亿级别的商品量;2. 高并发查询,日PV过亿;3. 请求需要快速响应。这些共同点使商品搜索使用了与大搜索类似的技术架构,将系统分为:1. 离线信息处理系统;2. 索引系统;3. 搜索服务系;4.反馈和排序系统。

同时,商品搜索具有商业属性,与大搜索有一些不同之处:1. 商品数据已经结构化,但散布在商品、库存、价格、促销、仓储等多个系统;2. 召回率要求高,保证每一个正常的商品均能够被搜索到;3. 为保证用户体验,商品信息变更(比如价格、库存的变化)实时性要求高,导致更新量大,每天的更新量为千万级别;4. 较强的个性化需求,由于是一个相对垂直的搜索领域,需要满足用户的个性化搜索意图,比如用户搜索“小说”有的用户希望找言情小说有的人需要找武侠小说有的人希望找到励志小说。

另外不同的人消费能力、性别、对配送时间的忍耐程度、对促销的偏好程度以及对属性比如“风格”、“材质”等偏好不同。以上这些需要有比较完善的用户画像系统来提供支持。

总体架构图

搜索服务集群:由很多个merger节点组成的集群。接收到查询query后,将请求通过qp触发有策略地下发到在线检索服务集群和其他服务集群,并对各个服务的返回结果进行合并排序,然后调用detail server包装结果,最终返回给用户。

query processor server:搜索query意图识别服务。

在线检索服务集群:由很多个searcher节点组成,每个searcher列对应一个小分片索引(包含全量数据和实时增量数据)。

detail server:搜索结果展示服务。

索引生产端:包含全量和增量数据生产,为在线检索服务集群提供全量索引和实时索引数据。

离线信息处理系统

由于商品数据分布在不同的异构数据库当中有KV有关系型数据库,需要将这些数据抽取到京东搜索数据平台中,这分为全量抽取和实时抽取。

对于全量索引,由于商品数据散布于多个系统的库表中,为了便于索引处理,对多个系统的数据在商品维度进行合并,生成商品宽表。然后在数据平台上,使用MapReduce对商品数据进行清洗,之后进行离线业务逻辑处理,最终生成一份全量待索引数据。

对于实时索引,为了保证数据的实时性,实时调用各商品信息接口获取实时数据,将数据合并后采用与全量索引类似的 *** 处理数据,生成增量待索引数据。


相关文章

女生为什么不能早恋(如何证明恋爱不影响)

早恋甚至谋面临分离的疾苦,因为想要暖和,早恋纵然不阻止它,很好,当时候的风都很温柔。手把手怎么应该容易误爱,进修偶此刻还没有恋人哦,由赵丽颖。芳华期看她喜欢的影戏,昏黄性,伴侣。芳华的脑壳里不该该满是...

国内有什么凉鞋品牌(中国鞋子品牌大全)

国内有什么凉鞋品牌(中国鞋子品牌大全)

什么牌子的女士凉鞋好? NO.1百丽 百丽是中国第一女鞋品牌,内容包括皮包、皮带、皮夹、名片夹、旅行箱、皮件保养品等。它为广大女性消费者提供时尚、优雅、容易搭配的女装鞋履产品。百丽提倡的“百变...

听说拔完牙脸会变瘦(拔牙脸真的会变小吗)

  公立医院很难找到牙科一号专家,但牙科“黑诊所”盘踞城乡,隐藏着感染风险;国外的种植牙品牌很多,价格“层层叠叠”,三次暴利。很多患者只能“看牙叹气”.在“全国爱牙日”即将到来之际,记者发现牙科医疗市...

联通电信合并(传联通电信合并)

目前中国联通、中国电信、中国移动是独立的运营商,暂无相关公司合并计划及政策。 目前中国移动、中国电信、中国联通暂无合并计划。 三大运营商没有合并的计划,只有电信和联通要联合建设5g网络的计划。 电信与...

【国际漫评】这2012款斯巴鲁森林人比疫情重要?!

  近日,美国众议院议长佩洛西牵头发布了“第117届美国国会规则”的草案,其中提到要杜绝使用“具有性别取向性”的词汇,如父亲、母亲等。草案一经发布,立刻引起激烈争议。有网友质问:疫情之下经济萧条、失业...

女警教科书式劝阻老人转账55万-老人被骗报警有

在社会上我们经常能够看到一些关于老人被骗的新闻报道,因为老人接收信息的能力比较弱,所以并不知道社会上有很多的骗局,而且有些犯罪分子会利用老人贪小便宜的心理而实施诈骗。最近上海一名老人在网上结识了一位自...