你有没有见过小学生说自己是黑客?会写勒索那种。
我小学写个do-loop,保存为vbs 输出一句话关不掉那种周围的小学同学都觉得我是黑客了..当时我要告诉他们我会抓包不知道捧成啥了...小学生认知能力有限,那样的天才还是少的吧
我一初中朋友 说自己是白客 至今还觉得自己被忽悠了 求科普
匿了,我就是啊,梦想成为一名黑客,说见过的话。我小学同学只是破解了老师的电脑限制就说自己是个黑客。不明觉厉?
某作业小程序
科技改变生活,在中国科技日渐发展的趋势下,如今国内的 *** 建设已经在全球首屈一指,特别是在5G *** 的建设基础之下,中国的互联网发展已经进入了快车道,很快的将会成为一个互联网的大国。也正因如此额,现在中国的许多小孩早已经开始接触到互联网了,今天要说的这位主人公就是如此,年纪轻轻就已经会写代码破解网站,他被称之为中国最小的黑客,曾经黑掉360公司网站,他如今怎样了呢?
他的名字叫做汪正扬,是一名00后,在他刚出生的时候汪正扬就开始接触各种电子产品,在父母的带动之下,汪正扬逐渐萌发了对计算机的兴趣,跟其他小孩不一样的就是,其他孩子都喜欢玩游戏,而汪正扬却认为那些游戏没意思,于是开始自学各种编码和电脑知识,“天赋异禀”的汪正扬很快的就掌握了编程代码,开始会写一些小程序出来,还建立了属于自己的网站。让人没想到的就是,在他13岁的时候他就发现了360网站系统上漏洞,作为一个小学生,却拥有如此的能力也成功被大家所关注。
小小年纪的他后来也被邀请到了全国互联网大会,荣获“中国最小黑客”的称呼,而对于将来互联网的发展,汪正扬表示自己不会用技术做违法的事,所学会的知识和技术更多的会为中国互联网安全的发展出一份力量。
而如今,汪正扬也被清华附中录取,把自己更多的时间投入与学业和互联网建设当中,不得不承认汪正扬的想法十分的成熟,别人正在玩耍的年纪,他却跟其他人不一样,其实这跟父母的教育有很大的关系,生活在一个怎么样的环境之下,孩子也会跟着变化。
因此荧幕前的家长如果你们也有小孩,那更应该给孩子塑造出一个积极或者有利于孩子成长的环境,这其实对于孩子的心智发展和兴趣爱好都有很大的作用,对此你是怎么看待的呢?欢迎在下方评论区留言。
在疫情笼罩的今天,无论是北上广深一线城市,还是普通二三线城市。科技企业都选择了远程办公。而远程办公用的最多的就是视频会议。而科技企业阿里、腾讯都纷纷推出免费视频会议。今天数智风就带打击感受一下阿里和腾讯的不同点。
阿里疫情期间 *** 的视频会议模块是在钉钉软件上。而钉钉一直是阿里用来进入社交领域的一款软件,只是切入点找的是企业内部安全沟通。既是为了和腾讯微信抢地盘,也同时在企业这一块打造完整的生态。所以,视频会议自然也就沾上了社交的影子。下面我们来看看实际使用的情况:
1、必须好友才能进入会议
钉钉视频会议组织开会可以预约开会,也可以立即开会。但参会成员必须是在同一个组织架构内的成员,或者你是参会者的好友。否者无法进入视频会议。这点和我们微信的多人视频通话是非常相似的,必须是好友成员。
以上明显就是典型的社交模式,这也就导致了钉钉更多的是开企业内部会议。外部培训会议、产品发布会、等开放式会议,钉钉视频会议就有点力不从心了,总不可能把参会的一大堆人统统先加个好友吧。
当然钉钉视频会议也可以通过链式好友方式,及A是B好友,B是C好友,C是D好友。那就A邀请B,B邀请C,C再邀请D。毕竟会议中也是可以邀请加入的。但这只能算是万不得已的折中方案。
2、会议中无法通过消息交流
钉钉视频会议核心功能视频交流、窗口共享(PPT等文档共享)都是完全OK的。主持人也拥有主持人的功能,可以禁音所有参会者的麦克风。但是参会者无法通过消息交流,一定要消息交流的话,的回去拉个群,在群里发消息。这个和社交软件微信是不是差不多。开多人视频通话是无法消息交流的,要消息交流得建群。
视频会议为什么一定要消息交流了 其实,因为在线会议人数太多的时候,举手发言已经没有办法管理了。参会者只有通过消息讨论才可以达到这个要求,而演讲者的助手来关注消息和回复消息。这是比较科学的做法。一般在线发布会也都是如此。
上面提到钉钉视频会议学微信社交,那腾讯会议呢,它本来就有两个社交好软件“ *** ”和“微信”。然而腾讯并没有扎在自己的圈子里扩展。而是跳出社交的圈子,跟着视频会议厂家ZOOM学习,进入真正的视频会议圈子。
1、用会议ID和密码即可进入会议
腾讯会议参会只需要知道会议ID和密码即可进入会议。这样的模式明显适用范围广很多,即可以内部开会用,也可以外部开会用。这才是真正的视频会议方式。这点和视频会议厂家的ZOOM是一模一样的。
因为只要会议ID和密码即可加入会议,所以邀请客户、合作伙伴、同事加入会议都非常方便,只需要一段文字通知到即可,腾讯会议还贴心的帮你写好了模板。样例见下图
2、会议过程支持消息交流
腾讯会议和ZOOM一样,在会议过程是支持参会者通过消息交流、提问。这一点非常适合大型会议。相比之下,钉钉则钻入了社交圈模式,没有实现此功能。
总之,无论是阿里钉钉、还是腾讯会议,都是科技企业为远程办公开发的好工具。居于出发点不同,钉钉视频会议钻进了社交圈模式,而腾讯会议则跳出了社交圈模式进入真正的视频会议。大家觉得呢?如有不同意见,欢迎关注讨论。
随着5G的普及,中国互联网的建设也到了一个新的高度,毕竟现在的 *** 已经成为了每个年轻人必不可少的东西。别管是浏览网页,还是看视频打游戏,都需要有 *** 的支持,而且现在的流量虽然不能算是太便宜吧,至少你想用的话,还是用得起的。而且,5G的网速比4G要高得多,可以说是4G的上百倍,这样的提升,真的是让众多用户,继高兴又纠结,毕竟5G套餐每月最少都得上百。
而且,在移动有个更大的好处就是,你如果办理了48元以上的套餐的话,就可以送宽带,这也是让很多人都非常愿意接受的。毕竟现在 *** 已经非常普及了,走到哪几乎都能有wifi用,所以在自己的家里,更是要有宽带的使用。再加上移动的48元套餐,对于年轻人来说,很多时候还都不够用的,即使极少人用不了,也可以跟家庭号一起合同来办理免费的宽带,还算是实惠。
但是,相信很多人都发现了这样的一个现象,而且还是非常的普遍。那就是移动的宽带那么优惠,而且还能免费用的情况下,很多人还是去办理了电信的宽带,在不少的地方,电信的宽带都是要比移动的宽带贵得多的,这也是让人非常的不理解,有免费的不用,非要花钱去办理收费的,这些人是怎么想的呢?今天我们就一起来看看,其实这类人的想法也都是非常能够理解的。
首先来说,都知道电信的宽带费用贵,但是也有它贵的道理的,在三大运营商里面,电信的宽带是普及范围最广,而且 *** 传输速度更好的,也是更先开始发明了光纤上网的运营商,可以说在宽带业务里面,电信是非常成熟的。用电信的 *** ,基本上无延迟不卡顿,而且网速也是没得说,这也是很多人对电信 *** 的认可,毕竟移动是接手铁通的宽带 *** ,各方面跟电信还是有差距的,不然也不会那么便宜。
在者就是很多人受够了移动的套路,众所周知,移动在三大运营商里面,用户是最多的,达到了9亿的数量。但是,移动的服务却让人不敢恭维,一旦出现了问题,总是推三阻四的不给解决,所以很多人对移动的怨气都比较大。相比较来说,其他两大运营商在服务商,虽然说也有不少的问题,但是跟移动相比,还是要好得多,这也是大家有目共睹的,所以,即使差不多也有不少人不愿意用移动的。
最后一点就是现在是已经是 *** 社会了,如果网速跟不上,那么用户的体验就会非常的差,玩个游戏都卡得不行,而且还要时不时的断开连接,对于游戏热爱者来说可是致命的,甚至很多移动宽带的用户,刷新网页都会出现各种各样的问题,维修员来了也解决不了,毕竟这是宽带传输的差距,不更换基站啥的,也都是难以解决,希望移动能够良心一些,把自己的业务和服务都做好,才能让用户认可。
新能源汽车的发展,促成了车企间的强强联合,让很多不可能变为可能。
比如说长城与宝马以50:50的比例投资合资公司,共同研发新能源汽车;再比如,吉利与奔驰展开合作,双方共同组建 *** art品牌全球合资公司,推动 *** art品牌转型升级。
不过,丰田与比亚迪的携手,仍然轰动了整个汽车圈。
这是因为合作的双方,一方是新能源汽车的领军者,曾经连续四年获得全球新能源汽车销量冠军;一方是燃油车领域的巨头,全球市值更大的汽车公司。
2019年11月7日,丰田与比亚迪就成立纯电动车的研发公司签订合资协议,新公司将于2020年在中国正式成立,丰田与比亚迪各出资50%。
如今,二者的合作有了新的进展。
据了解,一汽丰田正在天津筹建一座年产能20万辆的新能源汽车工厂,新工厂将涵盖包括电池等在内的完整生产工艺,预计总投资近85亿元。
以目前一汽丰田的产能规模,这座年产能达20万辆的工厂,有很大的可能是为将来生产丰田与比亚迪共同研发的纯电动车做准备。
从去年11月份签署合作协议,到如今筹建工厂,不过短短四个月的时间,这足以看出丰田对于此次合作的迫切以及诚意。
那么为何丰田会选择比亚迪,比亚迪又是如何考量的呢?
丰田的雄心
丰田在新能源领域早有布局,不过其发力的重点一直在混动车以及氢燃料电池车上,纯电动车型并不是它的强项。
由于技术的原因以及高昂的成本,氢燃料电池汽车短时间内很难得到推广,在行业趋势和双积分双重压力下,发展纯电动车型成为丰田的当务之急。
尽管国内新能源汽车市场遇冷,并且出现了十年以来首次同比下降,但毫无疑问中国仍然是全球更大的新能源市场,并且具备极大的发展潜力,是丰田发展新能源的关键。
按照丰田的全球化战略,其将从2020年开始将陆续投放10款纯电动汽车,包括6款基于e-TNGA架构打造的全球车型,并且在2025年完成500万辆电动汽车的销量。
如此销量目标,如果没有中国新能源汽车市场作为支撑的话,是相当困难的,如何在国内新能源汽车市场立足便显得十分关键。
众所周知,由于政策的支持,新能源汽车成为发展风口,不仅涌现出大量的造车新势力,传统车企也进行了大刀阔斧的改革,企图在新能源领域寻求突破。
此时丰田想要进入国内新能源市场,已经错过了更佳时机,想要完成销量目标,必须加快步伐。
而丰田选择的合作伙伴比亚迪,在新能源汽车特别是纯电动汽车领域,有着先进的技术以及雄厚的实力。
比亚迪从2002年开始研发电池,在新能源领域已经浸淫18年,凭借技术研发和创新实力,它已经掌握了电池、电机和电控等新能源核心技术。
在国内,比亚迪是当之无愧的新能源汽车领军者,销量数据连续6年稳居全国之一。
与比亚迪展开合作,对于丰田实现新能源领域的跨越式发展,完成电气化发展的既定目标,有着极为关键的意义。
比亚迪的技术
新工厂未来不仅将投产丰田e-TNGA架构的车型,还有可能为将来生产丰田与比亚迪共同研发的纯电动车做准备。
根据计划,比亚迪会与丰田共同开发轿车和低底盘SUV的纯电动车型和所需动力电池,并且充分使用比亚迪现有电动平台技术及电动零部件供给,融入丰田的品质及安全控制标准要求,可以使用丰田品牌。
不得不说的是,计划中提到的平台便是比亚迪e平台,它是行业内首个针对电动汽车开放共享的研发制造平台。
比亚迪e平台包括了“33111”五大核心功能模块,即驱动三合一系统、高压三合一系统,及高性能动力电池、低压控制系统集成PCB板和DiLink智能网联服务系统。
e平台的一个重要思路便是集成化,它将系统与零部件集成起来,在提升效率的同时,极大的降低了体积和重量。
对消费者而言,采用e平台技术开发的电动车有着更高的安全性、更长的续航、更可靠的质量和更高的性价比。
对车企而言,e平台是一个 *** 的解决方案,采用该方案不仅可以节约研发时间,更是省去了产品验证以及生产成本控制等环节。
对于亟需在新能源领域寻求突破的丰田来说,比亚迪e平台将提供一条捷径,让丰田能够更快的赶上国内其它品牌。
e平台不仅为丰田节省了大量的研发时间,更是为它节省了开发新平台的成本。同时,这对于丰田完成2025年前在中国市场投入10款纯电动车型的计划,也有着重大意义。
在与丰田签署合作协议之前,比亚迪首先成为丰田的动力电池供应商,其在动力电池领域的突破同样不容小觑。
针对磷酸铁锂电池在乘用车应用方面能量密度不足的问题,比亚迪通过系统层面的创新予以巧妙解决。刀片电池采用长电芯方案,能够极大提升电芯的成组效率,体积能量密度提升高达50%。
其将推出的全新中大型新能源轿车“汉EV”便将作为首款搭载刀片电池的产品,更大续航里程可达600公里。
刀片电池的量产使用,对于动力电池行业将造成巨大的影响,而丰田与比亚迪的合作,或许也将围绕刀片电池展开。
可以说,比亚迪凭借新能源领域核心技术打动了丰田,这展现了世界一流车企对比亚迪电池等核心技术的认可,对于提高其品牌在世界范围内的知名度大有裨益。
规模化的共识
新能源市场遇冷,为众多新能源车企泼上了一盆冷水,但是燃油车的发展历程告诉我们,汽车行业由发展到成熟需要经历一个很长的过程,车企应该对新能源市场保持信心和耐心。
当下的情况,也让越来越多车企意识到,只有新能源市场规模化、产业化,才能够更好的催动市场的发展,让身处其中的车企能够更好的安身立命。
由此,各车企间展开了合作,通过资源、技术的共享,来达到降本增效的目的,以期待能够在新能源市场更快速的发展。
并且,为了能够推动纯电动车行业的进步,一些在新能源领域浸淫已久的巨头还公布了新能源专利技术,来 *** 新能源市场,并且带动相关行业的发展。
比如说,大众便宣布开放其MEB电动车平台使用权,允许其他厂商使用该平台技术;丰田也曾公布氢燃料电池技术,以及与混动技术有关的专利;比亚迪在去年宣布,向全行业开放共享e平台技术,加速电动车的普及,推动整个行业的前进速度。
站在这个角度考虑,丰田与比亚迪都深知新能源市场规模化的重要性,只有整个行业发展起来,才能够不断吸引更多的企业投入到新能源市场中,让市场更加快速的成熟。
如此一来,丰田能够通过比亚迪e平台、电池、电驱等技术,迅速在新能源市场攻城略地,而比亚迪也能够从丰田身上获得世界一流的生产管理经验,以及对产品安全质量的把控标准,实乃双赢之举。
也因此丰田与比亚迪联手,堪称是天作之合,当新能源混动领域的霸主与纯电动领域的巨头走到一起,无疑能够发挥出“1+1>2”的实力,成为新能源汽车市场的一头猛兽。
如今,随着一汽丰田在天津投资85亿元建设新能源工厂,其与比亚迪的合作又向前迈进了一步,这对于提升新能源技术水准,建立并完善中国新能源汽车产业集群能够发挥推动作用。
当然,一口吃不成胖子,无论是丰田与比亚迪的合作,还是中国的新能源汽车之路,都有很长的路要走。
图文/DigiMobee移动生活网
Tesla特斯拉的 Autopilot半自动辅助驾驶功能依照设定的车速,自行保持与前车的距离并控制煞车与油门,大幅减轻长途驾驶的疲劳感。如果全长1952.1公里(台湾环岛超过一圈半)旅程的高速路段都开启 Autopilot,真的比较不会累吗?
美国 YouTuber Ryan Trahan这次完成了从德州 奥斯汀到伊利诺伊州 芝加哥,全长1,213英里的 Tesla Autopilot半自动辅助驾驶功能实际测试。一行人除了充电、吃饭与上厕所之外,其他时间都会在路上移动。测试的目的除了影片流量之外,还要看长期使用 Autopilot功能的利与弊。
如果这段旅程选用传统燃油动力车款的话,估计将花费约220美元(约6,600新台币)的油费,行驶时间约17个钟头。而拜 Tesla Supercharger网路之赐,Model X不用花一毛燃料或能源费用,但缺点就是旅程时间竟大幅增为36个钟头!因为电动车必须花时间充电。
Ryan Trahan在影片中表示 Autopilot功能确实能在长途旅程中让驾驶更加放松(双手每隔8至10秒才需触碰方向盘),但车辆必须充电的额外时间却让他绝对不会再选用 EV电动车来完成长距离的车程。
大部分的 Supercharger超级充电站都离高速公路约5至10英里(约8至16公里),因此每次充电都将增加旅程的时间与行驶距离。
阿里妹导读:阿里云智能数据库Tair团队主要负责自研分布式键值存储(KVS)系统,几乎涵盖了 *** 、天猫、阿里妈妈、菜鸟、钉钉、优酷、高德等阿里巴巴所有核心业务。十多年来,始终如一为阿里业务提供着高可靠、高性能、低成本的数据存储与访问服务。
作者:民泰
01 概 述
近日,Tair团队的一篇论文——HotRing: A Hotspot-Aware In-Memory Key-Value Store 被FAST'20 Research Track接收 (USENIX Conference on File and Storage Techniques (FAST),CCF A类会议,存储领域顶会,2020年接受率16%)。
HotRing是Tair团队的创新性纯内存KV存储引擎设计。其引擎吞吐性能可达600M ops/s,与目前最快的KVS系统相比,可实现2.58倍的性能提升。HotRing最重要的创新点是:极大的提升了KVS引擎对于热点访问的承载能力。这对于KVS系统的稳定性以及成本控制尤为关键。
为了方便大家更通俗全面的理解这篇论文,本文将从阿里巴巴的双十一零点峰值讲起,介绍峰值下数据库整体架构所面临的热点问题,再介绍Tair团队在解决热点方面一次次的优化提升,最后介绍Tair的创新性引擎HotRing。
02 背 景
2019年天猫双11再次刷新世界纪录,零点的订单峰值达到54.4万笔/秒。有订单就涉及到交易,有交易就需要数据库的事务保证,因此阿里巴巴数据库将在这时面临巨大的冲击。
现实往往更加严峻,在业务方面,一次订单随着业务逻辑在后端会放大为数十次的访问;在客户方面,大量的客户只是疯狂的访问,并没有生成订单。因此,在双11的零点峰值,业务实际的访问量级是10亿次/秒。
Tair作为高并发分布式的KVS系统,在这时发挥了重要作用。如下面的逻辑图所示,Tair作为数据库的分布式缓存系统,缓存了大量的热点数据(例如商品,库存,风控信息等),为数据库抵挡了巨大的访问量。2019年双11,Tair的峰值访问为9.92亿次/秒。
在业务层面,热点问题很好理解,最典型的就是双十一零点秒杀。这会导致数据访问呈现严重倾斜的幂律分布。
我们分析了多种业务的数据访问分布,如下图所示,大量的数据访问只集中在少部分的热点数据中,若用离散幂率分布(Zipfian)刻画,其θ参数约为1.22。相似地,Facebook的一篇论文同样也展示了近似的数据访问分布(参考论文[3])。
直观上可以用下图来解释。以苹果新手机发售举例。手机的库存等信息只存在KVS的一个节点中。当新手机发售后,大量的果粉疯狂进行抢购下单,业务的访问量基本都聚集在这一个节点上。节点可能无法承载大量的热点访问,进而引发系统崩溃,严重影响用户体验。
为了保证双十一丝般顺滑的购物体验,Tair针对热点问题进行了多层优化:
客户端缓存:通过预先标记热点,设置客户端层面的缓存。以上图来理解,就是将访问在业务层面返回,直接减小了KVS系统的负载压力。
热点散列技术:通过将热点数据备份到多个KVS节点上,分摊热点访问。以少量成本的资源与系统开销,换取了成倍的系统承载力。
RCU无锁引擎:通过采用Read-Copy-Update的方式,实现内存KV引擎的无锁化(lock-free)访问(参考论文[1,2])。成倍提升KVS引擎的性能,进而提高热点的承载力。
HotRing:在RCU无锁引擎基础上,我们进行索引结构的热点感知设计,提出了一种名为HotRing的新型热点感知内存KVS。HotRing可动态识别热点,并实时的进行索引结构的无锁调整,对于幂律分布场景实现成倍的引擎性能提升。
经过十年的技术沉淀,我们已将集团Tair数据库的缓存技术释放到云上,普惠大众,即“阿里云Redis企业版”。
03 HotRing
现有的内存KVS引擎通常采用链式哈希作为索引,结构如下图所示。首先,根据数据的键值(k)计算其哈希值h(k),对应到哈希表(Hash table)的某个头指针(Headi)。根据头指针遍历相应的冲突链(Collision Chain)的所有数据(Item),通过键值比较,找到目标数据。如果目标数据不在冲突链中(read miss),则可在冲突链头部插入该数据。
在链式哈希索引结构中,访问位于冲突链尾部的数据,需要经过更多的索引跳数,即更多次的内存访问。很直观的想法是,如果可以将热点数据放置在冲突链头部,那么系统对于热点数据的访问将会有更快的响应速度。
但是,数据在冲突链中的位置由数据的插入顺序决定,这和数据的冷热程度是互相独立的。因此,如图所示,热点数据(Hot Item)在冲突链中的位置是完全均匀分布。
理想的设计也很直观,就是将所有热点数据移动到冲突链的头部。但有两方面因素使得这个问题非常难解。一方面,数据的热度是动态变化的,必须实现动态的热点感知保证热点时效性。另一方面,内存KVS的引擎性能是很敏感的(一次访问的时延通常是100ns量级),必须实现无锁的热点感知维持引擎的高并发与高吞吐特性。
HotRing在传统链式哈希索引基础上,实现了有序环式哈希索引设计。如下图所示,将冲突链首尾连接形式冲突环,保证头指针指向任何一个item都可以遍历环上所有数据。然后,HotRing通过lock-free移动头指针,动态指向热度较高的item(或根据算法计算出的更优item位置),使得访问热点数据可以更快的返回。
下面通过如下4方面进行介绍:
设计1:为什么要实现为有序环?
设计2:如何动态识别热点并调整头指针?
设计3:如何保证无锁的并发访问?
设计4:如何根据热点数据量的动态变化进行无锁rehash?
实现环式哈希索引后,之一个问题是要保证查询的正确性。若为无序环,当一个read miss操作遍历冲突环时,它需要一个标志来判断遍历何时终止,否则会形式死循环。但是在环上,所有数据都会动态变化(更新或删除),头指针同样也会动态移动,没有标志可以作为遍历的终止判断。
利用key排序可以解决这个问题,若目标key介于连续两个item的key之间,说明为read miss操作,即可终止返回。由于实际系统中,数据key的大小通常为10~100B,比较会带来巨大的开销。哈希结构利用tag来减少key的比较开销。
如下图所示,tag是哈希值的一部分,每个key计算的哈希值,前k位用来哈希表的定位,后n-k位作为冲突链中进一步区分key的标志。为了减小排序开销,我们构建字典序:order=(tag, key)。先根据tag进行排序,tag相同再根据key进行排序。
下图比较了HotRing与传统链式哈希。以itemB举例,链式哈希需要遍历所有数据才能返回read miss。而HotRing在访问itemA与C后,即可确认B read miss。因此针对read miss操作,链式哈希需要遍历整个冲突链;而HotRing利用字典序,不仅可以正确终止,且平均只需遍历1/2冲突环。
HotRing实现了两种策略来实现周期性的热点识别与调整。每R次访问为一个周期(R通常设置为5),第R次访问的线程将进行头指针的调整。两种策略如下:
随机移动策略:每R次访问,移动头指针指向第R次访问的item。若已经指向该item,则头指针不移动。该策略的优势是, 不需要额外的元数据开销,且不需要采样过程,响应速度极快。
采样分析策略:每R次访问,尝试启动对应冲突环的采样,统计item的访问频率。若第R次访问的item已经是头指针指向的item,则不启动采样。
采样所需的元数据结构如下图所示,分别在头指针处设置Total Counter,记录该环的访问总次数,每个item设置Counter记录该item的访问次数。因为内存指针需要分配64bits,但实际系统地址索引只使用其中的48bits。我们使用剩余16bits设置标志位(例如Total Counter、Counter等),保证不会增加额外的元数据开销。该策略的优势是,通过采样分析,可以计算选出更优的头指针位置,稳态时性能表现更优。
这一部分的细节设计有很多:
采样分析策略如何选出更优位置;
针对RCU更新操作的采样优化,
热点继承防止冷启动。
本文不再详细描述,有兴趣请参考HotRing论文。
Tair的RCU无锁引擎是HotRing的设计基础。参考论文[1,2]对如何实现无锁链表进行了详细讲解,后续的所有无锁设计基本都沿用了他们的策略。有兴趣可以读一下。这里我们举一个典型的并发示例进行介绍。
如下图所示,在链A->B->D上,线程1进行插入C的操作,同时线程2进行RCU更新B的操作,尝试更新为B'。线程1修改B的指针指向C,完成插入。而线程2修改A的指针指向B'完成更新。两个线程并发修改不同的内存,均可成功返回。但是这时遍历整条链(A->B'->D),将发现C无法被遍历到,导致正确性问题。
解决措施是利用上图(Item Format)中的Occupied标志位。当线程2更新B时,首先需要将B的Occupied标志位置位。线程1插入C需要修改B的指针(Next Item Address),若发现Occupied标志位已置位,则需要重新遍历链表,尝试插入。通过使并发操作竞争修改同一内存地址,保证并发操作的正确性。
利用相同原理,我们保证了头指针移动操作,与CRUD操作的并发正确性。因此实现了HotRing的无锁并发访问。
如背景所述,对于极端的幂率分布场景,大量的数据访问只集中在少部分的热点数据中。因此只要保证热点数据可以位于头指针位置,冲突环即使很长,对于引擎的性能表现并不影响。引擎性能的降低,必然是因为冲突环上存在多个热点。因此HotRing设计了适应热点数据量的无锁rehash策略来解决这一问题。
HotRing利用访问所需平均内存访问次数(access overhead)来替代传统rehash策略的负载因子(load factor)。在幂率分布场景,若每个冲突环只有一个热点,HotRing可以保证access overhead
rehash过程分为3步进行,结合上面4图进行说明,图一为哈希表,哈希值在rehash前后的变化。剩余三图为rehash三个过程。
初始化(Initialization):首先,HotRing创建一个后台rehash线程。该线程创建2倍空间的新哈希表,通过复用tag的更高一位来进行索引。因此,新表中将会有两个头指针与旧表中的一个头指针对应。HotRing根据tag范围对数据进行划分。假设tag更大值为T,tag范围为[0,T),则两个新的头指针对应tag范围为[0,T/2)和[T/2,T)。同时,rahash线程创建一个rehash节点(包含两个空数据的子item节点),子item节点分别对应两个新头指针。HotRing利用item中的Rehash标志位识别rehash节点的子item节点。
分裂(Split):在分裂阶段,rehash线程通过将rehash节点的两个子item节点插入环中完成环的分裂。如图(Split)所示,因为itemB和E是tag的范围边界,所以子item节点分别插入到itemB和E之前。完成两个插入操作后,新哈希表将激活,所有的访问都将通过新哈希表进行访问。到目前为止,已经在逻辑上将冲突环一分为二。当我们查找数据时,最多只需要扫描一半的item。
删除(Deletion):删除阶段需要做一些首尾工作,包括旧哈希表的回收。以及rehash节点的删除回收。这里需要强调,分裂阶段和删除阶段间,必须有一个RCU静默期(transition period)。该静默期保证所有从旧哈希表进入的访问均已经返回。否则,直接回收旧哈希表可能导致并发错误。
04 总 结
内存键值存储系统由于高性能、易扩展等特性在云存储服务中广泛使用。其通常作为必不可少的缓存组件,以解决持久化存储系统或分布式存储系统中的热点问题。
但分析发现,内存KVS内部的热点问题更加严重,其数据访问分布同样服从幂律分布,且访问倾斜愈加严重。现有的内存KVS缺乏热点优化意识,部分数据节点可能无法承载大量的热点访问,进而引发系统崩溃,严重影响用户体验。
在本论文中,我们进行索引结构的热点感知设计,提出了一种名为HotRing的新型热点感知内存KVS,针对幂率分布的热点场景进行大量优化。HotRing可动态识别热点,并实时的进行索引结构的无锁调整,进而提供高并发高性能的无锁化访问。
与传统的内存KVS索引相比,HotRing采用轻量级的热点识别策略,且没有增加元数据存储开销。但在幂律分布的应用场景中,HotRing的引擎吞吐性能可达600M ops/s,与目前最快KVS相比,可实现2.58倍的性能提升。
据外媒electrek报道,最新的一份调查报告显示,特斯拉的新车Model Y和Cybertruck获得了大量关注。其中,来自6个国家的近10000名受访者中,有28%表示“可能考虑”Model Y,这个数值要高于2018年Model 3车型调查时的26%。而电动皮卡Cybertruck的受关注度,也超过了热门皮卡道奇RAM1500。根据2月18日网友分享的预订编码推算,Cybertruck的预订量已经超过了53万辆,这个数量约为特斯拉2-3的计划产能总和。
据车主分享的信息显示,当地时间3月11日16:00,特斯拉将向他交付Model Y,比此前网友猜测的最早交付日期3月15日提前了4天。electrek报道中提到,Model 3的行李箱开口太小遭到了很多人的抱怨,Model Y完美避开了这一点,因此受到了很多准车主的青睐。当然了,@不看车 认为,人们选购Model Y的更多原因,是因为它的特斯拉最新科技的结晶,它的自动驾驶系统、影音娱乐系统、三电系统以及全球最牛电动汽车的特斯拉身份。
至于Cybertruck,计划的最早量产时间是2021年下半年,优先生产双电机版本和三电机版本。低配的单电机版本要到2022年下半年才会开始选配和量产。按照特斯拉的惯例,因为单电机预订比例过低,届时很有可能直接交付双电机版本,然后开启付费升级模式。要做到这一点,对特斯拉来说,应该很简单。
凤凰网科技讯北京时间2月4日消息,据路透社报道: 【小说】【15426985623白玉沈墨】最新章节_无弹窗全文阅读,txt电子书下载,全章节小说 在【纯文阁】这个微信公众号,回复书号:5849,阅...
大幕拉开,银幕点亮,一场好戏终于上演。由刘德华监制,饶晓志导演,刘德华、肖央、万茜领衔主演,程怡、黄小蕾、狄志杰、国义骞联合主演的荒诞喜剧电影《人潮汹涌》今日正式公映。人生如戏,全凭演技,当电影照进现...
SEO主管的人为报酬什么程度【项城seo培训机构】 黑帽seo更注重的是短期内的好处,在好处的差遣下通过作弊手法得到很大的好处。就是回收搜索引擎克制的方法优化网站,影响搜索引擎对网站排名的公道和合理性...
如今大家不得不承认手机微信在腾讯官方户下是一款应用性很高的APP,由于他基本上早已落实了大家全部微生活,并且在大家日常生活之中应用頻率十分高的APP肯定便是手机微信莫属。可是很多人都感觉这一款APP的...
“80后”是我国实施计划生育后的一代人,时值壮年的他们多数担负着家庭重担,同时也面临着高物价和激烈工作竞争等难题。 ● 话不太多的四川汉子 30岁出头的曹立看起来比较清瘦,不过身材还算结实,说话时...
氢能代表什么意思(氢能并不是未来新能源方位)情况表明 能源危机是当今人们急需解决处理的难点。不只是为了更好地处理全球变暖,减少电力能源成本费,更关键的是在信息科技、智能化自动化技术生产技术的协助下,早...