美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。
《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。
之一部分架构和设计,将主要着眼于日志收集系统整体的架构设计,以及为什么要做这样的设计。
第二部分改进和优化,将主要着眼于实际部署和使用过程中遇到的问题,对Flume做的功能修改和优化等。
1 日志收集系统简介
日志收集是大数据的基石。
许多公司的业务平台每天都会产生大量的日志数据。收集业务日志数据,供离线和在线的分析系统使用,正是日志收集系统的要做的事情。高可用性,高可靠性和可扩展性是日志收集系统所具有的基本特征。
目前常用的开源日志收集系统有Flume, Scribe等。Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,目前已经是Apache的一个子项目。Scribe是Facebook开源的日志收集系统,它为日志的分布式收集,统一处理提供一个可扩展的,高容错的简单方案。
2 常用的开源日志收集系统对比
下面将对常见的开源日志收集系统Flume和Scribe的各方面进行对比。对比中Flume将主要采用Apache下的Flume-NG为参考对象。同时,美团将常用的日志收集系统分为三层(Agent层,Collector层和Store层)来进行对比。
此刻纹绣学校那么多,每个学校收学费城市纷歧样,进修纹绣,我以为应该是从多方面去思量的,如这个学校的解说质量是怎么样的,因为好的老师才气带出更好的学生,。 世几多面上进修纹绣的价值一般在6000...
为了更好地小宝宝的身心健康,婴儿奶粉开封市以后除开要密封性储存以外,还需尽可能吃了,由于時间越长,受到影响,被环境污染的几率就越大,不利小宝宝的身心健康,那麼婴儿奶粉开封市后能够放多长时间?多长时间能...
本文目录一览: 1、黑客攻击的三个阶段是什么?黑客在这三个阶段分别完成什么工作? 2、黑客是什么 3、获取手机root权限怎么进行黑客 4、如何成功获取ROOt权限 5、网络黑客是如何...
个人档案】本名:卓文萱英文名:Genie百度ID:Genie_卓文萱生日:1986.01.20出生地:台北县身高:158cm体重:42kg血型:AB型星。 本名:卓文萱生日:1986.01.20出生地...
大伙儿在游戏里面有效TGP的都了解,在赛事完毕以后,TGP战况都是会表明辗压局,Carry局,尽力局这类的标识,那麼尽力局到底代表什么意思,而甩锅局又代表什么意思呢,这两个不成功的标识到底哪一个才算是...
咱们对2019年挖矿病毒样本进行归类,对挖矿木马运用的端口号、进程名、矿池的特色进行核算,发现以下特色:主机网络办理你只要在它的网站上输入一个网站地址,就能看到这个网站在曩昔的不同时期别离长什么样。...