美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。
《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。
之一部分架构和设计,将主要着眼于日志收集系统整体的架构设计,以及为什么要做这样的设计。
第二部分改进和优化,将主要着眼于实际部署和使用过程中遇到的问题,对Flume做的功能修改和优化等。
1 日志收集系统简介
日志收集是大数据的基石。
许多公司的业务平台每天都会产生大量的日志数据。收集业务日志数据,供离线和在线的分析系统使用,正是日志收集系统的要做的事情。高可用性,高可靠性和可扩展性是日志收集系统所具有的基本特征。
目前常用的开源日志收集系统有Flume, Scribe等。Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,目前已经是Apache的一个子项目。Scribe是Facebook开源的日志收集系统,它为日志的分布式收集,统一处理提供一个可扩展的,高容错的简单方案。
2 常用的开源日志收集系统对比
下面将对常见的开源日志收集系统Flume和Scribe的各方面进行对比。对比中Flume将主要采用Apache下的Flume-NG为参考对象。同时,美团将常用的日志收集系统分为三层(Agent层,Collector层和Store层)来进行对比。
文 | 公关之家 作者:Leon360k 社会化营销,在营销学中被称作“社会营销”是由著名专家学者科特勒连通其他学者共同提出。而在网络营销专业方面则被称作“社会化媒体营销”或“社交媒体营销”,属于借...
1、通俗来说电视机三个插头插进合适的插口分配了不同的比例能混成一副图像,信号在变化就变成了一副在动的图像。2、。 色差分量接口称为分量视频接口,又叫3RCA,即把色度(C)信号里的蓝色差(b)、红色差...
习近平:我们在脱贫以后还要致富,还要走一个现代化的道路。我们现在正在这样的一个路程上。 这段话出自2018年10月23日习近平在广东考察时的讲话。 脱贫摘帽不是终点,而是新生活、新奋斗...
一到夏季就变成了大家腹泻的高发期,特别是对于那些长期呆在空调房或者吃冷饮的人群来说,更容易腹泻。那么,经常腹泻应该怎么办呢?以下这8个偏方一吃就好,让你不再拉肚! 1.干石榴皮煎汤 石榴皮含根皮碱...
墨尔本大学预科申请 1.语言成绩(IELTS或TOEFL):无需公证,由考试机构送分。 2.高中在读证明/高中毕业证:中英文对照+公证;在读证明请让学校注明预计毕业日期。 3.高中成绩单:中英文...
穿行在林海雪原的“年货列车” 央广网北京2月8日消息(记者佟亚涛)据中央广播电视总台经济之声《天下财经》报道,临近春节,不少人都在忙着准备年货。而在东北大兴安岭林区,一趟“铁路公交”装载着年...