`

scribe,flume

阅读更多

flume

 
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
http://baike.baidu.com/view/9540485.htm
http://baike.baidu.com/view/9540485.htm
Scribe是Facebook开源的日志收集系统,在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志,存储到一个中央存储系统(可以是NFS分布式文件系统等)上,以便于进行集中统计分析处理。它为日志的“分布式收集,统一处理”提供了一个可扩展的,高容错的方案。当中央存储系统的网络或者机器出现故障时,scribe会将日志转存到本地或者另一个位置,当中央存储系统恢复后,scribe会将转存的日志重新传输给中央存储系统。其通常与Hadoop结合使用,scribe用于向HDFS中push日志,而Hadoop通过MapReduce作业进行定期处理。[1]
分享到:
评论
1 楼 coderuncle 2013-05-10  
楼主有没有研究过cloudera flume和apache flume的区别?感觉完全是两样...

相关推荐

    开源日志系统比较:scribe、chukwa、kafka、flume.docx

    开源日志系统比较:scribe、chukwa、kafka、flume.pdf

    Flume日志收集

    本文来自于cnblogs,文章主要讲解了Fluem的一些简单介绍,架构分布式环境部署,高级动态配置等。Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中...),Storeonfailure(这也是scribe采用的策略

    flume-zipkin-collector-sink:支持将 Zipkin 跨度发送到 Zipkin 收集器的水槽接收器

    我们希望您使用org.apache.flume.source.scribe.ScribeSource ,它将从 Brave Zipkin Span Collector 或原始 Zipkin 代码接收 span。 代理应该这样配置: ScribeSource -> Channel of your choice -> ...

    HADOOP课程大纲.pdf

    模块二 Hadoop生态系统介绍和演示 Hadoop HDFS 和 MapReduce Hadoop数据库之HBase Hadoop数据仓库之Hive Hadoop数据处理脚本Pig Hadoop数据接口Sqoop和Flume,Scribe DataX Hadoop工作流引擎 Oozie 运用Hadoop...

    大数据技术体系.pdf

    Flume、Scribe、Logstash、Kibana 消息系统:Kafka、StormMQ、ZeroMQ、RabbitMQ 查询分析:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid 分布式协调服务:Zookeeper 集群管理与监控:...

    数据采集在大数据中的应用.doc

    绝大部分的互联网企业都拥有自己专属的海量数据采集 工具,一般是用于对系统日志进行采集,例如Hadoop的Chukwa、Fecebook专用的Scribe 以及Cloudera的Flume等等,这些工具都是采取分布式类型的架构,可以满足很大的...

    大数据处理流程.pdf

    和Flume类似的另⼀个框架是Scribe(FaceBook开源的⽇志收集系统,它为⽇志的分布式收集、统⼀处理提供⼀个 可扩展的、⾼容错的简单⽅案) Kafka:通常来说Flume采集数据的速度和下游处理的速度通常不同步,因此实时...

    beihu-bigdata:大数据

    数据采集:Flume、Kafka、Scribe、Chukwa 数据处理:Hadoop、Spark、Storm、Flink、Pig、Tez、Impala、Presto、Kylin、Drill、Phoniex、Beam、Apex 数据存储:HBase、HDFS、Cassandra、Kudu、Alluxio、Parquet 数据...

    大数据中数据采集的几种方式.pdf

    ⼤数据中数据采集的⼏种⽅式 ⼀、采集⼤数据的⽅法 1.1通过系统⽇志采集⼤数据 ⽤于系统⽇志采集的⼯具,⽬前使⽤最⼴泛的有:Hadoop 的Chukwa、ApacheFlumeAFacebook的Scribe和LinkedIn的Kafka等。这 ⾥主要学习...

    通过系统日志采集大数据

    目前使用最广泛的、用于系统日志采集的海量数据采集工具有 Hadoop 的 Chukwa、ApacheFlumeAFacebook 的 Scribe 和 LinkedIn 的 Kafka 等。 以上工具均采用分布式架构,能满足每秒数百 MB 的日志数据采集和传输需求。

    nosql 入门教程

    17.3 Scribe 266 17.4 Flume 267 17.5 Chukwa 267 17.6 Pig 268 17.6.1 使用Pig 269 17.6.2 Pig Latin基础 269 17.7 Nodetool 271 17.8 OpenTSDB 272 17.9 SOLANDRA 273 17.10 Hummingbird和C5T 274 17.11...

Global site tag (gtag.js) - Google Analytics