在线咨询办理VIP会员

联系QQ1980803031

    在线开通VIP请联系QQ1980803031

VIP会员全站免金币

100%可下载

网盘收集文件

分享你无法观看或愿意共享的加密课程

注:解密后的课程会发到本站,是否加密发布由本站决定

查看: 7239|回复: 65

[云计算&大数据] Flume视频教程分布式的海量日志采集 云计算教程

  [复制链接]
  • TA的每日心情
    开心
    14 小时前
  • 签到天数: 1620 天

    连续签到: 53 天

    [LV.Master]伴坛终老

    注册时间
    2012-9-4
    最后登录
    2021-4-13

    9072

    主题

    1万

    帖子

    2万

    积分

    管理员

    2012年到2020年,感谢各位会员朋友的支持!

    Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62

    推广达人宣传达人突出贡献优秀版主荣誉管理论坛元老vip会员

    QQ
    发表于 2016-5-25 13:39:10 | 显示全部楼层 |阅读模式
    Flume视频教程分布式的海量日志采集 云计算教程
    . l3 w+ c% x' Y+ {0 T% F  V1 \% r0 `
    Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
    ! A+ q# |" w% L8 d* J1 D3 f  f& R  ?7 K
    当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构,与Flume-og有很大不同,使用时请注意区分。

    % b$ w/ a0 `# Z. J2 K, Y& J. n3 ^+ P" _. Z9 r
    课程目录:
    9 B( x+ a4 d- L# p1flume简介-基础知识0 a+ T+ ^5 m! I* w9 Z
    讲述flume的基础知识包括flume的基本概念和核心组件。flume是一个分布式、可靠、高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据的简单处理,并写到各种数据接收方的能力。% V' |) s! v  d5 T
    2: |/ s7 X* Q& A7 _
    flume安装与测试5 x" s1 G5 U4 I, i* H% F  U
    讲述flume安装与测试,主要包括flume单机安装与测试、flume集群安装与测试、Arvo环境的搭建以及安装过程中的一些异常的解决方案讲解。
    1 K9 w1 e( E2 n- J( r3$ v. g( X" X# h% u1 U! c
    flume部署方式7 H0 s& I. `, z- Q* v4 Z
    讲述flume部署种类、流配置。其中详细讲解了单一代理、多代理、多路复用流的配置说明。5 @; ?0 O$ M& {7 e0 s1 U! _
    4. n, V% `/ f  a) z. [- f9 b
    flume source相关配置及测试
    $ Z: k% z. d. ?: E* D讲述flume source相关的配置和案例分析,包括了Avro Source配置、Thrift Source配置、Exec Source配置、JMS Source配置、NetCat Source配置、Spooling Directory Source配置、Sequence Generator Source配置、Syslog TCP Source配置、Multiport Syslog TCP Source配置、Syslog UDP Source配置、Http Source配置、Custom Source配置。4 H- u/ [4 Q7 E, \1 Q6 o3 T
    5
    . J. W5 C( L9 \1 zflume sink相关配置及测试; D1 @# J0 h3 j- a4 @7 a2 {: D
    讲述flume sink相关的配置以及flume channel配置和案例分析,包括了HDFS Sink配置、Logger Sink配置、Avro Sink配置、Thrift Sink配置、IRC Sink配置、File Roll Sink配置、Null Sink配置、Hbase Sink配置、AsyncHbase Sink配置、Custom Sink配置;Memory Channel配置、JDBC Channel配置、File Channel配置、Pseudo Transaction Channel配置、Custom Channel配置。% J$ v, o7 ~: {( g

    8 @3 h+ a* Q6 f( I( j- ~6' N' l* O# k0 T$ t' O) |, Y
    flume selector 相关配置与案例分析5 V9 N8 C6 N5 V; ?; u( S, E7 x
    讲述 flume selector相关配置和案例分析,包括了Replicating Channel Selector配置、Multiplexing Channel Selector配置、Custom Channel Selector配置。( ~! a' X5 h" p# `/ K# A
    7
    ) W) w7 `) T, i1 N2 H. _% x7 \1 SFlume Sink Processors相关配置和案例分析( A$ k( N6 B* V: x, m) D
    讲述 Flume Sink Processors相关配置和案例分析,包括了Default Sink Processor配置、Failover Sink Processor配置、Load balancing Sink Processor配置。3 x: t- e, l/ ^) }$ z
    8" Z2 _" n' B8 [! c; X$ {
    Flume Interceptors相关配置和案例分析" }$ k  F2 b! O' T, I* S! p9 l
    讲述 Flume Event Serializers、Flume Interceptors相关配置和案例分析,包括了Body Text Serializer配置、Avro Text Serializer配置、Timestamp Interceptor配置、Host Interceptor配置、Static Interceptor配置、Regex Filtering Interceptor配置。* x/ T  M+ h2 r0 X+ [0 }/ p
    99 i" b( ^& m) u0 a9 B, }* A
    Flume RPC Client开发9 S1 P: k: t# S8 p7 o+ |* U
    讲述如何进行 flume RPC Client开发,这个是在通常应用中使用的较多的一种方式。
    : T; @. I# l. e& \& g& E) U* N107 J; I7 d0 q9 M3 {. c- U! A
    Flume Sink和Flume Source开发  B7 y  f0 ?8 }2 n+ M) S
    讲述如何进行 flume Sink、flume Source开发。/ z' b6 J' @5 |1 c* Y6 p

    4 D) m  O, _9 ^% ~1 E. W7 O# p0 R7 b7 ~1 Y! `: u7 S
    下载地址:
    5 x; r/ H  ^& \( Z& ?, T
    游客,如果您要查看本帖隐藏内容请回复

    5 {3 C" d4 q( \( `9 H3 _/ E% q8 o" a! P$ t8 n" n, a3 a

    三六五网络学院 - 论坛版权1、本主题所有言论和图片纯属会员个人意见,与本论坛立场无关
    2、本站所有课程收集于互联网,该帖子作者与三六五网络学院不享有任何版权,如有侵权请联系本站删除
    3、本站部分内容转载自其它网站,但并不代表本站赞同其观点和对其真实性负责
    4、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
    5、三六五网络学院管理员和版主有权不事先通知发贴者而删除本文

    回复

    使用道具 举报

  • TA的每日心情
    开心
    2021-2-16 16:23
  • 签到天数: 35 天

    连续签到: 1 天

    [LV.5]常住居民I

    2

    主题

    1110

    帖子

    1128

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    1128

    vip会员

    发表于 2016-5-25 14:10:07 | 显示全部楼层
    谢谢分享!
    回复

    使用道具 举报

  • TA的每日心情

    2021-3-20 01:59
  • 签到天数: 291 天

    连续签到: 1 天

    [LV.8]以坛为家I

    23

    主题

    1831

    帖子

    1861

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    1861

    vip会员

    QQ
    发表于 2016-5-25 16:59:54 | 显示全部楼层
    谢谢分享啊
    回复

    使用道具 举报

  • TA的每日心情

    2017-8-7 09:52
  • 签到天数: 171 天

    连续签到: 1 天

    [LV.7]常住居民III

    0

    主题

    797

    帖子

    4377

    积分

    违规用户(已保留证据)

    积分
    4377
    发表于 2016-5-26 13:50:22 | 显示全部楼层
    支持一下 很好啊
    回复

    使用道具 举报

  • TA的每日心情
    开心
    14 小时前
  • 签到天数: 1230 天

    连续签到: 956 天

    [LV.10]以坛为家III

    27

    主题

    9648

    帖子

    1万

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    11433

    vip会员

    发表于 2016-7-3 08:51:48 来自手机 | 显示全部楼层
    这个有用,我要了,谢谢
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2018-7-30 18:47
  • 签到天数: 30 天

    连续签到: 4 天

    [LV.5]常住居民I

    3

    主题

    70

    帖子

    658

    积分

    赞助VIP会员

    Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30

    积分
    658
    发表于 2016-7-5 00:54:54 | 显示全部楼层
    谢谢分享啊
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    5 小时前
  • 签到天数: 1231 天

    连续签到: 956 天

    [LV.10]以坛为家III

    25

    主题

    7876

    帖子

    9636

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    9636
    发表于 2016-7-6 09:24:51 | 显示全部楼层
    好东西,好好收藏,学习
    回复

    使用道具 举报

    该用户从未签到

    0

    主题

    2911

    帖子

    5910

    积分

    年度vip会员[账号异常]

    Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20

    积分
    5910
    发表于 2016-8-1 22:03:38 | 显示全部楼层
    thanks for your sharing,best wishes
    回复

    使用道具 举报

  • TA的每日心情
    郁闷
    4 小时前
  • 签到天数: 1231 天

    连续签到: 957 天

    [LV.10]以坛为家III

    18

    主题

    7785

    帖子

    9459

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    9459
    发表于 2016-8-12 12:58:25 | 显示全部楼层
    好丰富的课程啊
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    5 小时前
  • 签到天数: 1231 天

    连续签到: 956 天

    [LV.10]以坛为家III

    16

    主题

    7970

    帖子

    9699

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    9699
    发表于 2016-8-13 16:46:55 | 显示全部楼层
    楼主辛苦了~
    回复

    使用道具 举报

    懒得打字嘛,点击右侧快捷回复 【右侧内容,后台自定义】
    您需要登录后才可以回帖 登录 | 注册

    本版积分规则

    商务合作

    客服QQ:1980803031
    点击这里给我发消息
    Copyright;  ©2012-2016  教程论坛  Powered byDiscuz!  技术支持:三六五网络学院