flume00-安装

安装地址 Flume 官网地址：http://flume.apache.org/ 文档查看地址：http://flume.apache.org/FlumeUserGuide.html 下载地址：http://archive.apache.org/dist/flume/ 安装部署 解压 apache ...
2020-08-12 Flume

flume01-概述

定义Flume 是Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。 基础架构 AgentAgent是一个 JVM 进程，它以事件的形式将数据 ...
2020-08-12 Flume

flume02-案例

Flume入门案例监控端口数据官方案例案例需求：使用Flume 监听一个端口， 收集该端口数据 ，并打印到控制台。 实现步骤： 安装 netcat 工具 sudo yum install -y nc 判断44444 端口是否被占用 sudo netstat -tunlp | grep 44444 ...
2020-08-12 Flume

flume03-原理

Flume事务 Agent 内部原理 ChannelSelector ChannelSelector 的作用就是选出Event 将要被发往哪个Channel。其共有两种类型，分别是Replicating（复制）和Multiplexing（多路复用）。 ReplicatingSelector会将同一 ...
2020-08-12 Flume

flume04-面试题

如何实现Flume 数据传输的监控的使用第三方框架Ganglia 实时监控Flume。 Flume 的Source，Sink，Channel 的作用？你们Source 是什么类型？作用： Source 组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据，包括avro、thrift、ex ...
2020-08-12 Flume