Kafka00-安装

1.解压缩安装包 [atguigu@hadoop102 software]$ tar -zxvf kafka_2.11 0.11.0.0.tgz -C/opt/module 2.创建logs文件夹: kafka根目录下 3.修改配置文件 vim /config/server.properties ...
2020-08-12 Kafka

Kafka01-概述&shell操作

概述Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 消息队列MQ：异步处理 使用消息队列的好处： 解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 可恢复性 系统的一部分组件失效时，不会影响 ...
2020-08-12 Kafka

Kafka02-架构原理

Kafka工作流程与文件存储 Kafka 中消息是以topic 进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。 topic 是逻辑上的概念，而partition 是物理上的概念，每个partition 对应于一个log 文件，该log 文件中存储的就是producer 生产的数据 ...
2020-08-12 Kafka

Kafka04-监控

概述Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 消息队列MQ：异步处理 使用消息队列的好处： 解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 可恢复性 系统的一部分组件失效时，不会影响 ...
2020-08-12 Kafka

Kafka03-API

Producer API消息发送流程Kafka的 Producer发送消息采用的是 异步发送 的方式。在消息发送的过程中，涉及到了两个线程 main线程和 Sender线程 ，以及 一个线程共享变量 RecordAccumulator。main线程将消息发送给 RecordAccumulator S ...
2020-08-12 Kafka

Kafka05-Flume对接Kafka

配置 flume(flume-kafka.conf) 'define' a1.sources = r1 a1.sinks = k1 a1.channels = c1 ' source' a1.sources.r1.type = exec a1.sources.r1. ...
2020-08-12 Kafka

Kafka06-面试题

Kafka中的 ISR(InSyncRepli)、 OSR(OutSyncRepli)、 AR(AllRepli)代表什么？ ISR：与 leader保持同步的follower集合 AR：分区的所有副本 Kafka中的 HW、 LEO等分别代表什么？ LEO：没个副本的最后条消息 ...
2020-08-12 Kafka