数据结构08-递归

[toc] 递归递归是一种应用非常广泛的算法（或者编程技巧）。之后我们要讲的很多数据结构和算法的编码实现都要用到递归，比如 DFS 深度优先搜索、前中后序二叉树遍历等等。 递归需要满足的三个条件： 一个问题的解可以分解为几个子问题的解 这个问题与分解之后的子问题，除了数据规模不同，求解思路完全一样 ...
2020-11-26 数据结构

数据结构07-队列

[toc] 队列队列跟栈一样，也是一种操作受限的线性表数据结构。先进者先出 队列的应用也非常广泛，特别是一些具有某些额外特性的队列，比如循环队列、阻塞队列、并发队列。它们在很多偏底层系统、框架、中间件的开发中，起着关键性的作用。比如高性能队列 Disruptor、Linux 环形缓存，都用到了循环并 ...
2020-11-25 数据结构

数据结构06-栈

[toc] 栈的概述栈是一种“操作受限”的线性表，只允许在一端插入和删除数据。后进者先出，先进者后出 事实上，从功能上来说，数组或链表确实可以替代栈，但你要知道，特定的数据结构是对特定场景的抽象，而且，数组或链表暴露了太多的操作接口，操作上的确灵活自由，但使用时就比较不可控，自然也就更容易出错。 当 ...
2020-11-25 数据结构

数据结构05-链表

[toc] 链表介绍从图中我们看到，数组需要一块连续的内存空间来存储，对内存的要求比较高。如果我们申请一个 100MB 大小的数组，当内存中没有连续的、足够大的存储空间时，即便内存的剩余总可用空间大于 100MB，仍然会申请失败。 而链表恰恰相反，它并不需要一块连续的内存空间，它通过“指针”将一组零 ...
2020-11-24 数据结构

数据结构04-数组

[toc] 数组概念数组（Array）是一种==线性表==数据结构。它用一组==连续的内存空间==，来存储一组具有==相同类型==的数据。 线性表（Linear List）：顾名思义，线性表就是数据排成像一条线一样的结构。每个线性表上的数据最多只有前和后两个方向。其实除了数组，链表、队列、栈等也是线 ...
2020-11-24 数据结构

06-HBase安装

启动Zookeeper 启动Hadoop：hdfs和yarn HBase的解压 tar -zxvf HBase-1.3.1-bin.tar.gz -C /opt/module 修改HBase的配置文件 HBase-env.sh export JAVA_HOME=/opt/module/ ...
2020-08-12 环境

flume00-安装

安装地址 Flume 官网地址：http://flume.apache.org/ 文档查看地址：http://flume.apache.org/FlumeUserGuide.html 下载地址：http://archive.apache.org/dist/flume/ 安装部署 解压 apache ...
2020-08-12 Flume

flume01-概述

定义Flume 是Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。 基础架构 AgentAgent是一个 JVM 进程，它以事件的形式将数据 ...
2020-08-12 Flume

flume02-案例

Flume入门案例监控端口数据官方案例案例需求：使用Flume 监听一个端口， 收集该端口数据 ，并打印到控制台。 实现步骤： 安装 netcat 工具 sudo yum install -y nc 判断44444 端口是否被占用 sudo netstat -tunlp | grep 44444 ...
2020-08-12 Flume

flume03-原理

Flume事务 Agent 内部原理 ChannelSelector ChannelSelector 的作用就是选出Event 将要被发往哪个Channel。其共有两种类型，分别是Replicating（复制）和Multiplexing（多路复用）。 ReplicatingSelector会将同一 ...
2020-08-12 Flume

Kafka00-安装

1.解压缩安装包 [atguigu@hadoop102 software]$ tar -zxvf kafka_2.11 0.11.0.0.tgz -C/opt/module 2.创建logs文件夹: kafka根目录下 3.修改配置文件 vim /config/server.properties ...
2020-08-12 Kafka

flume04-面试题

如何实现Flume 数据传输的监控的使用第三方框架Ganglia 实时监控Flume。 Flume 的Source，Sink，Channel 的作用？你们Source 是什么类型？作用： Source 组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据，包括avro、thrift、ex ...
2020-08-12 Flume

Kafka01-概述&shell操作

概述Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 消息队列MQ：异步处理 使用消息队列的好处： 解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 可恢复性 系统的一部分组件失效时，不会影响 ...
2020-08-12 Kafka

Kafka02-架构原理

Kafka工作流程与文件存储 Kafka 中消息是以topic 进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。 topic 是逻辑上的概念，而partition 是物理上的概念，每个partition 对应于一个log 文件，该log 文件中存储的就是producer 生产的数据 ...
2020-08-12 Kafka

Kafka04-监控

概述Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 消息队列MQ：异步处理 使用消息队列的好处： 解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 可恢复性 系统的一部分组件失效时，不会影响 ...
2020-08-12 Kafka

Kafka03-API

Producer API消息发送流程Kafka的 Producer发送消息采用的是 异步发送 的方式。在消息发送的过程中，涉及到了两个线程 main线程和 Sender线程 ，以及 一个线程共享变量 RecordAccumulator。main线程将消息发送给 RecordAccumulator S ...
2020-08-12 Kafka

Kafka05-Flume对接Kafka

配置 flume(flume-kafka.conf) 'define' a1.sources = r1 a1.sinks = k1 a1.channels = c1 ' source' a1.sources.r1.type = exec a1.sources.r1. ...
2020-08-12 Kafka

Kafka06-面试题

Kafka中的 ISR(InSyncRepli)、 OSR(OutSyncRepli)、 AR(AllRepli)代表什么？ ISR：与 leader保持同步的follower集合 AR：分区的所有副本 Kafka中的 HW、 LEO等分别代表什么？ LEO：没个副本的最后条消息 ...
2020-08-12 Kafka

HBase00-安装

启动Zookeeper 启动Hadoop：hdfs和yarn HBase的解压 tar -zxvf HBase-1.3.1-bin.tar.gz -C /opt/module 修改HBase的配置文件 HBase-env.sh export JAVA_HOME=/opt/module/ ...
2020-08-12 HBase

HBase01-概述

NoSQL简介关系型数据库的查询瓶颈: 当用户表的数据达到几千万甚至几亿级别的时候，对单条数据的检索将花费数秒甚至达到分钟级别。实际情况更复杂，查询的操作速度将会受到以下两个因素的影响： ①高并发的更新(插入、修改、删除)操作。大中型网站的并发操作一般能达到几十乃至几百并发，此时单条数据查询的延时 ...
2020-08-12 HBase
12345…7