Kafka的集群搭建以及shell启动命令脚本编写一、搭建Kafka集群1、 将Kafka的安装包上传到虚拟机，并解压cd /export/software/
tar -xvzf kafka_2.12-2.4.1.tgz -C ../server/
cd /export/server/kafka_2.12-2.4.1/
2、修改 server.prop
......
386
0
0
2022-10-08
Kafka的shell命令使用一、创建topic创建一个topic（主题）。Kafka中所有的消息都是保存在主题中，要生产消息到Kafka，首先必须要有一个确定的主题。# 创建名为test的主题
bin/kafka-topics.sh --create --bootstrap-server node1:9092 --topic test
# 查看目前Ka
......
385
0
0
2022-10-06
Kafka的java API编写一、生产者代码第一步: 需求 接下来，编写Java程序，将1-100的数字消息写入到Kafka中第二步: 准备工作1) 创建maven项目 导入相关的依赖<repositories><!-- 代码库 -->
<repository> <id>central</i
......
506
0
0
2022-10-05
安装Kafka-Eagle一、Kafka-eagle基本介绍 在开发工作中，当业务前提不复杂时，可以使用Kafka 命令来进行一些集群的管理工作。但如果业务变得复杂，例如 ：我们需要增加group、topic分区 ，此时，我们再使用命令行就感觉很不方便，此时，如果
......
359
0
0
2022-10-05
Kafka的分片和副本机制一、分片机制主要解决了单台服务器存储容量有限的问题当数据量非常大的时候，一个服务器存放不了，就将数据分成两个或者多个部分，存放在多台服务器上。每个服 务器上的数据，叫做一个分片二、副本机制副本备份机制解决了 数据存储的高可用 问题当数据只保存一份的时候，有丢失的风险。为了更好的容错和容灾，将数据拷贝几份，保存到不同的机器上。三、总结
......
302
0
0
2022-10-05
Kafka如何保证数据不丢失一、如何保证生产者数据不丢失1） 消息生产分为同步模式和异步模式2） 消息确认分为三个状态a) 0：生产者只负责发送数据b) 1：某个partition的leader收到数据给出响应c) -1：某个partition的所有副本都收到数据后给出响应3） 在同步模式下a) 生产者等待10S，如果broker没有给出ack响应，就认为失
......
395
0
0
2022-10-05
kafka消息存储及查询机制原理一、Kafka数据存储机制 segment段中有两个核心的文件一个是log,一个是index。 当log文件等于1G时，新的会写入到下一个segment中。通过下图中的数据，可以看到一个segment段差不多会存储70万
......
328
0
0
2022-10-04
生产者数据分发策略 kafka在数据生产的时候，有一个数据分发策略。默认的情况使用DefaultPartitioner.class类。这个类中就是定义数据分发的策略策略一:用户指定了partition &nb
......
317
0
0
2022-10-04
Kafka的消费者负载均衡机制和数据积压问题一、kafka的消费者负载均衡机制问题: 请问如何通过kafka模拟点对点和发布订阅模式呢?点对点: 让所有监听这个topic的消费者, 都属于同一个消费者组即可或者监听这个topic消费者, 保证唯一 发布订阅:定义多个消费者, 让多个消费者属于不同组即可二、数据积压问题Kafka消费者消费数据的速度是
......
327
0
0
2022-10-04
Kafka配额限速机制生产者和消费者以极高的速度生产/消费大量数据或产生请求，从而占用broker上的全部资源，造成网络IO饱和。有了配额（Quotas）就可以避免这些问题。Kafka支持配额管理，从而可以对Producer和Consumer的produce&fetch操作进行流量限制，防止个别业务压爆服务器。限制producer端的速率为所有cli
......
357
0
0
2022-10-04
kafka 入门分享一开始自己docker 跑起来一个kafka 但是踩了很多坑 容器跑不起来 后来又容器内无法消费 本地连接失败等后来发现镜像依赖的不一样 最后用的bitnami/zookeeper 和 bitnami/kafka上代码docker-compose.ymlversion: '3'
services:
zookeeper:
......
385
0
0
2022-08-24
以PHP视角探寻Kafka - 实现简易生产者功能代码先行public function actionProducer()
{
$conf = new \RdKafka\Conf();
$conf->set('metadata.broker.list', 'broker地址');
/**
* kafka投递回调
*
......
522
0
0
2022-07-25
kafka下载解压 wget -c https://archive.apache.org/dist/kafka/2.2.0/kafka_2.12-2.2.0.tgz
tar -zxf kafka_2.12-2.2.0.tgz
zk & kafka关键配置config/zookeeper.properties# the directory whe
......
566
0
0
2022-07-17
Apache Kafka 是最流行的开源消息代理之一。它已经成为了大数据操作的重要组成部分，你能够在几乎所有的微服务环境中找到它。本文对 Apache Kafka 进行了简要介绍，并提供了一个案例来展示它的使用方式。你有没有想过，电子商务平台是如何在处理巨大的流量时，做到不会卡顿的呢？有没有想过，OTT 平台是如何在同时向数百万用户交付内容时，做到平稳运行的
......
568
0
0
2022-07-02
Laravel Kafka队列关注Star一下:Github地址：github.com/chenpeng78/laravel-kafk...安装安装PHP依赖库pecl install rdkafka在PHP的初始化文件php.ini中添加以下一行语句以开启Kafka扩展。extension=rdkafka.sob. 检车 rdkafka 是否安装成功注意：
......
456
0
0
2022-06-09