首页
学习
活动
专区
工具
TVP
发布

#kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。

kafka windows版本的下载安装,并且本地使用(亲测有效)

一写代码就开心

2.4.1、创建topics 以管理员权限新开一个命令提示窗口,进入D:\bigdata\kafka\2.12-3.5.1\bin\windows目录,执...

5810

HubSpot 使用 Apache Kafka 泳道实现工作流操作的实时处理

深度学习与Python

HubSpot 采用在多个 Kafka 主题(称为泳道,swimlanes)上为同一生产者路由消息的方式,避免了消费者群组滞后的积压,并且能够优先处理实时流量。...

7110

Milvus 再上新!支持 Upsert、Kafka Connector、集成 Airbyte,助力高效数据流处理

Zilliz RDS

在上周的文章中《登陆 Azure、发布新版本……Zilliz 昨夜今晨发生了什么?》,我们已经透露过 Milvus(Zilliz Cloud)为提高数据流处理效...

13110

kafka-python 执行两次初始化导致进程卡主

victorfengming

中国航信 · 后端开发工程师 (已认证)

Python 的 logging 库是一个灵活且强大的日志记录工具,用于在应用程序中捕获、记录和处理日志信息。它提供了一种配置日志记录的方式,可以满足不同需求的...

7910

大数据初识------Flink如何实现Exactly once计算不重不丢

小时的棒棒糖

Flink是使用Kafka链接计算任务,利用kafka的exactly once实现流计算的不重不丢,而Kafka 的 Exactly Once 语义是通过它的...

13900

CVE-2023-25194 Kafka Jndi 注入

Drunkbaby

漏洞通告地址:https://kafka.apache.org/cve-list.html

13710

CVE-2023-34040 Kafka 反序列化 RCE

Drunkbaby

这一个漏洞所影响的组件其实是 Spring-Kafka,严格意义上来说并不算是 kafka 的漏洞,应该算是 Spring 的漏洞。

12110

用 Kafka、Spark、Airflow 和 Docker 构建数据流管道指南

大数据杂货铺

我们应该将脚本移动kafka_stream_dag.py到文件夹下以便能够运行 DAG 使用提供的脚本访问 Airflow bash 并安装所需的软件包:kaf...

18310

全网最全图解Kafka适用场景

JavaEdge

华为 · 软件开发工程师 (已认证)

写入到kafka中的数据是落地到了磁盘上,并且有冗余备份,kafka允许producer等待确认,通过配置,可实现直到所有的replication完成复制才算写...

7910

Kafka-4.1-工作原理综述

江中散人_Jun

????????Kafka集群将 Record 流存储在称为 Topic 的类中,每个记录由?个键、?个值和?个时间戳组成。

8420

记一次 Python 代码中容错 bug 导致 Kafka 消息数量异常翻倍的 debug 经历

远哥制造

思科技术服务(大连) · 后端开发工程师 (已认证)

看到云 + 社区发布了「热点技术征文赛第二期」征文活动,决定参与【编程语言】选题赛道,本文属于【项目实战经验分享】

56720

Kafka副本机制

Michel_Rolle

副本: 本质就是一个只能追加写消息的提交日志。根据 Kafka 副本机制的定义,同一个分区下的所有副本保存有相同的消息序列,这些副本分散保存在不同的 Broke...

10110

【云原生进阶之PaaS中间件】第三章Kafka-3-命令操作

江中散人_Jun

--bootstrap-server,连接的Kafka Broker主机名称和端口号。

10130

【云原生进阶之PaaS中间件】第三章Kafka-2-安装部署

江中散人_Jun

????????kafka是依靠zookeeper来实现分布式的,所以再启动前需要先启动zookeeper,如下图

13010

kafka并发写大消息TimeoutException排查记录

kl博主

凯京科技 · 架构组经理 (已认证)

先简单介绍下我们的使用场景,线上5台Broker节点的kafka承接了所有binlog订阅的数据,用于Flink组件接收数据做数据中台的原始数据。昨儿开发反...

8810

IDEA导入Spring-kafka项目Gradle编译失败

kl博主

凯京科技 · 架构组经理 (已认证)

最近在弄kafka相关的东东,因为是spring boot工程,所以用到了Spring-kafka,一个包含了kafka-producer和kafka-co...

8630

Windows环境下Flink消费Kafka实现热词统计

kl博主

凯京科技 · 架构组经理 (已认证)

昨天博主写了《windows环境下flink入门demo实例》实现了官方提供的最简单的单词计数功能,今天升级下,将数据源从socket流换成生产级的消息队列...

10640

【云原生进阶之PaaS中间件】第三章Kafka-1-综述

江中散人_Jun

????????熟悉负载均衡的朋友应该知道,当我们向某个服务器发送请求的时候,服务端可能会对请求做一个负载,将流量分发到不同的服务器,那在kafka中,如果某个...

15620

kafka位移

Michel_Rolle

消费者提了异步 commit 实际还没更新完offset,消费者再不断地poll,其实会有重复消费的情况?

11810

kafka消费者组

Michel_Rolle

消费者组: Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。组内必然可以有多个消费者或消费者实例(Consumer Inst...

9900
领券
http://www.vxiaotou.com