kafka - 标签 - 腾讯云开发者社区-腾讯云

腾讯云

开发者社区

文档意见反馈控制台

首页TVP

#kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。

kafka windows版本的下载安装，并且本地使用（亲测有效）

一写代码就开心 1天前2023-12-08 14:40:14

2.4.1、创建topics 以管理员权限新开一个命令提示窗口，进入D:\bigdata\kafka\2.12-3.5.1\bin\windows目录，执...

5810

HubSpot 使用 Apache Kafka 泳道实现工作流操作的实时处理

深度学习与Python 4天前2023-12-05 18:24:02

HubSpot 采用在多个 Kafka 主题（称为泳道，swimlanes）上为同一生产者路由消息的方式，避免了消费者群组滞后的积压，并且能够优先处理实时流量。...

7110

Milvus 再上新！支持 Upsert、Kafka Connector、集成 Airbyte，助力高效数据流处理

Zilliz RDS 5天前2023-12-04 20:36:04

在上周的文章中《登陆 Azure、发布新版本……Zilliz 昨夜今晨发生了什么？》，我们已经透露过 Milvus（Zilliz Cloud）为提高数据流处理效...

13110

kafka-python 执行两次初始化导致进程卡主

victorfengming

中国航信 · 后端开发工程师 (已认证)

7天前2023-12-02 14:04:55

Python 的 logging 库是一个灵活且强大的日志记录工具，用于在应用程序中捕获、记录和处理日志信息。它提供了一种配置日志记录的方式，可以满足不同需求的...

7910

大数据初识------Flink如何实现Exactly once计算不重不丢

小时的棒棒糖 11天前2023-11-29 08:04:24

Flink是使用Kafka链接计算任务,利用kafka的exactly once实现流计算的不重不丢,而Kafka 的 Exactly Once 语义是通过它的...

13900

CVE-2023-25194 Kafka Jndi 注入

Drunkbaby 11天前2023-11-28 13:39:28

漏洞通告地址：https://kafka.apache.org/cve-list.html

13710

CVE-2023-34040 Kafka 反序列化 RCE

Drunkbaby 11天前2023-11-28 13:36:08

这一个漏洞所影响的组件其实是 Spring-Kafka，严格意义上来说并不算是 kafka 的漏洞，应该算是 Spring 的漏洞。

12110

用 Kafka、Spark、Airflow 和 Docker 构建数据流管道指南

大数据杂货铺 12天前2023-11-27 17:17:14

我们应该将脚本移动kafka_stream_dag.py到文件夹下以便能够运行 DAG 使用提供的脚本访问 Airflow bash 并安装所需的软件包：kaf...

18310

全网最全图解Kafka适用场景

JavaEdge

华为 · 软件开发工程师 (已认证)

14天前2023-11-25 10:19:07

写入到kafka中的数据是落地到了磁盘上，并且有冗余备份，kafka允许producer等待确认,通过配置，可实现直到所有的replication完成复制才算写...

7910

Kafka-4.1-工作原理综述

江中散人_Jun 20天前2023-11-20 08:12:02

????????Kafka集群将 Record 流存储在称为 Topic 的类中，每个记录由?个键、?个值和?个时间戳组成。

8420

记一次 Python 代码中容错 bug 导致 Kafka 消息数量异常翻倍的 debug 经历

远哥制造

思科技术服务(大连) · 后端开发工程师 (已认证)

20天前2023-11-20 08:01:35

看到云 + 社区发布了「热点技术征文赛第二期」征文活动，决定参与【编程语言】选题赛道，本文属于【项目实战经验分享】

56720

Kafka副本机制

Michel_Rolle 9天前2023-11-30 16:23:08

副本：本质就是一个只能追加写消息的提交日志。根据 Kafka 副本机制的定义，同一个分区下的所有副本保存有相同的消息序列，这些副本分散保存在不同的 Broke...

10110

【云原生进阶之PaaS中间件】第三章Kafka-3-命令操作

江中散人_Jun 21天前2023-11-19 08:25:38

--bootstrap-server，连接的Kafka Broker主机名称和端口号。

10130

【云原生进阶之PaaS中间件】第三章Kafka-2-安装部署

江中散人_Jun 21天前2023-11-18 14:22:24

????????kafka是依靠zookeeper来实现分布式的，所以再启动前需要先启动zookeeper，如下图

13010

kafka并发写大消息TimeoutException排查记录

kl博主

凯京科技 · 架构组经理 (已认证)

21天前2023-11-18 12:35:38

先简单介绍下我们的使用场景，线上5台Broker节点的kafka承接了所有binlog订阅的数据，用于Flink组件接收数据做数据中台的原始数据。昨儿开发反...

8810

IDEA导入Spring-kafka项目Gradle编译失败

kl博主

凯京科技 · 架构组经理 (已认证)

21天前2023-11-18 11:38:12

最近在弄kafka相关的东东，因为是spring boot工程，所以用到了Spring-kafka，一个包含了kafka-producer和kafka-co...

8630

Windows环境下Flink消费Kafka实现热词统计

kl博主

凯京科技 · 架构组经理 (已认证)

21天前2023-11-18 11:28:18

昨天博主写了《windows环境下flink入门demo实例》实现了官方提供的最简单的单词计数功能，今天升级下，将数据源从socket流换成生产级的消息队列...

10640

【云原生进阶之PaaS中间件】第三章Kafka-1-综述

江中散人_Jun 25天前2023-11-15 08:58:25

????????熟悉负载均衡的朋友应该知道，当我们向某个服务器发送请求的时候，服务端可能会对请求做一个负载，将流量分发到不同的服务器，那在kafka中，如果某个...

15620

kafka位移

Michel_Rolle 25天前2023-11-15 07:54:26

消费者提了异步 commit 实际还没更新完offset，消费者再不断地poll，其实会有重复消费的情况？

11810

kafka消费者组

Michel_Rolle 9天前2023-11-30 15:50:24

消费者组: Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。组内必然可以有多个消费者或消费者实例（Consumer Inst...

9900

#kafka

kafka windows版本的下载安装，并且本地使用（亲测有效）

HubSpot 使用 Apache Kafka 泳道实现工作流操作的实时处理

Milvus 再上新！支持 Upsert、Kafka Connector、集成 Airbyte，助力高效数据流处理

kafka-python 执行两次初始化导致进程卡主

大数据初识------Flink如何实现Exactly once计算不重不丢

CVE-2023-25194 Kafka Jndi 注入

CVE-2023-34040 Kafka 反序列化 RCE

用 Kafka、Spark、Airflow 和 Docker 构建数据流管道指南

全网最全图解Kafka适用场景

Kafka-4.1-工作原理综述

记一次 Python 代码中容错 bug 导致 Kafka 消息数量异常翻倍的 debug 经历

Kafka副本机制

【云原生进阶之PaaS中间件】第三章Kafka-3-命令操作

【云原生进阶之PaaS中间件】第三章Kafka-2-安装部署

kafka并发写大消息TimeoutException排查记录

IDEA导入Spring-kafka项目Gradle编译失败

Windows环境下Flink消费Kafka实现热词统计

【云原生进阶之PaaS中间件】第三章Kafka-1-综述

kafka位移

kafka消费者组

热门专栏

全栈程序员必看

大数据成神之路

kafka专栏

JavaEdge

小工匠聊架构

热门标签

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐