Kafka

引言 无论您是要集成多个微服务、希望提高应用程序可靠性还是构建新的流应用，您都可能需要消息队列 (MQ) 或消息代理平台。这些类型的软件将消息从生产应用...

logstash 版本（6.2） 配置中的 codec 到底是什么 codec 属性用来配置编解码插件，它负责对输入输出的内容表现形式进行处理，插件本质上是个流式过滤器。 以下是常用的插件: json 读取JSON格式的内容，在JSON数组中为每个元素创建一个事件 line 从行读取文本数据 plain 读取原始内容，不会进行转化 rubydebug 将输出打印到 logstash 的事件中 ...

Kafka 是为了解决 LinkedIn 数据管道问题应用而生的，它的设计目的是提供一个高性能的消息 系统，可以处理多种数据类型，并能够实时提供纯净且结构化的用户活动数据和系统度量指标。 数据为我们所做的每一件事都提供了动力。—— Jeff Weiner, LinkedIn CEO 一、基础环境搭建（可选） 手动安装 Kafka 依赖于 Zookeeper 的分布式节点选举功能，安装 Kafka 需安装 Jdk、Zookeeper、Scala 组件。(Kafka 正在逐渐削弱对 Zookeeper 的依赖，逐渐演变为自管理互相发现的模式) ...

本文为 KIP-98 - Exactly Once Delivery and Transactional Messaging 的部分翻译 动机 本文档概述了增强 Kafka 消息交付语义的提议。这建立在之前已经完成的重要工作的基础上，特别是在幂等生产者和Kaf...