这是一本从实践角度解读Apache Pulsar相关组件、工作原理和落地实践的专业指导书。本书主要面向的是初中级读者，从基础概念讲起，逐渐扩展到基本操作、核心技术、常用工具及典型应用等。本书共分为10章：第1章主要介绍与Apache Pulsar相关的基础知识，比如发展历史、适用场景、优势与不足，以及与消息队列框架相关的知识等。第2章主要介绍Apache Pulsar的核心概念和架构。第3~9章主要介绍进行实操必须具备的内容，比如Apache Pulsar安装部署的方法、基本操作、核心组件、高级特性、输入/输出、Pulsar SQL、运维方法等。第10章是实操落地的方法，包括Pulsarde 应用模式、flink配合实现实时处理、构建实时消息管道得具体实践等。
腾讯软件工程师、Apache Pulsar社区贡献者亲自执笔。本书基于Apache Pulsar 2.10，从实践、原理两个层面对Pulsar的使用、组件、架构、特性和生态进行深入解读，为了帮助读者快速上手，其中不仅包含大量案例，还有很多直接指导读者上手的经验和技巧。因为其实用性强，所以得到了很多业界专家的推荐。
Preface?前 言
为什么要写本书
Pulsar是一个集消息传递、消息存储、轻量化函数式计算于一体的云原生流数据平台。Pulsar提供数据存储与消费能力，凭借优秀的架构设计、强大的可扩展性，在消息队列、流数据处理等多个领域被广泛使用。
笔者最初接触Pulsar时其社区版本是2.4，彼时的Pulsar已崭露头角。但当时关于Pulsar的中文资料相当少，更不用说中文图书了，很多问题需要通过求助于社区和阅读源码来解决。那时的Pulsar虽然优秀，但是对于初学者来说学习与使用成本较高。在实际项目中，笔者及团队伙伴使用Pulsar构建了数据服务，也发掘出Pulsar在工程实践中的价值。笔者在学习与工作的过程中有意识地整理了大量与Pulsar相关的资料。
Pulsar在2016年发布了第一个社区版本，经过多年的发展，越来越多的头部公司使用Pulsar来构建消息服务。截至本书写作时，Pulsar已经迭代到2.10版本，功能日益完善，社区生态方兴未艾。通过Pulsar，你不仅可以构建消息队列服务，还可以构建可靠的、高吞吐量的大数据应用，甚至可以为金融场景提供高可靠、高性能的服务支持。
很高兴有机会将自己学习与实践Pulsar的经验整理成册。希望本书能够帮助初学者尽快上手Pulsar，并构建出更加稳健的服务。
读者对象
根据对Pulsar使用需求的不同，本书的读者群可以分为如下几类。
希望系统学习Pulsar并快速上手使用的初学者。
希望掌握Pulsar的核心运行原理及高级应用的中高级开发者。
Pulsar运维人员。
Pulsar爱好者，如Pulsar开源社区爱好者、对Pulsar感兴趣的其他人员等。
本书特色
本书从应用实践入手，注重理论与实践的结合，可让读者在快速上手应用的基础上了解其背后的原理。在介绍基础理论的同时，本书重点介绍如何基于理论快速构建出稳定的Pulsar服务，以及依靠丰富的Pulsar生态构建出以Pulsar为核心的一系列数据服务。
如何阅读本书
本书共11章，各章的主要内容如下。
第1章的目标是帮读者整体认识Pulsar。本章不仅对Pulsar的背景和特性进行了介绍，还对比了其他几种开源消息队列工具。
第2章介绍Pulsar的基本概念与架构。通过对本章的学习，读者可以建立对Pulsar原理和构成的全局认识，为学习后续内容打下基础。
第3章介绍Pulsar的安装与部署过程。通过对本章的学习，读者可以在分布式、单机、容器化等多种环境下完成Pulsar的部署。
第4章以Java语言为例，介绍Pulsar API的基本使用方法。通过对本章的学习，读者能够具备Pulsar客户端开发的基本能力。
第5章介绍Pulsar中Broker、BookKeeper、ManagedLedger以及与主题管理相关的核心组件的工作原理。学完本章，读者可以掌握Pulsar的运行原理。
第6章介绍事务、消息队列协议、分层存储等Pulsar高级特性的原理与使用方法。
第7章介绍Pulsar Function与Pulsar I/O，以及如何依靠Pulsar Function这一轻量级计算引擎实现简单的数据处理功能。
第8章介绍Pulsar SQL和Trino。通过对本章的学习，读者可以了解Pulsar SQL的使用与配置方法，以及Trino Pulsar连接器的实现原理。
第9章介绍生产环境中使用Pulsar所需完成的安全配置，以及Pulsar运维所需监控和管理工具，最后还介绍了集群管理的相关知识。
第10章介绍如何将Pulsar与Flink结合，以及如何利用Flink的计算能力构建实时计算
服务。
第11章介绍与Pulsar应用实践相关的经验，包括Pulsar应用模式、Pulsar与Spark集成、Pulsar数据库的变更数据捕获（CDC）和Pulsar可靠性优先场景等内容。
本书各章内容相对独立，对于初学者来说，建议从前到后依序阅读；对于有一定基础的读者来说，建议根据自身情况有选择地阅读。
前 言
基础篇
第1章 Pulsar概述 2
1.1 Pulsar是什么 2
1.2 Pulsar的优势 3
1.2.1 Pulsar不只是消息队列 4
1.2.2 存储与计算分离 4
1.2.3 云原生架构 5
1.2.4 Pulsar的存储特性 6
1.2.5 消息传输协议 8
1.2.6 消费方式 8
1.2.7 丰富的功能与生态 9
1.3 消息队列对比 9
1.3.1 消息队列简介 10
1.3.2 性能与可靠性 11
1.3.3 功能特性对比 14
1.4 快速体验 17
1.4.1 下载安装 17
1.4.2 单机服务启动 17
1.4.3 生产与消费 18
第2章 Pulsar的基本概念和架构
详解 20
2.1 Pulsar的基本概念 20
2.1.1 多租户与命名空间 20
2.1.2 主题 21
2.1.3 生产者 22
2.1.4 消费者与订阅 24
2.1.5 消息的保留与过期 27
2.2 Pulsar的逻辑架构 28
2.2.1 主题的配置管理 29
2.2.2 主题的数据流转 30
2.2.3 主题的数据存储 31
2.3 Pulsar物理架构 32
2.3.1 物理架构概述 32
2.3.2 核心组件与服务 35
第3章 Pulsar安装与部署 39
3.1 依赖环境 39
3.1.1 安装Java 39
3.1.2 Pulsar安装包 40
3.2 分布式部署 42
3.2.1 资源分配规划 42
3.2.2 集群搭建实战 44
3.3 Docker部署 47
3.3.1 Docker单机部署 47
3.3.2 Docker分布式部署 48
3.4 Kubernetes部署 48
3.4.1 minikube环境安装 48
3.4.2 Helm Chart安装 49
3.4.3 在Kubernetes中使用
Pulsar 51
3.5 源码的结构与编译 52
3.5.1 源码结构 52
3.5.2 源码编译 52
第4章 Pulsar的基本操作 54
4.1 生产者开发 54
4.1.1 生产者概览 54
4.1.2 构建客户端对象 56
4.1.3 构建生产者 58
4.1.4 数据发送路由规则 60
4.1.5 分批发送 63
4.1.6 分块发送 64
4.1.7 生产者拦截器 64
4.2 消费者开发 65
4.2.1 构建消费者 65
4.2.2 数据确认 68
4.2.3 消费者拦截器 72
4.2.4 消费者监听器 72
4.3 Reader开发 73
4.4 模式管理 74
4.4.1 模式类型 75
4.4.2 自动模式 78
4.4.3 模式管理 79
原理篇
第5章 Pulsar核心组件原理 84
5.1 Broker原理 84
5.1.1 通信协议层 84
5.1.2 主题查找服务 89
5.1.3 租户与命名空间管理 90
5.1.4 负载管理 92
5.2 BookKeeper原理 94
5.2.1 BookKeeper简介 94
5.2.2 BookKeeper的使用 100
5.3 ManagedLedger组件 100
5.3.1 ManagedLedger简介 101
5.3.2 消息积压的配额管理 102
5.3.3 消息的保留与清理 103
5.3.4 消息的写入 104
5.3.5 消息的缓存与读取 104
5.4 主题管理 105
5.4.1 Pulsar主题管理架构 106
5.4.2 生产者原理 108
5.4.3 订阅与消费者原理 110
5.4.4 消息生存时间与持久化
控制 114
第6章 Pulsar高级特性 115
6.1 Pulsar事务 115
6.1.1 消息队列事务隔离级别 116
6.1.2 Pulsar事务简介 117
6.1.3 Pulsar事务的使用方法 118
6.1.4 Pulsar事务实现原理及关键
流程 119
6.2 消息队列协议层 122
6.2.1 协议处理器 122
6.2.2 Pulsar上的Kafka简介 125
6.2.3 Pulsar上的Kafka使用 126
6.2.4 Pulsar上的Kafka工作
原理 128
6.3 分层存储 130
6.3.1 分层存储的设计 130
6.3.2 分层存储的使用 131
6.3.3 分层存储的原理 133
6.4 消息延迟传递 133
6.5 主题压缩 134
6.5.1 主题压缩应用 135
6.5.2 主题压缩原理 135
第7章 Pulsar Function与
Pulsar I/O 137
7.1 Pulsar Function简介 137
7.1.1 Pulsar Function编程模型 137
7.1.2 Pulsar Function逻辑结构与
应用场景 140
7.2 Pulsar Function应用实践 141
7.2.1 Pulsar Function的部署与
使用 141
7.2.2 自定义Pulsar Function
开发 146
7.2.3 Pulsar Function语义支持 148
7.3 Pulsar Function原理 150
7.3.1 Pulsar Function运行流程 150
7.3.2 Function Worker组件工作
原理 152
7.3.3 Pulsar运行时 153
7.4 Pulsar I/O 154
7.4.1 Pulsar I/O概述 154
7.4.2 使用内置的P
书单推荐
