本书主要内容包括Kafka入门与基础、Kafka的生产者、Kafka的消费者、深入Kafka消费者、Kafka的再均衡与分区分配、Kafka的日志与事务、Spark基础以及Kafka与Spark的集成及应用等。本书由多名一线研发工程师联合编写,结构清晰、案例丰富、通俗易懂、实用性强,适合作为高等院校计算机相关专业的程序设计教材,也可作为社会培训学校的培训教材。
本书的每一个知识点都配有同步教学视频,视频和图书完全同步,能帮助读者快速而全面地了解每一个知识点的内容。本书还免费提供所有案例的源代码、教学PPT、教学设计及其他资源,还有和每章内容配合使用的8套作业及难易程度不同的3套试卷,这些资源不仅能方便读者学习,更能为读者以后的工作提供便利。
Kafka是由Apache软件基金会开发的一个开源流处理平台,它是一种高吞吐量的分布式发布订阅消息系统,可以处理消费者在网站中的所有动作流数据。这些动作(浏览网页、搜索和其他行为)是现今用户上网的常用操作,是了解人们社会行为的关键因素,而动作流数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决的。对于像Hadoop一样要求实时处理数据的日志数据和离线分析系统,Kafka是一个可行的解决方案。
本书以理论 实战的方式编写,共包含40多个实例。首先从Kafka的基本概念入手,主要从生产端、消费端、服务端三个方面进行全面阐述,内容包括Kafka入门与基础、Kafka的生产者、Kafka的消费者、深入Kafka消费者、Kafka的再均衡与分区分配、Kafka的日志与事务、Spark基础以及Kafka与Spark的集成及应用等。虽然Kafka的内核是使用Scala语言编写的,但是本书基本以Java语言作为主要的示例语言,以方便绝大多数读者的理解。
本书的每一个知识点都配有同步教学视频,视频和图书完全同步,能帮助读者快速而全面地了解每一个知识点的内容。本书还免费提供所有案例的源代码、教学PPT、教学设计及其他资源,还有和每章内容配合使用的8套作业及难易程度不同的3套试卷,这些资源不仅能方便读者学习,更能为读者以后的工作提供便利。扫描书中的二维码即可获得上述资源。
通过阅读本书,你将:
? 可以安装、配置和运行Kafka;
? 可以使用Kafka生产者和消费者来生产消息和消费消息;
? 可以构建序列化器和反序列化器;
? 可以掌握Kafka的分区策略;
? 可以掌握Kafka的日志存储方式、幂等性和事务;
? 可以掌握SparkStreaming的编程;
? 可以掌握SparkStreaming、StructStreaming与Kafka的集成方法。
本书由北京智酷道捷教育科技有限公司组织多名一线研发工程师和重庆文理学院数学与大数据学院的罗章涛老师联合编写。全书共8章,其中,罗章涛编写了第1~3章(共计12万
字),北京智酷道捷教育科技有限公司的研发工程师编写了第4~8章(共计28万字)。本书结构清晰、案例丰富、通俗易懂、实用性强,适合作为高等院校计算机相关专业的程序设计教材,也可作为社会培训学校的培训教材。
本书配套有教学课件等文档,读者可从中国铁道出版社有限公司网站(http:// www.tdpress.com/51eds)下载。
由于时间有限,书中难免有疏漏及不足之后,敬请广大读者批评指正!
编 者
2021年11月
智酷道捷是中关村智酷双创人才服务股份有限公司下属高科技教育企业。旨在打造产、学、研、用双创一体化深度融合的智能化泛IT产教综合服务平台。是一家专注于面向高校提供产、学、研、用一体化双创实践性教学解决方案,面向高新技术职业技能持续培育的创新型科技教育企业。公司专注于前沿技术基于云计算、大数据、以及智能化控制等高新技术开发的全新资源与服务平台。公司借鉴发达国家先进的技术应用教学经验并结合中国国情,创新提出双创双元、双元双通理论模型,通过工程实践中心这一创新载体,整合高校教育与产业实践应用,基于云平台的大数据反馈和自适应机制,打造形成以产业应用需求为引领,以岗位技能能力图表为核心线索的智能化课程研发体系,将产业应用需求、高校教育过程以及课程研发机制、产教协同育人进行一体化联动和融合,实现双创实践性应用人才智能化、生态化、个性化、本地化培育,为地方企业和高校提供优质的实践性课程与人才服务。