本书介绍如何在PyTorch框架中使用BERT模型完成自然语言处理(NLP)任务。
BERT模型是当今处理自然语言任务效果好的模型。掌握了该模型,就相当于掌握了当今主流的NLP技术。
本书共3篇。
-第1篇介绍了神经网络的基础知识、NLP的基础知识,以及编程环境的搭建;
-第2篇介绍了PyTorch编程基础,以及BERT模型的原理、应用和可解释性;
-第3篇是BERT模型实战,帮助读者开阔思路、增长见识,使读者能够真正驾驭BERT模型,活学活用,完成自然语言处理任务。
通过本书,读者可以熟练地在PyTorch框架中开发并训练神经网络模型,快速地使用BERT模型完成各种主流的自然语言处理任务,独立地设计并训练出针对特定需求的BERT模型,轻松地将BERT模型封装成Web服务部署到云端。
本书结构清晰、案例丰富、通俗易懂、实用性强,适合对自然语言处理、BERT模型感兴趣的读者作为自学教程。另外,本书也适合社会培训学校作为培训教材,还适合计算机相关专业作为教学参考书。
BERT模型是当今处理自然语言任务效果好的模型。掌握了该模型,就相当于掌握了当今主流的NLP技术。
通过本书,读者可以:
- 熟练地在PyTorch框架中开发并训练神经网络模型,
- 快速地使用BERT模型完成各种主流的自然语言处理任务,
- 独立地设计并训练出针对特定需求的BERT模型,
- 轻松地将BERT模型封装成Web服务部署到云端。
BERT模型在2018年一问世便引起了轰动。之后,各种改进版本的预训练模型(Pre-Training Model,PTM)如过江之鲫,层出不穷,它们在 NLP 各个领域攻城略地,所向披靡,频频登榜于多种 NLP 数据集竞赛榜单,个别模型的能力已超过人类。
BERT模型在刷新传统NLP指标的同时,也给NLP领域的技术带来革命性的变革。它使用带有注意力模型的深度神经网络所实现的效果,优于一大批使用传统的NLP方法所实现的效果,这使得NLP工作人员不得不向BERT模型的技术体系靠拢。
与此同时,近年来,图神经网络的崛起也为深度学习领域指明了前进的方向BERT模型结合图深度学习将是未来NLP的主流趋势。
本书从零基础开始,介绍了与BERT模型相关的一系列知识与实现方法,包括神经网络的原理、NLP基础、PyTorch的使用、BERT模型的原理及实现、BERTology系列模型的原理及实现,以及BERT模型与图神经网络的结合。
本书适合于即将从事NLP工作,以及正在从事NLP工作并打算向BERT模型技术体系靠拢的读者阅读。
总的来说,本书具有以下特色。
1.知识系统,逐层递进
本书涵盖了BERT模型的完整技术体系:
从神经网络的基础知识,到NLP的基础知识,再到BERT模型的原理及应用;
从BERTology系列模型的原理,到BERT模型与图神经网络的结合,再到多种场景下BERT模型的应用。
2.内容紧跟技术趋势
本书所介绍的知识与近年来学术领域发表的论文技术基本同步。为了拓展读者的学习视野,本书在介绍一些知识的原理和应用的同时,还附有相关的论文索引,方便读者对感兴趣的知识扩展阅读。
3.图文结合,化繁为简。
本书在介绍模型的结构和原理的同时,还穿插了大量的图片。这些图片有的可视化了模型中的数据流向,有的展示了模型的拟合能力,有的细化了某种技术的内部原理,有的直观化了模型的内部结构,从而让读者更容易、更快捷地理解和掌握知识。
4.站在入门者的角度讲解,内容更系统、更易学
考虑到初学者知识储备的不足,凡是书中涉及的知识点,都从零开始进行系统介绍:从PyTorch框架的安装、使用;到向量、矩阵、张量的基础变换;再到神经网络及图神经网络的系统介绍;从NLP基础,到BERT模型的原理剖析,再到BERT模型的多场景实战。这样可以消除读者学习中的跳跃感。
李金洪
擅长神经网络、算法、协议分析、逆向、移动互联网安全架构等技术
先后担任过CAD算法工程师、手机游戏主程、架构师、项目经理、CTO、部门经理、资深产品总监等职位
目前创业中。