《网络安全大数据分析与实战》深入浅出地介绍了大数据安全分析的理论和实践基础，涵盖大数据安全概述、机器学习、深度学习、开发编程工具以及相关法律法规等内容，简明扼要地介绍了聚类分析、关联分析、预测分析及分类所涉及的主流算法，并以实战导向的综合案例对大数据安全分析的相关知识和技术进行了整合应用。
《网络安全大数据分析与实战》可以作为高校大数据安全分析相关专业课程的教材，也可作为从事信息安全咨询服务、测评认证、安全建设、安全管理工作的从业人员及其他大数据安全分析相关领域工作人员的技术参考书。
1. 作者权威。本书由网络安全行业领先企业安恒信息组织编写，作者均为企业资深的技术专家，有丰富的实战技术经验。
2. 内容实用。本书涵盖了云计算安全关键技术、安全运维与服务、国内外法律法规等内容，以及云安全工程师认证培训的全部知识点。
近年来，我国大数据产业的发展进入爆发期，越来越多的企业和组织将大数据作为自己经营战略的重要组成部分。大数据技术作为一种新兴的生产资料和创新要素，必须结合具体的行业和应用场景才能发挥其价值，驱动产业发展和转型。同时，面对日益严峻的网络安全挑战，业界提出了以数据分析为中心的网络安全防护体系，把主动检测和自动化应急的希望寄托于日志、流量和威胁情报为数据源的智能分析技术，以解决APT攻击、用户行为分析这类复杂且隐蔽的网络安全威胁。而大数据分析技术本身是一种普适性的方法论，虽然业界提出了众多的大数据处理体系和基于统计学或机器学习的方法，但如何将大数据智能分析技术应用于复杂的网络安全防护场景，如何开展大数据安全的关联分析和综合研判，仍然是业界值得深入思考和研究的热点问题。在这一背景下，大数据安全分析师成为稀缺人才。另外，市面上缺少合理地将大数据智能分析技术与安全防护场景进行有效结合的书籍，这严重制约了安全分析师的成长。
杭州安恒信息技术股份有限公司依托自身的安全服务业务，自主研发了AiLPHA大数据智能安全平台，具备全网流量处理、异构日志集成、核心数据安全分析、办公应用安全威胁挖掘等前沿大数据智能安全威胁挖掘分析与预警管控能力，深耕公安、网信、金融等多个行业及领域，曾连续三年获评工信部示范试点项目，并获得浙江省计算机学会、浙江省计算机行业协会2020年度优秀产品奖及2020年度中国网络安全与信息产业金智奖等多个奖项。鉴于目前关于大数据安全分析的图书较少，很难找到一本书系统、有针对性地对大数据安全分析这一重要技能以理论与实践相结合的方式进行全方位的介绍。因此，编者希望通过编写此书，将工作中积累的实践经验与研究成果分享给广大读者。
《网络安全大数据分析与实战》共10章。其中，第1章为大数据安全概述，主要介绍大数据的定义与特征、大数据平台与架构、大数据应用案例以及大数据分析技术在安全中的应用，帮助读者建立对大数据安全分析的整体认知；第2章是大数据安全分析基础，从理论基础和实践基础出发，对大数据安全分析的基本概念、思路、算法及Python等常见编程工具进行了简单的介绍；第3章为大数据分析工程技术，对大数据采集、存储、搜索、计算引擎以及数据可视化的常用方法与工具进行了系统的介绍；第4章是机器学习和深度学习，首先介绍了机器学习的基本定义、适用场景，以及监督学习和无监督学习算法的概念，然后对深度学习的相关概念、核心思想等进行了阐述；第5章是分类算法，选择了分类算法中典型的五个算法，即决策树、朴素贝叶斯、K近邻（KNN）模型、支持向量机（SVM）和BP神经网络，从算法原理、案例分析及算法优缺点等方面进行了介绍；第6章是预测分析，主要目的是介绍统计预测的基本概念及典型的统计预测方法，如时间序列、回归分析等，并引导读者如何使用不同的预测分析方法；第7章是关联分析，对关联分析的基本概念、Apriori算法和FP-growth算法原理，以及应用场景进行了详细的阐述；第8章是聚类分析，介绍了欧氏距离、曼哈顿距离和闵可夫斯基距离等相似度计算方法，以及层次聚类、k-means聚类和EM聚类三个经典聚类算法的原理和案例等；第9章是大数据安全分析应用，围绕僵尸网络检测、恶意URL检测、WebShell检测及Malware检测四类应用展开讨论，以便读者能够更好地理解前面章节的算法在实际中的应用；第10章是大数据安全相关法律法规，介绍了现行大数据安全的国家政策、法治体系建设，以及大数据安全分析相关的行为规范，为读者之后的从业道路提出了警示。
《网络安全大数据分析与实战》以理论联系实际为指导原则，将大数据安全分析的理论知识、工具和实践案例进行有机结合，可作为普通高等院校和职业院校相关专业的课程教材，以及网络安全技术从业人员的参考用书。读者在阅读本书的过程中，不必执着于弄懂算法推导的步骤，对于难度较大的算法只需理解即可，若能辅以实践操作将理论付诸应用，将能加深对大数据安全分析技能的理解。
《网络安全大数据分析与实战》主要由孙佳、苗春雨、刘博编写，另外，谈修竹、姜鹏、莫凡、聂桂兵、杨锦峰、陈子杰、龙文洁、吴鸣旦、金碧霞、郭婷婷、陈美璇、黄施君、叶雷鹏和王伦也参与了本书的编写和审稿校对工作。
大数据安全分析须在法律法规允许、目标单位授权的情况下实施，切勿将本书介绍的方法和手段在未经允许的情况下，针对任何生产系统使用。同时，要格外关注大数据安全分析过程中的保密性和规范性指导。
在此，对所有参与本书编写、审阅和出版等工作的人员表示感谢。
由于编者水平有限，本书不妥之处在所难免，望广大网络安全专家、读者朋友批评指正，共同为我国网络安全技术人才培养和人才认证体系建设而努力。
编者
1. 孙佳，获浙江大学和马里兰大学信息管理本硕学位，现任安恒信息资深数据研究员。对大数据挖掘、机器学习在信息安全领域的应用有深入研究，同时致力于大数据安全分析的教育工作。曾担任美国硅谷互联网公司数据科学家，从事大数据建模、定量预测、产品优化等工作。
2. 苗春雨，博士，杭州安恒信息高级副总裁。西安电子科技大学、中国科学技术大学等多所高校企业研究生导师，擅长网络安全防护体系、物联网安全，发表各类学术论文50余篇，专利和软著20余项，出版专著和教材6本。
3. 刘博，杭州安恒信息首席科学家，美国马里兰大学计算机博士。完成态势感知、数据安全、隐私计算等领域300余项技术发明专利。主导和重点参与、省级重大科研项目9项。担任浙大安恒前沿研究中心副主任、大数据态势感知国地研究中心副主任、之江实验室网络安全研究中心副主任等。
前言
第1章 大数据安全概述
1.1 大数据相关理论
1.1.1 大数据产生的背景
1.1.2 大数据的定义与构成
1.1.3 大数据的特征与价值
1.2 大数据相关技术
1.2.1 大数据平台与架构
1.2.2 大数据分析常用工具
1.3 大数据应用案例
1.3.1 社交网络广告投放系统
1.3.2 围棋智能AlphaGo
1.3.3 图像识别
1.4 大数据分析技术在安全中的应用
1.4.1 安全需要大数据
1.4.2 安全大数据分析技术基础及分析思路
本章小结
课后习题
第2章 大数据安全分析基础
2.1 大数据分析理论基础
2.1.1 基本概念
2.1.2 分析思路
2.1.3 分析算法
2.1.4 常见安全应用场景的特征及检测方法
2.2 大数据分析实践基础
2.2.1 编程工具
2.2.2 编程环境
2.2.3 Python基础知识
本章小结
课后习题
第3章 大数据分析工程技术
3.1 数据采集
3.1.1 数据采集的概念
3.1.2 日志采集工具Logstash
3.2 非结构化存储
3.2.1 HDFS的基本信息
3.2.2 HDFS常用命令
3.2.3 HDFS管理命令
3.3 结构化存储
3.3.1 HBase基本介绍
3.3.2 HBase中的基本概念
3.3.3 Hbase常用命令
3.4 数据搜索
3.4.1 Elasticsearch基本概念
3.4.2 副本复制机制
3.4.3 映射和分词
3.4.4 映射管理
3.4.5 索引管理命令
3.4.6 搜索
3.4.7 聚合分析
3.5 实时计算引擎
3.5.1 基本概念
3.5.2 主流的大数据流计算引擎
3.5.3 Apache Flink
3.6 批量计算引擎
3.6.1 Apache Spark项目简介
3.6.2 Spark核心模块
3.6.3 Spark与Hadoop的区别
3.7 计算管理调度
3.7.1 任务管理调度中的挑战
3.7.2 Airflow介绍
3.7.3 任务DAG与任务依赖
3.7.4 Airflow Hook
3.7.5 Airflow Operator
3.7.6 Airflow命令
3.8 数据可视化
3.8.1 明确表达意图、选择数据
3.8.2 拆解信息图的要素
3.8.3 关于色彩、字体、图标
3.8.4 可视化的交互考虑
3.8.5 人类视觉缺陷及对数据可视化的影响
3.8.6 数据可视化工具
3.8.7 数据可视化类库
本章小结
课后习题
第4章 机器学习和深度学习
4.1 机器学习的基本概念
4.1.1 基本定义
4.1.2 应用场景
4.2 机器学习的算法分类
4.2.1 监督学习算法
4.2.2 无监督学习算法
4.2.3 特殊算法
4.3 深度学习基本理论
4.3.1 相关概念
4.3.2 深度学习的特点
4.4 深度学习的进展
4.4.1 AlphaGo战胜李世石
4.4.2 图像识别领域深度学习超越人类
4.4.3 目标识别领域深度学习推动无人驾驶的跨越式发展
4.5 深度学习核心思想
4.5.1 卷积神经网络（CNN）
4.5.2 递归神经网络（RNN）
4.5.3 长短期记忆网络（LSTM）
本章小结
课后习题
第5章 分类算法
5.1 决策树
5.1.1 基本概念
5.1.2 典型算法介绍
5.1.3 案例分析及算法优缺点
5.2 朴素贝叶斯算法
5.2.1 概念及原理
5.2.2 案例分析及算法优缺点
5.3 K近邻（KNN）
5.3.1 基本概念及原理
5.3.2 案例分析及算法优缺点
5.4 支持向量机（SVM）算法
5.4.1 基本概念及原理
5.4.2 案例分析及算法优缺点
5.5 BP神经网络
5.5.1 基本概念
5.5.2 算法原理
5.5.3 案例分析及算法优缺点
本章小结
课后习题
第6章 预测分析
6.1 统计预测
6.1.1 统计预测的概念及作用
6.1.2 统计预测方法的分类与选择
6.1.3 统计预测的原则与步骤
6.2 时间序列分析
6.2.1 时间序列的概念
6.2.2 移动平均模型
6.2.3 指数平滑模型
6.2.4 随机时间序列模型
6.3 回归分析
6.3.1 回归分析的原理
6.3.2 线性回归
6.3.3 逻辑回归
本章小结
课后习题
第7章 关联分析
7.1 基本概念
7.1.1 项与项集
7.1.2 关联规则及相关度量
7.2 Apriori算法
7.2.1 Apriori算法原理
7.2.2 Apriori算法示例
7.3 FP-Growth算法
7.3.1 FP-Growth算法原理
7.3.2 FP-Growth算法示例
7.4 关联分析应用场景
本章小结
课后习题
第8章 聚类分析
8.1 聚类概述
8.1.1 基本概念
8.1.2 聚类分析的应用
8.2 相似度（距离）计算
8.2.1 欧氏距离
8.2.2 曼哈顿距离
8.2.3 闵可夫斯基距离
8.2.4 马氏距离
8.2.5 夹角余弦
8.3 层次聚类
8.3.1 基本概念及原理
8.3.2 案例分析
8.4 k-means聚类
8.4.1 基本概念及原理
8.4.2 案例分析
8.5 EM聚类
8.5.1 基本原理与概念
8.5.2 案例分析
本章小结
书单推荐
