本书以任务驱动为主线,围绕企业级应用进行项目任务设计,介绍了平台的本地模式安装、伪分布式模式安装及完全分布式模式安装,并基于Hadoop 2.X生态系统,全面讲解了Hive环境搭建与基本操作、ZooKeeper环境搭建与基本操作、HBase环境搭建与基本操作、Hadoop常用工具组件的安装与应用、集群搭建与管理,以及Hadoop平台应用综合案例等相关知识及操作技能。
本书具有实用性和可操作性强、语言精练、通俗易懂等特点,可作为高等院校大数据应用专业、软件技术专业、云计算技术与应用专业的教材,也可作为从事大数据分析、云计算应用等工作的技术人员的参考用书。
1.基于企业级项目,以任务驱动为主线,便于教师教学,学生理解。
2.配套资源齐全,配有PPT课件等多种教学资源。
3.企业配套资源,院校完善体系结构。
米洪,主持省级项目3项;发表北大核心论文5篇;学院交通物联网技术科技创新团队骨干成员;江苏省高等职业院校教师专业带头人访问学者(东南大学);江苏省高校“青蓝工程”优秀中青年骨干教师。
项目1 认识大数据 1
学习目标 1
项目描述 1
任务1.1 认知大数据,完成系统环境搭建 2
任务描述 2
任务目标 2
知识准备 2
任务实施 17
任务1.2 Hadoop环境搭建 23
任务描述 23
任务目标 23
知识准备 23
任务实施 24
项目2 Hive环境搭建与基本操作 40
学习目标 40
项目描述 40
任务2.1 Hive的安装与配置 40
任务描述 40
任务目标 41
知识准备 41
任务实施 45
任务2.2 Hive操作 52
任务描述 52
任务目标 52
知识准备 52
任务实施 63
项目3 ZooKeeper环境搭建与基本操作 70
学习目标 70
项目描述 70
任务3.1 ZooKeeper的安装与配置 70
任务描述 70
任务目标 71
知识准备 71
任务实施 79
任务3.2 ZooKeeper CLI操作 87
任务描述 87
任务目标 88
知识准备 88
任务实施 90
项目4 HBase环境搭建与基本操作 96
学习目标 96
项目描述 96
任务4.1 HBase的安装与配置 96
任务描述 96
任务目标 96
知识准备 97
任务实施 104
任务4.2 HBase Shell操作 113
任务描述 113
任务目标 114
知识准备 114
任务实施 115
项目5 Hadoop常用工具组件的安装与应用 122
学习目标 122
项目描述 122
任务5.1 Sqoop的安装与应用 122
任务描述 122
任务目标 123
知识准备 123
任务实施 127
任务5.2 Pig的安装与应用 132
任务描述 132
任务目标 132
知识准备 132
任务实施 139
任务5.3 Flume的安装与应用 149
任务描述 149
任务目标 149
知识准备 149
任务实施 150
项目6 集群搭建与管理 155
学习目标 155
项目描述 155
任务6.1 搭建Ambari Hadoop系统 155
任务描述 155
任务目标 155
知识准备 156
任务实施 160
任务6.2 使用Ambari管理Hadoop集群 169
任务描述 169
任务目标 169
知识准备 169
任务实施 169
项目7 Hadoop平台应用综合案例 176
学习目标 176
项目描述 176
任务7.1 本地数据集上传到数据仓库Hive 176
任务描述 176
任务目标 176
任务实施 177
任务7.2 使用Hive进行简单的数据分析 180
任务描述 180
任务目标 180
任务实施 180
任务7.3 Hive、MySQL、HBase数据的互导 181
任务描述 181
任务目标 182
任务实施 182