本书较为全面地介绍了在AWS云平台上进行数据分析和可视化开发的知识和技能。全书包含6个项目,分别介绍了搭建AWS数据分析开发环境、在数据分析中使用Amazon S3存储桶、使用Flask框架设计网站并进行数据分析、在Notebook中进行数据分析及可视化、Web应用程序的数据可视化和航空数据分析及可视化。每个项目之后还提供了课后练习,帮助读者巩固所学的内容。
本书可以作为高职高专软件技术相关专业和非计算机专业云计算开发课程的教材,也可以作为计算机软件、硬件培训班教材,还可供数据分析开发人员、数据可视化开发人员和广大计算机爱好者阅读参考。
1.云平台数据分析教程,知识讲解循序渐进;
2.案例实用,帮助读者举一反三;
3.深信息名师执笔
4.配套微课视频、PPT课件、教案、教学大纲等教学资源。
薛国伟,高级工程师,博士后。在哈尔滨工业大学获得学士、硕士、博士学位。深圳市后备级领军人才、深圳市科创委项目评审专家、深圳技师学院通信网络应用专业顾问委员会委员、深圳信息职业技术学院软件学院骨干教师。从事软件技术、大数据处理和人工智能方面的研究和教育工作,发表学术论文7篇,获授权发明专利2项,出版十三五职业教育国家规划教材一部。
项目一 搭建AWS数据分析开发环境 1
1.1 情境描述 1
1.2 任务分析 1
1.3 云计算及AWS基础 2
1.3.1 云计算概述 2
1.3.2 云计算的类型 3
1.3.3 AWS概述 4
1.3.4 AWS云平台概述 6
1.3.5 Jupyter Notebook简介 10
1.4 安装并配置AWS数据分析及可视化开发环境 11
1.4.1 登录AWS中国区管理控制台 11
1.4.2 创建并配置Amazon EC2实例 13
1.4.3 使用SSH客户端远程登录Amazon EC2实例 17
1.4.4 安装Notebook开发环境 18
1.4.5 使用Notebook完成函数曲线的可视化 23
1.4.6 使用conda安装包 25
1.4.7 为Amazon EC2实例创建更多用户 30
1.5 课后练习 31
项目二 在数据分析中使用Amazon S3存储桶 33
2.1 情境描述 33
2.2 任务分析 33
2.3 Amazon S3存储桶基础 34
2.3.1 Amazon S3概述 34
2.3.2 Amazon S3的特点 34
2.3.3 Amazon S3的核心概念和技术 34
2.3.4 Amazon S3的功能 35
2.4 通过AWS管理控制台使用Amazon S3存储桶 36
2.4.1 创建存储桶 37
2.4.2 向存储桶中添加对象 40
2.4.3 从存储桶中下载对象 44
2.4.4 在存储桶中复制对象 45
2.4.5 删除对象和清空存储桶 47
2.4.6 删除存储桶 49
2.5 使用Python语言操作Amazon S3存储桶对象 50
2.5.1 boto简介 50
2.5.2 安装并配置boto 50
2.5.3 创建可以匿名访问的存储桶 52
2.5.4 可视化Amazon S3存储桶中的数据 57
2.5.5 在同一幅图上绘制多条曲线 58
2.6 课后练习 60
项目三 使用Flask框架设计网站并进行数据分析 61
3.1 情境描述 61
3.2 任务分析 61
3.3 Flask基础 62
3.3.1 Flask的设计思路 62
3.3.2 Flask开发基础 65
3.3.3 路由 66
3.3.4 静态文件 69
3.3.5 渲染模板 70
3.4 配置并使用Flask开发基础 71
3.4.1 配置Flask开发环境 71
3.4.2 使用Flask设计hello world页面 74
3.4.3 在虚环境中使用Flask 76
3.5 班级成绩录入分析系统 78
3.5.1 建立工作文件夹和虚环境 78
3.5.2 添加应用工厂函数 79
3.5.3 操作SQLite数据库 79
3.5.4 设计用户账户管理功能 83
3.5.5 设计成绩录入分析功能 91
3.5.6 保存用户登录状态功能及用户注销功能 94
3.5.7 设计成绩分析功能 103
3.6 课后练习 105
项目四 在Notebook中进行数据分析及可视化 107
4.1 情境描述 107
4.2 任务分析 107
4.3 pandas基础 107
4.3.1 pandas介绍 107
4.3.2 pandas的Series对象 108
4.3.3 pandas的DataFrame对象 113
4.3.4 使用pandas的方法读写文件 119
4.4 pyecharts基础 122
4.4.1 pyecharts简介 122
4.4.2 内置的图表类型 123
4.4.3 全局配置项 123
4.4.4 系列配置项 125
4.5 使用pyecharts内置图表进行数据可视化 127
4.5.1 将温度数据用折线图进行可视化 127
4.5.2 将不同品牌销售数据用饼图进行可视化 134
4.5.3 将文本的词频统计结果用词云图进行可视化 139
4.6 课后练习 146
项目五 Web应用程序的数据可视化 148
5.1 情境描述 148
5.2 任务分析 148
5.3 numpy基础 149
5.3.1 numpy简介 149
5.3.2 使用numpy数组对象 149
5.3.3 使用numpy的方法读写文件 163
5.4 ECharts基础 167
5.4.1 ECharts简介 167
5.4.2 ECharts中的名词和概念 168
5.4.3 ECharts中的样式 169
5.4.4 异步数据加载和更新 170
5.4.5 ECharts中的事件和行为 170
5.5 在Flask中使用ECharts进行数据可视化 171
5.5.1 使用Flask设计可视化网站 171
5.5.2 将考试成绩用柱状图进行可视化 172
5.5.3 将考试成绩用饼图进行可视化 176
5.5.4 将考试成绩用散点图进行可视化 182
5.6 课后练习 187
项目六 航空数据分析及可视化 191
6.1 情境描述 191
6.2 任务分析 191
6.3 数据分析技术基础 192
6.3.1 数据分析技术简介 192
6.3.2 数据分析常用的数据文件格式 192
6.3.3 数据分析技术中常用的统计量 193
6.4 在Notebook中开发航空数据分析及可视化程序 195
6.4.1 从存储在Amazon S3存储桶中的ZIP文件中读取航班数据 195
6.4.2 分析并可视化一段时间内进出港繁忙的机场 200
6.4.3 统计并可视化一段时间内若干国家的航班 211
6.4.4 分析并可视化我国城市航班排名 217
6.5 课后练习 222