大数据Hadoop核心技术
定价：￥49.00
作者： 侯枫
出版时间：2025-04
出版社：电子工业出版社
“十四五”职业教育河南省规划教材
- 电子工业出版社
- 9787121502392
- 1-1
- 562975
- 平塑
- 16开
- 2025-04
- 506
- 256
- 电子与信息大类
- 计算机类
- 高职
内容简介
《大数据Hadoop核心技术》教材主要介绍HDFS分布式存储技术、MapReduce分布式计算框架、Hive数据仓库、Hbase分布式列式存储等技术，掌握数据存储、分析、挖掘等工作流程。通过线上学习、讨论、考试、线下答疑、做实训、单元测试及最终性考核进行有效实施教学和管理。整本书内容划分为8个单元：大数据概述→Linux基础→Hadoop环境搭建→HDFS原理详解→Mapredcue计算框架详解→Hive数据仓库→Zookeeper分布式应用程序协调服务软件→Hadoop HA高可用环境→Flume日志采集→HBase分布式列式数据库前十个单元完成hadoop基础知识的学习后，第十一个单元为一个综合项目。
目录
项目 1 Hadoop 基础 …………………………………………………………………………………………… 1
任务 1.1 认识大数据 ……………………………………………………………………………………… 2
任务 1.2 Hadoop 简介 ……………………………………………………………………………………… 7
项目 2 HDFS 原理详解………………………………………………………………………………………… 22
任务 2.1 HDFS 相关概念 ………………………………………………………………………………… 23
任务 2.2 HDFS 相关操作 ………………………………………………………………………………… 32
任务 2.3 搭建 HDFS ……………………………………………………………………………………… 47
任务 2.4 HDFS 高可用 …………………………………………………………………………………… 55
项目 3 MapReduce 基础编程 ………………………………………………………………………………… 67
任务 3.1 MapReduce 相关概念…………………………………………………………………………… 68
任务 3.2 YARN 框架……………………………………………………………………………………… 79
项目 4 ZooKeeper 分布式协调服务 …………………………………………………………………………… 86
任务 4.1 Zookpeer 基础…………………………………………………………………………………… 87
任务 4.2 ZooKeeper 的操作 ……………………………………………………………………………… 92
项目 5 Hive 数据仓库框架 …………………………………………………………………………………… 106
任务 5.1 Hive 基础 ……………………………………………………………………………………… 107
任务 5.2 Hive 的数据库与表操作 ……………………………………………………………………… 120
任务 5.3 数据迁移工具 Sqoop ………………………………………………………………………… 128
项目 6 分布式列式数据库———HBase ……………………………………………………………………… 141
任务 6.1 NoSQL 与 HBase 基础 ………………………………………………………………………… 142
任务 6.2 HBase 相关操作 ……………………………………………………………………………… 150
项目 7 海量日志采集工具———Flume ……………………………………………………………………… 158
任务 7.1 Flume 基础 …………………………………………………………………………………… 159
任务 7.2 Flume 应用典型实例 ………………………………………………………………………… 163
项目 8 分布式消息队列———Kafka ………………………………………………………………………… 173
任务 8.1 Kafka 概述 …………………………………………………………………………………… 174
任务 8.2 Kafka 的主要组件 …………………………………………………………………………… 175
项目 9 快速且通用的集群计算系统———Spark …………………………………………………………… 182
任务 9.1 Spark 概述 …………………………………………………………………………………… 183
任务 9.2 RDD …………………………………………………………………………………………… 185
任务 9.3 Spark 的作业运行机制 ……………………………………………………………………… 187
任务 9.4 运行在 YARN 上的 Spark …………………………………………………………………… 188
项目 10 综合案例 …………………………………………………………………………………………… 195
任务 10.1 网站用户行为分析 ………………………………………………………………………… 196
任务 10.2 气象数据分析 ……………………………………………………………………………… 214
参考文献………………………………………………………………………………………………………… 225
任务 1.1 认识大数据 ……………………………………………………………………………………… 2
任务 1.2 Hadoop 简介 ……………………………………………………………………………………… 7
项目 2 HDFS 原理详解………………………………………………………………………………………… 22
任务 2.1 HDFS 相关概念 ………………………………………………………………………………… 23
任务 2.2 HDFS 相关操作 ………………………………………………………………………………… 32
任务 2.3 搭建 HDFS ……………………………………………………………………………………… 47
任务 2.4 HDFS 高可用 …………………………………………………………………………………… 55
项目 3 MapReduce 基础编程 ………………………………………………………………………………… 67
任务 3.1 MapReduce 相关概念…………………………………………………………………………… 68
任务 3.2 YARN 框架……………………………………………………………………………………… 79
项目 4 ZooKeeper 分布式协调服务 …………………………………………………………………………… 86
任务 4.1 Zookpeer 基础…………………………………………………………………………………… 87
任务 4.2 ZooKeeper 的操作 ……………………………………………………………………………… 92
项目 5 Hive 数据仓库框架 …………………………………………………………………………………… 106
任务 5.1 Hive 基础 ……………………………………………………………………………………… 107
任务 5.2 Hive 的数据库与表操作 ……………………………………………………………………… 120
任务 5.3 数据迁移工具 Sqoop ………………………………………………………………………… 128
项目 6 分布式列式数据库———HBase ……………………………………………………………………… 141
任务 6.1 NoSQL 与 HBase 基础 ………………………………………………………………………… 142
任务 6.2 HBase 相关操作 ……………………………………………………………………………… 150
项目 7 海量日志采集工具———Flume ……………………………………………………………………… 158
任务 7.1 Flume 基础 …………………………………………………………………………………… 159
任务 7.2 Flume 应用典型实例 ………………………………………………………………………… 163
项目 8 分布式消息队列———Kafka ………………………………………………………………………… 173
任务 8.1 Kafka 概述 …………………………………………………………………………………… 174
任务 8.2 Kafka 的主要组件 …………………………………………………………………………… 175
项目 9 快速且通用的集群计算系统———Spark …………………………………………………………… 182
任务 9.1 Spark 概述 …………………………………………………………………………………… 183
任务 9.2 RDD …………………………………………………………………………………………… 185
任务 9.3 Spark 的作业运行机制 ……………………………………………………………………… 187
任务 9.4 运行在 YARN 上的 Spark …………………………………………………………………… 188
项目 10 综合案例 …………………………………………………………………………………………… 195
任务 10.1 网站用户行为分析 ………………………………………………………………………… 196
任务 10.2 气象数据分析 ……………………………………………………………………………… 214
参考文献………………………………………………………………………………………………………… 225
