目 录
第1章 大数据与云计算 1
1.1 大数据时代 1
1.2 云计算——大数据的计算 3
1.3 云计算发展现状 6
1.4 云计算实现机制 7
1.5 云计算压倒性的成本优势 9
习题 12
参考文献 12
第2章 Google云计算原理与应用 13
2.1 Google文件系统GFS 13
2.1.1 系统架构 14
2.1.2 容错机制 16
2.1.3 系统管理技术 17
2.2 分布式数据处理MapReduce 17
2.2.1 产生背景 17
2.2.2 编程模型 18
2.2.3 实现机制 19
2.2.4 案例分析 20
2.3 分布式锁服务Chubby 22
2.3.1 Paxos算法 23
2.3.2 Chubby系统设计 24
2.3.3 Chubby中的Paxos 26
2.3.4 Chubby文件系统 28
2.3.5 通信协议 29
2.3.6 正确性与性能 31
2.4 分布式结构化数据表Bigtable 32
2.4.1 设计动机与目标 32
2.4.2 数据模型 33
2.4.3 系统架构 34
2.4.4 主服务器 35
2.4.5 子表服务器 36
2.4.6 性能优化 40
2.5 分布式存储系统Megastore 41
2.5.1 设计目标及方案选择 41
2.5.2 Megastore数据模型 42
2.5.3 Megastore中的事务及并发控制 44
2.5.4 Megastore基本架构 45
2.5.5 核心技术——复制 47
2.5.6 产品性能及控制措施 51
2.6 大规模分布式系统的监控基础架构Dapper 52
2.6.1 基本设计目标 52
2.6.2 Dapper监控系统简介 53
2.6.3 关键性技术 56
2.6.4 常用Dapper工具 57
2.6.5 Dapper使用经验 59
2.7 海量数据的交互式分析工具Dremel 61
2.7.1 产生背景 61
2.7.2 数据模型 62
2.7.3 嵌套式的列存储 63
2.7.4 查询语言与执行 68
2.7.5 性能分析 70
2.7.6 小结 71
2.8 内存大数据分析系统PowerDrill 71
2.8.1 产生背景与设计目标 71
2.8.2 基本数据结构 72
2.8.3 性能优化 73
2.8.4 性能分析与对比 75
2.9 Google应用程序引擎 76
2.9.1 Google App Engine简介 77
2.9.2 应用程序环境 78
2.9.3 Google App Engine服务 80
习题 88
参考文献 88
第3章 Amazon云计算AWS 90
3.1 基础存储架构Dynamo 90
3.1.1 Dynamo概况 90
3.1.2 Dynamo架构的主要技术 91
3.2 弹性计算云EC2 99
3.2.1 EC2的基本架构 99
3.2.2 EC2的关键技术 100
3.2.3 EC2的安全及容错机制 102
3.3 简单存储服务S3 103
3.3.1 S3的基本概念和操作 103
3.3.2 S3的数据一致性模型 105
3.3.3 S3的安全措施 105
3.4 非关系型数据库服务SimpleDB和DynamoDB 108
3.4.1 非关系型数据库与传统关系数据库的比较 108
3.4.2 SimpleDB 108
3.4.3 DynamoDB 110
3.4.4 SimpleDB和DynamoDB的比较 111
3.5 关系数据库服务RDS 111
3.5.1 RDS的基本原理 111
3.5.2 RDS的使用 112
3.6 简单队列服务SQS 113
3.6.1 SQS的基本模型 113
3.6.2 SQS的消息 114
3.7 内容推送服务CloudFront 115
3.7.1 CDN 116
3.7.2 CloudFront 117
3.8 其他Amazon云计算服务 119
3.8.1 快速应用部署Elastic Beanstalk和服务模板CloudFormation 119
3.8.2 DNS服务Router 53 120
3.8.3 虚拟私有云VPC 120
3.8.4 简单通知服务和简单邮件服务 120
3.8.5 弹性MapReduce服务 121
3.8.6 电子商务服务DevPay、FPS和Simple Pay 122
3.8.7 Amazon执行网络服务 127
3.8.8 土耳其机器人 128
3.8.9 数据仓库服务Redshift 129
3.8.10 应用流服务AppStream和数据流分析服务Kinesis 129
3.9 AWS应用实例 130
3.9.1 照片和视频共享网站SmugMug 130
3.9.2 视频制作网站Animoto 131
3.9.3 网站排名Alexa 132
3.10 小结 132
习题 132
参考文献 133
第4章 微软云计算Windows Azure 136
4.1 微软云计算平台 136
4.2 微软云操作系统Windows Azure 137
4.2.1 Windows Azure概述 137
4.2.2 Windows Azure计算服务 138
4.2.3 Windows Azure存储服务 140
4.2.4 Windows Azure Connect 147
4.2.5 Windows Azure CDN 148
4.2.6 Fabric控制器 149
4.3 微软云关系数据库SQL Azure 150
4.3.1 SQL Azure概述 150
4.3.2 SQL Azure关键技术 151
4.3.3 SQL Azure和SQL Server对比 153
4.4 Windows Azure AppFabric 154
4.4.1 AppFabric概述 154
4.4.2 AppFabric关键技术 155
4.5 Windows Azure Marketplace 159
4.6 Windows Azure服务平台 160
4.6.1 网站 160
4.6.2 虚拟机 161
4.6.3 云服务 162
4.6.4 移动服务 163
4.6.5 大数据处理 164
4.6.6 媒体支持 165
习题 166
参考文献 166
第5章 Hadoop 2.0：主流开源云架构 168
5.1 引例 168
5.1.1 问题概述 168
5.1.2 常规解决方案 168
5.1.3 分布式下的解决方案 169
5.1.4 小结 173
5.2 Hadoop 2.0简述 173
5.2.1 Hadoop 2.0由来 173
5.2.2 Hadoop 2.0相关项目 174
5.2.3 Hadoop应用 175
5.3 Hadoop 2.0部署 175
5.3.1 部署综述 175
5.3.2 传统解压包部署 179
5.4 Hadoop 2.0体系架构 182
5.4.1 Hadoop 2.0公共组件Common 182
5.4.2 分布式文件系统HDFS 184
5.4.3 分布式操作系统Yarn 190
5.4.4 Hadoop 2.0安全机制简介 198
5.5 Hadoop 2.0访问接口 199
5.5.1 访问接口综述 199
5.5.2 浏览器接口 199
5.5.3 命令行接口 200
5.6 Hadoop 2.0编程接口 202
5.6.1 HDFS 编程 202
5.6.2 Yarn编程 205
习题 214
参考文献 214
第6章 Hadoop 2.0大家族 215
6.1 Hadoop 2.0大家族概述 215
6.1.1 分布式组件 215
6.1.2 部署概述 217
6.2 ZooKeeper 223
6.2.1 ZooKeeper简介 223
6.2.2 ZooKeeper 入门 224
6.3 Hbase 226
6.3.1 Hbase简介 226
6.3.2 Hbase入门 229
6.4 Pig 232
6.4.1 Pig简介 232
6.4.2 Pig入门 233
6.5 Hive 234
6.5.1 Hive简介 234
6.5.2 Hive入门 235
6.6 Oozie 238
6.6.1 Oozie简介 238
6.6.2 Oozie入门 238
6.7 Flume 241
6.7.1 Flume简介 241
6.7.2 Flume入门 243
6.8 Mahout 246
6.8.1 Mahout简介 246
6.8.2 Mahout入门 246
6.9 小结 247
习题 248
参考文献 248
第7章