《云计算大数据处理》介绍了基于云计算的大数据处理技术，重点介绍了一款高效的、实时分析处理海量数据的强有力工具——数据立方。数据立方是针对大数据处理的分散式资料库，能够可靠地对大数据进行实时处理，具有即时回响多用户并发请求的能力。

第 1章 大数据挑战

1.1 当前面临的大数据挑战

1.1.1 大数据急剧膨胀

1.1.2 大数据智慧型分析

1.1.3 大数据深度挖掘

1.1.4 业务与技术脱节

1.2 大数据催生云计算

1.2.1 云计算不是偶然

1.2.2 云计算带来挑战与机遇

1.2.3 云计算对大数据的意义

1.2.4 云计算未来展望

1.3 大数据存储

1.3.1 存储仅是第 一步

1.3.2 行存储还是列存储

1.3.3 PB级大数据存储

1.3.4 大数据存储的未来

1.4 大数据处理

1.4.1 大数据处理的瓶颈

1.4.2 大数据处理的需求

1.4.3 大数据处理技术决定未来

1.4.4 大数据处理解决方案

第 2章 当前的大数据处理系统

2.1 开源大数据处理平台

2.1.1 Hadoop

2.1.2 MapReduce

2.2 NoSQL资料库

2.2.1 Google BigTable 的开源JAVA实现：HBase

2.2.2 纯分散式资料库：Cassandra

2.2.3 NoSQL资料库的套用场景

2.3 数据仓库平台

2.3.1 Hive

第3章 数据立方简介

3.1 数据立方产生背景

3.2 相关技术

3.2.1 云计算中的大数据处理技术－－MapReduce

3.2.2 并行资料库技术

3.2.3 云计算与资料库相结合的技术

3.3 新一代EB级云计算资料库－－数据立方

3.3.1 数据立方的体系架构

3.3.2 数据立方与Hadoop的关係

第4章 数据立方及配套环境的安装

4.1 安装流程

4.2 作业系统的安装

4.2.1 CentOS6.3的安装

4.2.2 安装JDK

4.2.3 配置SSH

4.3 HADOOP的安装

4.3.1 Hadoop的版本

4.3.2 HDFS的配置安装

4.3.3 MapReduce的配置安装

4.4 数据立方的配置安装

4.4.1 安装mysql-connector

4.4.2 编辑数据立方的配置档案

4.4.3 数据立方的启动

4.5 监控工具GANGLIA的安装

4.5.1安装依赖

4.5.2 安装ganglia

4.5.3 配置ganglia

4.6 数据导入工具SQOOP的安装

4.6.1 安装前提

4.6.2 安装步骤

第5章 hello word数据立方快速入门

5.1 智慧交通数据处理实例

5.1.1 智慧交通数据处理实例背景

5.1.2 建表

5.1.3 数据入库

5.1.4 数据查询

5.2 编程实现

5.2.1 JAVA开发包

5.2.2 示例

5.3 总结

第6章 数据立方开发

6.1 开发说明

6.2 数据立方SQL规範

6.2.1 数据定义与数据操作语言

6.2.2 数据查询语言

6.3 数据入库接口开发

6.3.1 单条多条记录入库JAVA开发包

6.3.2 开发说明

6.3.3 示例

6.4 数据查询接口开发

6.4.1 JAVA开发包

6.4.2 接口介绍

6.4.3 示例

6.5 数据导入工具SQOOP的使用

6.5.1 SQOOP命令

6.5.2 SQOOP命令的使用

第7章 数据立方的维护

7.1 HDFS的维护

7.1.1 HDFS的dfsadmin命令

7.1.2 HDFS的balancer工具

7.2 SHELL的使用

7.2.1数据立方SHELL说明

7.2.2数据定义与数据操作的shell

7.2.3数据查询的shell

7.3 数据立方的常见问题及其解决方法

7.3.1 启动时的常见问题

7.4 Sqoop的常见问题及其解决方法

7.4.1 Mysql的用户问题

7.4.2 Mysql的许可权问题

7.4.3 Mysql的path问题

7.4.4 Mysql的path问题

7.5 数据立方管理系统

第8章 数据立方的可靠性

8.1 Hadoop的可靠性

8.1.1 HDFS中NameNode单点问题

8.1.2 HDFS数据块副本机制

8.1.3 HDFS心跳机制

8.1.4 HDFS负载均衡

8.1.5 MapReduce容错

8.2 Hadoop的SecondaryNameNode机制

8.2.1磁碟镜像与日誌档案

8.2.2 SecondaryNameNode更新镜像的流程

8.3 Avatar机制

8.3.1 系统架构

8.3.2 Avatar元数据同步机制

8.3.3 故障切换过程

8.3.4 Avatar运行流程

8.3.5 Avatar故障切换流程

8.4 Avatar实战

8.4.1 实验环境

8.4.2 编译Avatar

8.4.3 Avatar安装和配置

8.5 数据立方可靠性

8.5.1 数据立方的可靠性

8.5.2 数据立方的工作流程

8.5.3 数据立方的可靠性

第9章 数据统计分析实例--供电信息採集系统

9.1 客户需求分析

9.1.1 测试过程及数据量描述

9.1.2 测试过程分解及效率统计

9.2 数据表设计

9.3 查询语句设计与结果展现

9.4 查询最佳化

9.4.1 存储方面的最佳化

9.4.2 记忆体方面的最佳化

9.5 性能测试结果

9.5.1 数据下载解压及标记

9.5.2 数据解析入库

9.5.3 数据计算流程

9.5.4 数据导入ORACLE资料库

9.5.5 查询总时长统计

第 10章 线上数据检索实例--移动信令分析云平台

10.1 需求分析

10.2 数据表设计

10.2.1 CDR数据档案的检测与索引创建任务调度

10.2.2 从HDFS读取数据并创建索引

10.2.3 查询CDR信息

10.3 查询语句设计与结果展现

10.3.1 CDR档案检测和索引创建任务调度程式

10.3.2 读取CDR数据和索引创建处理

10.3.3 CDR查询

10.4 查询最佳化

10.5 性能测试结果

第 11章 实时数据处理实例-地震数据

11.1 需求分析

11.2 数据表分析

11.3 查询语句设计与结果展现

11.4 查询最佳化

11.4.1 存储方面的最佳化

11.4.2 计算方面的最佳化

11.5 性能测试结果

11.5.1 单机模拟集群测试

11.5.2 栏位测试

11.5.3 排序测试

11.5.4 随机读取测试