更新时间：2021-09-03 16:46:12
封面
版权信息
作者简介
内容简介
第2版前言
第1版前言
第1篇 内核解密篇
第1章 电光石火间体验Spark 2.4开发实战
1.1 通过RDD实战电影点评系统入门及源码阅读
1.2 通过DataFrame和DataSet实战电影点评系统
1.3 Spark 2.4源码阅读环境搭建及源码阅读体验
第2章 Spark 2.4技术及原理
2.1 Spark 2.4综述
2.2 Spark 2.4 Core
2.3 Spark 2.4 SQL
2.4 Spark 2.4 Streaming
2.5 Spark 2.4 MLlib
2.6 Spark 2.4 GraphX
第3章 Spark的灵魂：RDD和DataSet
3.1 为什么说RDD和DataSet是Spark的灵魂
3.2 RDD弹性特性7个方面解析
3.3 RDD依赖关系
3.4 解析Spark中的DAG逻辑视图
3.5 RDD内部的计算机制
3.6 Spark RDD容错原理及其四大核心要点解析
3.7 Spark RDD中Runtime流程解析
3.8 通过WordCount实战解析Spark RDD内部机制
3.9 基于DataSet的代码如何转化为RDD
第4章 Spark Driver启动内幕剖析
4.1 Spark Driver Program剖析
4.2 DAGScheduler解析
4.3 TaskScheduler解析
4.4 SchedulerBackend解析
4.5 打通Spark系统运行内幕机制循环流程
4.6 本章总结
第5章 Spark集群启动原理和源码详解
5.1 Master启动原理和源码详解
5.2 Worker启动原理和源码详解
5.3 ExecutorBackend启动原理和源码详解
5.4 Executor中任务的执行
5.5 Executor执行结果的处理方式
5.6 本章总结
第6章 Spark Application提交给集群的原理和源码详解
6.1 Spark Application是如何提交给集群的
6.2 Spark Application是如何向集群申请资源的
6.3 从Application提交的角度重新审视Driver
6.4 从Application提交的角度重新审视Executor
6.5 Spark 1.6 RPC内幕解密：运行机制、源码详解、Netty与Akka等
6.6 本章总结
第7章 Shuffle原理和源码详解
7.1 概述
7.2 Shuffle的框架
7.3 Hash Based Shuffle
7.4 Sorted Based Shuffle
7.5 Tungsten Sorted Based Shuffle
7.6 Shuffle与Storage模块间的交互
7.7 本章总结
第8章 Job工作原理和源码详解
8.1 Job到底在什么时候产生
8.2 Stage划分内幕
8.3 Task全生命周期详解
8.4 Driver如何管理ShuffleMapTask和ResultTask的处理结果
第9章 Spark中Cache和checkpoint原理和源码详解
9.1 Spark中Cache原理和源码详解
9.2 Spark中checkpoint原理和源码详解
第10章 Spark中Broadcast和Accumulator原理和源码详解
10.1 Spark中Broadcast原理和源码详解
10.2 Spark中Accumulator原理和源码详解
第11章 Spark与大数据其他经典组件整合原理与实战
11.1 Spark组件综合应用
11.2 Spark与Alluxio整合原理与实战
11.3 Spark与Job Server整合原理与实战
11.4 Spark与Redis整合原理与实战
第2篇 商业案例篇
第12章 Spark商业案例之大数据电影点评系统应用案例
12.1 通过RDD实现分析电影的用户行为信息
12.2 通过RDD实现电影流行度分析
12.3 通过RDD分析各种类型的最喜爱电影TopN及性能优化技巧
12.4 通过RDD分析电影点评系统仿QQ和微信等用户群分析及广播背后机制解密
12.5 通过RDD分析电影点评系统实现Java和Scala版本的二次排序系统
12.6 通过Spark SQL中的SQL语句实现电影点评系统用户行为分析
12.7 通过Spark SQL下的两种不同方式实现口碑最佳电影分析
12.8 通过Spark SQL下的两种不同方式实现最流行电影分析
12.9 通过DataFrame分析最受男性和女性喜爱电影TopN
12.10 纯粹通过DataFrame分析电影点评系统仿QQ和微信、淘宝等用户群
12.11 纯粹通过DataSet对电影点评系统进行流行度和不同年龄阶段兴趣分析等
12.12 大数据电影点评系统应用案例涉及的核心知识点原理、源码及案例代码
12.13 本章总结
第13章 Spark 2.2实战之Dataset开发实战企业人员管理系统应用案例
13.1 企业人员管理系统应用案例业务需求分析
13.2 企业人员管理系统应用案例数据建模
13.3 通过SparkSession创建案例开发实战上下文环境
13.4 通过map、flatMap、mapPartitions等分析企业人员管理系统
13.5 通过dropDuplicate、coalesce、repartition等分析企业人员管理系统
13.6 通过sort、join、joinWith等分析企业人员管理系统
13.7 通过randomSplit、sample、select等分析企业人员管理系统
13.8 通过groupBy、agg、col等分析企业人员管理系统
13.9 通过collect_list、collect_set等分析企业人员管理系统
13.10 通过avg、sum、countDistinct等分析企业人员管理系统
13.11 Dataset开发实战企业人员管理系统应用案例代码
