apache spark源碼剖析提供了詳細(xì)的代碼分析方式，作者利用自己多年的開發(fā)經(jīng)驗(yàn)以及對(duì)編程方式的理解，將apache spark源碼的使用方式以及布局方式編輯到書籍上，讓讀者可以通過閱讀內(nèi)容加深代碼的使用技巧，并且可以避免多種代碼使用的誤區(qū)；apache spark源碼剖析第1章和第2章簡(jiǎn)要介紹了大數(shù)據(jù)分析技術(shù)的產(chǎn)生背景和演進(jìn)過程:第3~5章詳細(xì)分析了 Spark Core中的作業(yè)規(guī)劃、提交及任務(wù)執(zhí)行等內(nèi)容,對(duì)于要深刻把握Spark實(shí)現(xiàn)機(jī)理的讀者來說,這幾章值得反復(fù)閱讀;第6~9章就Spak提供的高級(jí)Lib庫(kù)進(jìn)行了簡(jiǎn)要的分析,分析的思路是解決的主要問題是什么、解決的方案是如何產(chǎn)生的,以及方案是如何通過代碼來具體實(shí)現(xiàn)的，通過九個(gè)章節(jié)的學(xué)習(xí)，可以讓您在規(guī)劃新項(xiàng)目的時(shí)候更快、更穩(wěn)定，對(duì)于需要學(xué)習(xí)源代碼編程以及需要開發(fā)spark程序的朋友有很大的幫助！

前言

　　筆者是以讀 Spark論文開始的,說老實(shí)話覺得晦澀難懂,因?yàn)闊o法將其映射到內(nèi)存使用、進(jìn)程啟動(dòng)、線程運(yùn)行、消息傳遞等基本問題上。或許換個(gè)方法會(huì)更好,故筆者選擇直接從源碼入手,如此一來事情反而變簡(jiǎn)單了。在源碼分析的過程中,筆者始終抓住資源分配、消息傳遞、容錯(cuò)處理等基本問題設(shè)問,然后一步步努力尋找答案,所有的問題漸漸迎刃而解。

閱讀方式

　　1、apache spark源碼剖析是以文檔的方式保存在電腦

　　2、下載雙擊書籍名字就可以查看里面的內(nèi)容

　　3、如果是win10，可以選擇Microsoft Edge瀏覽器打開

　　4、也可以下載金山pdf閱讀器打開

　　5、可以在河?xùn)|網(wǎng)站搜索一款的皮膚閱讀器下載使用

目錄

　　第一部分 Spark概述

　　第1章 初識(shí)Spark

　　1.1 大數(shù)據(jù)和Spark

　　1.1.1 大數(shù)據(jù)的由來

　　1.1.2 大數(shù)據(jù)的分析

　　1.1.3 Hadoop

　　1.1.4 Spark簡(jiǎn)介

　　1.2 與Spark的第一次親密接觸

　　1.2.1 環(huán)境準(zhǔn)備

　　1.2.2 下載安裝Spark

　　1.2.3 Spark下的WordCount

　　第二部分 Spark核心概念

　　第2章 Spark整體框架

　　2.1 編程模型

　　2.1.1 RDD

　　2.1.2 Operation

　　2.2 運(yùn)行框架

　　2.2.1 作業(yè)提交

　　2.2.2 集群的節(jié)點(diǎn)構(gòu)成

　　2.2.3 容錯(cuò)處理

　　2.2.4 為什么是Scala

　　2.3 源碼閱讀環(huán)境準(zhǔn)備

　　2.3.1 源碼下載及編譯

　　2.3.2 源碼目錄結(jié)構(gòu)

　　2.3.3 源碼閱讀工具

　　2.3.4 本章小結(jié)

　　第3章 SparkContext初始化

　　3.1 spark-shell

　　3.2 SparkContext的初始化綜述

　　3.3 Spark Repl綜述

　　3.3.1 Scala Repl執(zhí)行過程

　　3.3.2 Spark Repl

　　第4章 Spark作業(yè)提交

　　4.1 作業(yè)提交

　　4.2 作業(yè)執(zhí)行

　　4.2.1 依賴性分析及Stage劃分

　　4.2.2 Actor Model和Akka

　　4.2.3 任務(wù)的創(chuàng)建和分發(fā)

　　4.2.4 任務(wù)執(zhí)行

　　4.2.5 Checkpoint和Cache

　　4.2.6 WebUI和Metrics

　　4.3 存儲(chǔ)機(jī)制

　　4.3.1 Shuffle結(jié)果的寫入和讀取

　　4.3.2 Memory Store

　　4.3.3 存儲(chǔ)子模塊啟動(dòng)過程分析

　　4.3.4 數(shù)據(jù)寫入過程分析

　　4.3.5 數(shù)據(jù)讀取過程分析

　　4.3.6 TachyonStore

　　第5章 部署方式分析

　　5.1 部署模型

　　5.2 單機(jī)模式local

　　5.3 偽集群部署local-cluster

　　5.4 原生集群Standalone Cluster

　　5.4.1 啟動(dòng)Master

　　5.4.2 啟動(dòng)Worker

　　5.4.3 運(yùn)行spark-shell

　　5.4.4 容錯(cuò)性分析

　　5.5 Spark On YARN

　　5.5.1 YARN的編程模型

　　5.5.2 YARN中的作業(yè)提交

　　5.5.3 Spark On YARN實(shí)現(xiàn)詳解

　　5.5.4 SparkPi on YARN

　　第三部分 Spark Lib

　　第6章 Spark Streaming

　　6.1 Spark Streaming整體架構(gòu)

　　6.1.1 DStream

　　6.1.2 編程接口

　　6.1.3 Streaming WordCount

　　6.2 Spark Streaming執(zhí)行過程

　　6.2.1 StreamingContext初始化過程

　　6.2.2 數(shù)據(jù)接收

　　6.2.3 數(shù)據(jù)處理

　　6.2.4 BlockRDD

　　6.3 窗口操作

　　6.4 容錯(cuò)性分析

　　6.5 Spark Streaming vs. Storm

　　6.5.1 Storm簡(jiǎn)介

　　6.5.2 Storm和Spark Streaming對(duì)比

　　6.6 應(yīng)用舉例

　　6.6.1 搭建Kafka Cluster

　　6.6.2 KafkaWordCount 第7章 SQL

　　7.1 SQL語(yǔ)句的通用執(zhí)行過程分析

　　7.2 SQL On Spark的實(shí)現(xiàn)分析

　　7.2.1 SqlParser

　　7.2.2 Analyzer

　　7.2.3 Optimizer

　　7.2.4 SparkPlan

　　7.3 Parquet 文件和JSON數(shù)據(jù)集

　　7.4 Hive簡(jiǎn)介

　　7.4.1 Hive 架構(gòu)

　　7.4.2 HiveQL On MapReduce執(zhí)行過程分析

　　7.5 HiveQL On Spark詳解

　　7.5.1 Hive On Spark環(huán)境搭建

　　7.5.2 編譯支持Hadoop 2.x的Spark

　　7.5.3 運(yùn)行Hive On Spark測(cè)試用例

　　第8章 GraphX

　　8.1 GraphX簡(jiǎn)介

　　8.1.1 主要特點(diǎn)

　　8.1.2 版本演化

　　8.1.3 應(yīng)用場(chǎng)景

　　8.2 分布式圖計(jì)算處理技術(shù)介紹

　　8.2.1 屬性圖

　　8.2.2 圖數(shù)據(jù)的存儲(chǔ)與分割

　　8.3 Pregel計(jì)算模型

　　8.3.1 BSP

　　8.3.2 像頂點(diǎn)一樣思考

　　8.4 GraphX圖計(jì)算框架實(shí)現(xiàn)分析

　　8.4.1 基本概念

　　8.4.2 圖的加載與構(gòu)建

　　8.4.3 圖數(shù)據(jù)存儲(chǔ)與分割

　　8.4.4 操作接口

　　8.4.5 Pregel在GraphX中的源碼實(shí)現(xiàn)

　　8.5 PageRank

　　8.5.1 什么是PageRank

　　8.5.2 PageRank核心思想

　　第9章 MLLib

　　9.1 線性回歸

　　9.1.1 數(shù)據(jù)和估計(jì)

　　9.1.2 線性回歸參數(shù)求解方法

　　9.1.3 正則化

　　9.2 線性回歸的代碼實(shí)現(xiàn)

　　9.2.1 簡(jiǎn)單示例

　　9.2.2 入口函數(shù)train

　　9.2.3 最優(yōu)化算法optimizer

　　9.2.4 權(quán)重更新update

　　9.2.5 結(jié)果預(yù)測(cè)predict

　　9.3 分類算法

　　9.3.1 邏輯回歸

　　9.3.2 支持向量機(jī)

　　9.4 擬牛頓法

　　9.4.1 數(shù)學(xué)原理

　　9.4.2 代碼實(shí)現(xiàn)

　　9.5 MLLib與其他應(yīng)用模塊間的整合

電子版本優(yōu)勢(shì)

　　1、下載apache spark源碼剖析放到電腦上閱讀

　　2、不需要到書店購(gòu)買書籍

　　3、可以發(fā)送到任意電腦上閱讀

　　4、也可以傳輸?shù)绞謾C(jī)上隨時(shí)閱讀

　　5、文字內(nèi)容以及代碼內(nèi)容都是可以放大的

　　6、可以參考作者提供的開發(fā)代碼編譯

學(xué)習(xí)方式

　　Spark源碼采用 Scala語(yǔ)言編寫,那么閱讀Sprk源碼之前,是否一定要先學(xué) Scala呢?筆者個(gè)人以為不必,只要你有一些Java或C++編程語(yǔ)言的基礎(chǔ),就可以開始看 Spark源碼,遇到不懂的地方再去學(xué)習(xí),效率反而會(huì)大大提高,做有的放矢。將學(xué)習(xí)中遇到的知識(shí)點(diǎn),從函數(shù)式編程、泛型編程、面向?qū)ο蟆⒉⑿芯幊痰葞讉€(gè)方面整理歸納,這樣能夠快速將 Scala語(yǔ)言的框架勾勒出來。

第四部分 附錄

　　附錄A Spark源碼調(diào)試

　　附錄B 源碼閱讀技巧

版權(quán)說明

　　圖書在版編目(CIP)數(shù)據(jù)

　　Apache Spark源碼剖析/許鵬著一北京:電子工業(yè)出版社,2015.3

　　ISBN978-7-121-25420-8

　　I.①A…II.①許…III.①互聯(lián)網(wǎng)絡(luò)一網(wǎng)絡(luò)服務(wù)器②數(shù)據(jù)處理軟件IV.①TP368.5②TPZ

　　中國(guó)版本圖書館CIP數(shù)據(jù)核字(2015)第010897號(hào)

　　策劃編輯:付睿

　　責(zé)任編輯:李云靜

　　印刷:北京天來印務(wù)有限公司

　　裝訂:北京天來印務(wù)有限公司

　　出版發(fā)行:電子工業(yè)出版社

　　北京市海淀區(qū)萬(wàn)壽路173信箱郵編:100036

　　開本:787×9801/16印張:18.5字?jǐn)?shù):432千字

　　版次:2015年3月第1版

　　印次:2015年3月第1次印刷

　　定價(jià):68.00元