課程簡介
分布式技術是互聯(lián)網(wǎng)企業(yè)最核心的技術，在大數(shù)據(jù)、云計算理念的推動下，各種分布式技術產(chǎn)品層出不窮。Hadoop還沒學完，Storm就來了；Storm剛學會安裝配置，Spark、Hama、Yarn等又一起出現(xiàn)了；同時國內外各大云平臺廠商，如Google、亞馬遜、阿里云等，還在推各自應用開發(fā)平臺……要學習的東西太多了，剛學會了某個產(chǎn)品的安裝配置與開發(fā)步驟，沒多久它又過時了。這么多千姿百態(tài)的分布式技術產(chǎn)品背后有沒有某些共性的東西呢？能否掌握背后的精髓呢，有沒有可能學一反三，學一招應萬招，牢牢掌握好技術的船舵而不會過時。一般互聯(lián)網(wǎng)企業(yè)的分布式存儲計算系統(tǒng)都是個大平臺，系統(tǒng)復雜、代碼龐大，而且只適合公司的業(yè)務，工程師很難下載安裝到自己的電腦里學習和吃透。本課程從作者多年實戰(zhàn)經(jīng)驗出發(fā)，對分布式核心技術進行了大量歸納和總結，涉及了分布式主要功能的方方面面，并從中抽取出一套簡化的框架思想和編程API來幫助落地，你會感慨原來分布式技術可以如此簡單的實現(xiàn)，如此輕松的上手...


課程大綱
一、分布式技術體系概述
1.分布式計算、并行計算、云計算概述
2.分布式產(chǎn)品hadoop、zookeeper、hbase概述

二、分布式并行計算原理和設計
1、最初想到的master-slave結構
2、“包工頭-職介所-手工倉庫-工人”簡化模式
3、基于消息中樞的計算模式
4、基于網(wǎng)狀直接交互的計算模式
5、并行結合串行模式
6、批量多階段處理模式
7、計算集群模式和兼容遺留計算系統(tǒng)
8、工人計算的服務化模式
9、實時流處理計算模式
10、跟hadoop map/reduce的區(qū)別
11、初級應用：動手跑一個基本例子（動手）
12、中級應用：計算節(jié)點互相交互的完整例子（動手）
13、高級應用：使用并行計算大幅提升算法效率例子（動手）
14、相關架構探討（需求、運維、故障、優(yōu)化等）

三、分布式協(xié)調原理和設計
1、協(xié)調架構原理簡介
2、權限機制 115
3、相對于zookeeper的區(qū)別
4、與paxos算法的區(qū)別
5、實踐應用：分布式鎖和應用（動手）
6、實踐應用：統(tǒng)一配置和應用（動手）
7、實踐應用：領導者選舉和應用（動手）
8、相關架構探討（需求、運維、故障、優(yōu)化等）

四、分布式緩存架構和實現(xiàn)
1、小型網(wǎng)站或企業(yè)應用的緩存實現(xiàn)架構
2、大型分布式緩存系統(tǒng)實現(xiàn)過程
3、 一致性哈希算法的原理、改進和實現(xiàn)
4、解決任意擴容的問題
5、 解決擴容后數(shù)據(jù)均勻的問題
6、分布式session的架構設計和實現(xiàn)
7、按日期取模無遷移擴容算法
8、相關架構探討（需求、運維、故障、優(yōu)化等）

五、分布式消息隊列的實現(xiàn)
1、jms的兩種經(jīng)典模式
2、如何實現(xiàn)發(fā)送接收的隊列模式
3、如何實現(xiàn)主題訂閱模式

六、分布式文件系統(tǒng)架構和實現(xiàn)
1、簡化的分布式文件系統(tǒng)架構
2、搭建配置fttpadapter環(huán)境
3、訪問集群文件根目錄
4、訪問和操作遠程文件
5、集群內文件復制和并行復制
6、讀寫遠程文件
7、解析遠程文件
8、并行讀寫遠程文件
9、批量并行讀寫遠程文件和事務補償處理
10、實踐：基于文件讀寫的上億排序（動手）
11、相關架構探討（需求、運維、故障、優(yōu)化等）

七、分布式k/v數(shù)據(jù)庫存儲技術的變革
數(shù)據(jù)庫作為企業(yè)信息系統(tǒng)的最基礎軟件，面臨著分布式存儲、nosql、k/v、并行數(shù)據(jù)庫等創(chuàng)新技術的沖擊
1、從關系數(shù)據(jù)庫架構到k/v數(shù)據(jù)庫架構
2、緩存和持久存儲在越來越接近
3、kv nosql數(shù)據(jù)庫和文檔nosql數(shù)據(jù)庫
4、如何寫一個數(shù)據(jù)庫
5、百萬吞吐量的新型并行數(shù)據(jù)庫CoolHash架構
6、動手體驗
7、相關架構探討（需求、運維、故障、優(yōu)化等）