《分布式核心技術(shù)架構(gòu)與實(shí)戰(zhàn)》課程詳情
點(diǎn)擊下載課大綱及報(bào)名表
課程簡(jiǎn)介
分布式技術(shù)是互聯(lián)網(wǎng)企業(yè)最核心的技術(shù),在大數(shù)據(jù)、云計(jì)算理念的推動(dòng)下,各種分布式技術(shù)產(chǎn)品層出不窮。Hadoop還沒(méi)學(xué)完,Storm就來(lái)了;Storm剛學(xué)會(huì)安裝配置,Spark、Hama、Yarn等又一起出現(xiàn)了;同時(shí)國(guó)內(nèi)外各大云平臺(tái)廠商,如Google、亞馬遜、阿里云等,還在推各自應(yīng)用開(kāi)發(fā)平臺(tái)……要學(xué)習(xí)的東西太多了,剛學(xué)會(huì)了某個(gè)產(chǎn)品的安裝配置與開(kāi)發(fā)步驟,沒(méi)多久它又過(guò)時(shí)了。這么多千姿百態(tài)的分布式技術(shù)產(chǎn)品背后有沒(méi)有某些共性的東西呢?能否掌握背后的精髓呢,有沒(méi)有可能學(xué)一反三,學(xué)一招應(yīng)萬(wàn)招,牢牢掌握好技術(shù)的船舵而不會(huì)過(guò)時(shí)。一般互聯(lián)網(wǎng)企業(yè)的分布式存儲(chǔ)計(jì)算系統(tǒng)都是個(gè)大平臺(tái),系統(tǒng)復(fù)雜、代碼龐大,而且只適合公司的業(yè)務(wù),工程師很難下載安裝到自己的電腦里學(xué)習(xí)和吃透。本課程從作者多年實(shí)戰(zhàn)經(jīng)驗(yàn)出發(fā),對(duì)分布式核心技術(shù)進(jìn)行了大量歸納和總結(jié),涉及了分布式主要功能的方方面面,并從中抽取出一套簡(jiǎn)化的框架思想和編程API來(lái)幫助落地,你會(huì)感慨原來(lái)分布式技術(shù)可以如此簡(jiǎn)單的實(shí)現(xiàn),如此輕松的上手...
課程大綱
一、分布式技術(shù)體系概述
1.分布式計(jì)算、并行計(jì)算、云計(jì)算概述
2.分布式產(chǎn)品hadoop、zookeeper、hbase概述
二、分布式并行計(jì)算原理和設(shè)計(jì)
1、最初想到的master-slave結(jié)構(gòu)
2、“包工頭-職介所-手工倉(cāng)庫(kù)-工人”簡(jiǎn)化模式
3、基于消息中樞的計(jì)算模式
4、基于網(wǎng)狀直接交互的計(jì)算模式
5、并行結(jié)合串行模式
6、批量多階段處理模式
7、計(jì)算集群模式和兼容遺留計(jì)算系統(tǒng)
8、工人計(jì)算的服務(wù)化模式
9、實(shí)時(shí)流處理計(jì)算模式
10、跟hadoop map/reduce的區(qū)別
11、初級(jí)應(yīng)用:動(dòng)手跑一個(gè)基本例子(動(dòng)手)
12、中級(jí)應(yīng)用:計(jì)算節(jié)點(diǎn)互相交互的完整例子(動(dòng)手)
13、高級(jí)應(yīng)用:使用并行計(jì)算大幅提升算法效率例子(動(dòng)手)
14、相關(guān)架構(gòu)探討(需求、運(yùn)維、故障、優(yōu)化等)
三、分布式協(xié)調(diào)原理和設(shè)計(jì)
1、協(xié)調(diào)架構(gòu)原理簡(jiǎn)介
2、權(quán)限機(jī)制 115
3、相對(duì)于zookeeper的區(qū)別
4、與paxos算法的區(qū)別
5、實(shí)踐應(yīng)用:分布式鎖和應(yīng)用(動(dòng)手)
6、實(shí)踐應(yīng)用:統(tǒng)一配置和應(yīng)用(動(dòng)手)
7、實(shí)踐應(yīng)用:領(lǐng)導(dǎo)者選舉和應(yīng)用(動(dòng)手)
8、相關(guān)架構(gòu)探討(需求、運(yùn)維、故障、優(yōu)化等)
四、分布式緩存架構(gòu)和實(shí)現(xiàn)
1、小型網(wǎng)站或企業(yè)應(yīng)用的緩存實(shí)現(xiàn)架構(gòu)
2、大型分布式緩存系統(tǒng)實(shí)現(xiàn)過(guò)程
3、 一致性哈希算法的原理、改進(jìn)和實(shí)現(xiàn)
4、解決任意擴(kuò)容的問(wèn)題
5、 解決擴(kuò)容后數(shù)據(jù)均勻的問(wèn)題
6、分布式session的架構(gòu)設(shè)計(jì)和實(shí)現(xiàn)
7、按日期取模無(wú)遷移擴(kuò)容算法
8、相關(guān)架構(gòu)探討(需求、運(yùn)維、故障、優(yōu)化等)
五、分布式消息隊(duì)列的實(shí)現(xiàn)
1、jms的兩種經(jīng)典模式
2、如何實(shí)現(xiàn)發(fā)送接收的隊(duì)列模式
3、如何實(shí)現(xiàn)主題訂閱模式
六、分布式文件系統(tǒng)架構(gòu)和實(shí)現(xiàn)
1、簡(jiǎn)化的分布式文件系統(tǒng)架構(gòu)
2、搭建配置fttpadapter環(huán)境
3、訪問(wèn)集群文件根目錄
4、訪問(wèn)和操作遠(yuǎn)程文件
5、集群內(nèi)文件復(fù)制和并行復(fù)制
6、讀寫(xiě)遠(yuǎn)程文件
7、解析遠(yuǎn)程文件
8、并行讀寫(xiě)遠(yuǎn)程文件
9、批量并行讀寫(xiě)遠(yuǎn)程文件和事務(wù)補(bǔ)償處理
10、實(shí)踐:基于文件讀寫(xiě)的上億排序(動(dòng)手)
11、相關(guān)架構(gòu)探討(需求、運(yùn)維、故障、優(yōu)化等)
七、分布式k/v數(shù)據(jù)庫(kù)存儲(chǔ)技術(shù)的變革
數(shù)據(jù)庫(kù)作為企業(yè)信息系統(tǒng)的最基礎(chǔ)軟件,面臨著分布式存儲(chǔ)、nosql、k/v、并行數(shù)據(jù)庫(kù)等創(chuàng)新技術(shù)的沖擊
1、從關(guān)系數(shù)據(jù)庫(kù)架構(gòu)到k/v數(shù)據(jù)庫(kù)架構(gòu)
2、緩存和持久存儲(chǔ)在越來(lái)越接近
3、kv nosql數(shù)據(jù)庫(kù)和文檔nosql數(shù)據(jù)庫(kù)
4、如何寫(xiě)一個(gè)數(shù)據(jù)庫(kù)
5、百萬(wàn)吞吐量的新型并行數(shù)據(jù)庫(kù)CoolHash架構(gòu)
6、動(dòng)手體驗(yàn)
7、相關(guān)架構(gòu)探討(需求、運(yùn)維、故障、優(yōu)化等)
《分布式核心技術(shù)架構(gòu)與實(shí)戰(zhàn)》所屬分類(lèi)
研發(fā)項(xiàng)目
《分布式核心技術(shù)架構(gòu)與實(shí)戰(zhàn)》授課培訓(xùn)師簡(jiǎn)介
木巖
擅長(zhǎng)領(lǐng)域
研發(fā)管理
職業(yè)背景
現(xiàn)任某知名IT企業(yè)中間件首席架構(gòu)師,前淘寶高級(jí)專(zhuān)家。先后在淘寶交易、淘寶中間件、集團(tuán)核心系統(tǒng)、阿里金融等部門(mén)工作。曾任金蝶總體架構(gòu)部SOA架構(gòu)師,負(fù)責(zé)設(shè)計(jì)ESB。曾艱苦創(chuàng)業(yè),編寫(xiě)和銷(xiāo)售財(cái)務(wù)軟件。
在Java技術(shù)領(lǐng)域從業(yè)十多年,撰寫(xiě)過(guò)多款開(kāi)源軟件,其中,淘寶分布式技術(shù)框架Fourinone為其代表作。他擁有軟件著作權(quán)的代表作有:BS系列軟件(包括財(cái)務(wù)進(jìn)銷(xiāo)存、OA產(chǎn)品、CRM等)、FMS視頻會(huì)議、Flash網(wǎng)站生成軟件(華軍可下載),所有軟件作品均貢獻(xiàn)99%代碼。
作品:
CoolHash數(shù)據(jù)庫(kù)引擎
出版書(shū)籍:《大規(guī)模分布式系統(tǒng)架構(gòu)與設(shè)計(jì)實(shí)戰(zhàn)》