《Cloudera授權Apache Hadoop 開發(fā)者認證培訓》課程詳情
點擊下載課大綱及報名表 課程綜述
Cloudera授權Apache Hadoop開發(fā)者培訓為期四天，能夠使得學員全面理解使用Apache Hadoop創(chuàng)建強大數(shù)據(jù)處理程序的關鍵概念和實踐經(jīng)驗：從工作流部署到使用API編寫MapReduce代碼并執(zhí)行，是Hadoop開發(fā)者面對真實環(huán)境中所有挑戰(zhàn)的最佳能力提升手段。
Hadoop的實驗操作：
通過將講師的分享、討論與動手實驗相結合，學員將探索Hadoop生態(tài)系統(tǒng)的所有領域，學習的課題如下：
*MapReduce和HDFS的原理及如何編寫MapReduce代碼
*Hadoop開發(fā)、調(diào)試及應用工作流和常用算法的最佳實踐
*如何整合Hive、Pig、Sqoop、Flume、Oozie、Mahout及其他Hadoop生態(tài)系統(tǒng)中的項目
*在數(shù)據(jù)中心中優(yōu)化硬件配置及網(wǎng)絡來集成Hadoop集群
*在MapReduce中編寫和執(zhí)行Jion來連接數(shù)據(jù)集
*真實環(huán)境中數(shù)據(jù)分析所需的高級Hadoop API話題


內(nèi)容綱要
*Hadoop的意圖
-傳統(tǒng)大型可擴展系統(tǒng)的問題
-對新方式的需求
-Hadoop簡述
*Hadoop：基本概念
-Hadoop項目及Hadoop組件
-Hadoop分布式文件系統(tǒng)
-使用HDFS
-MapReduce是如何工作的
-Hadoop集群是如何運作的
-其他Hadoop生態(tài)系統(tǒng)的項目
*MapReduce介紹
-什么是MapReduce
-MapReduce的功能
-基本概念
-MapReduce的架構
-MapReduce第二版
-故障恢復
-使用JobTracker Web UI
*Hadoop集群和生態(tài)系統(tǒng)
-Hadoop集群概述
-Hadoop的Job和Task
-Hadoop生態(tài)系統(tǒng)其他組件
*編寫Hadoop程序（Java）
-Map Reduce API基本概念
-通過Java編寫Map reduce（driver，mappers，reducers）
-通過Eclipse加速Hadoop開發(fā)
-Map Reduce API的新舊差異
*通過流編寫Map Reduce
-通過流API編寫Mappers和Reducers
*Unit測試MapReduce程序
-Unit測試
-JUnit和MRUnit測試架構
-通過MRUnit編寫JUnit
-運行Unit測試
*Hadoop API深入研究
-Tool Runner類的使用
-Mapper和Reducer的內(nèi)涵
-通過Combiner減少數(shù)據(jù)交互量
-接觸HDFS編程
-分布式緩存的使用
-Hadoop API庫的使用
*開發(fā)點和技巧實踐
-Map reduce代碼調(diào)試的策略
-Map Reduce代碼的本地測試
-日志文件的查看
-任務信息回收
-對象重用
-Map-Only的Map reduce工作創(chuàng)建
*Partitioners和Reducers
-Partitioners和Reducers的共同使用
-Job的最優(yōu)reducers數(shù)量決定
-客戶化partitioners開發(fā)
*數(shù)據(jù)的輸入和輸出
-客戶可寫實現(xiàn)的創(chuàng)建
-Binary數(shù)據(jù)保存
-文件壓縮的考慮
-客戶定義輸入和輸出格式實現(xiàn)
*Map Reduce通用算法
-大數(shù)據(jù)集的分類和查詢
-數(shù)據(jù)索引
-計算術語頻率
-單詞的計算
-第二分類實現(xiàn)
*Map Reduce工作的數(shù)據(jù)集加入
-編寫Map-Slide加入
-編寫Reduce-Slide加入
*Hadoop與企業(yè)工作流的集成
-企業(yè)新使用hadoop集成
-RDBMS數(shù)據(jù)到HDFS的遷移
-實時數(shù)據(jù)管理
-傳統(tǒng)系統(tǒng)對HDFS的訪問
*Hive，Impala，Pig介紹
-Hive，Impala，Pig的激勵
-Hive介紹
-Impala介紹
-Pig介紹
-三者的選擇
*Oozie介紹
-什么是Oozie
-Oozie工作流的創(chuàng)建


學員收益
在完成本課程后，學員將可以參加Cloudera關于Apache Hadoop開發(fā)者認證（CCDH）的考試，該認證將證明學員在該領域的專業(yè)能力。


目標學員
本課程適合于具有基本編程經(jīng)驗的開發(fā)人員和工程師，為了完成實驗練習需要必備Java知識。


《Cloudera授權Apache Hadoop 開發(fā)者認證培訓》所屬分類
綜合管理

《Cloudera授權Apache Hadoop 開發(fā)者認證培訓》授課培訓師簡介

《Cloudera授權Apache Hadoop 開發(fā)者認證培訓》報名服務流程

-----------------------------------------------------------------------------------