北京CDA大數據就業(yè)班

課程亮點：

朝九晚九全程跟班答疑、一對一督學、定期直播串講、五分鐘內有問必答、出勤率和進度監(jiān)督、作業(yè)與測試

學習目標：

1.零基礎脫產學習，5個月學會大數據技術

2.計算機、統計、數學等專業(yè)學習更佳

3.包學會，成為大數據稀缺人才，高薪就業(yè)

4.*DA大數據就業(yè)幫，助你前程似錦

5.大數據未來已來，只等你改變自己

課程內容：

1章業(yè)務分析基礎技能

1-1數據分析概述

1-2常用高階函數

1-3條件格式應用

1-4數據透視表高階應用

1-5圖表進階

1-6項目排期管理

1-7案例背景介紹

1-8動態(tài)考勤表制作

1-9每月考勤統計

1-10考勤匯總統計

1-11常用指標概述

1-12基礎指標統計

1-13人力資源指標體系概述

1-14案例背景介紹

1-15員工績效評定思路解析

1-16實操績效統計及可視化

1-17案例背景介紹

1-18活動評估報表思路解析

1-19實操活動評估指標統計

1-20指導撰寫報表結論

1-21圖表應用

1-22零碎需求分析方法

1-23案例應用-核心產品分析

1-24案例應用-零售業(yè)商業(yè)智能看板

1-25RFM基礎模型及拓展

1-26案例應用-用戶畫像

1-27樹狀結構分析方法概述

1-28案例應用-汽車行業(yè)分析報告

2章數據庫應用技能

2-1數據庫簡介

2-2表結構的特點

2-3數據庫分類

2-4MySQL簡介

2-5數據庫基本結構

2-6SQL語言分類

2-7SQL書寫要求

2-8創(chuàng)建、使用及刪除數據庫

2-9創(chuàng)建表

2-10數據類型

2-11約束條件

2-12修改及刪除表

2-13插入數據

2-14批量導入數據

2-15更新數據

2-16刪除數據

2-17查詢指定列

2-18查詢不重復記錄

2-19條件查詢

2-20常用運算符

2-21空值查詢

2-22設置別名

2-23模糊查詢

2-24查詢結果排序

2-25限制查詢

2-26聚合運算

2-27分組查詢

2-28分組后篩選

2-29內連接

2-30左連接

2-31右連接

2-32合并查詢

2-33標量子查詢

2-34行子查詢

2-35列子查詢

2-36表子查詢

2-37字符串函數

2-38數學函數

2-39日期和時間函數

2-40分組合并函數

2-41邏輯函數

2-42開窗函數

2-43進階練習

2-44數據來源及業(yè)務背景

2-45表關系梳理

2-46數據導入及字段處理

2-47數據查詢

3章商業(yè)智能分析技能

3-1數據倉庫結構說明

3-2基于數據倉庫的數據處理方法

3-3數據倉庫數據處理進階

3-4數據倉庫應用案例

3-5創(chuàng)建多維數據模型

3-6理解多維模型表連接規(guī)則

3-7業(yè)務數據分析指標介紹

3-8業(yè)務數據匯總分析進階

3-9時間維度分析方法說明

3-10業(yè)務背景介紹

3-11理解及加工處理數據

3-12可視化界面創(chuàng)建方法介紹

3-13制作零售業(yè)銷售情況分析儀

3-14業(yè)務背景介紹

3-15客戶價值模型說明

3-16數據加工處理

3-17制作電商客戶行為分析儀

3-18業(yè)務背景介紹

3-19理解餐飲業(yè)關鍵運營指標

3-20數據加工處理

3-21制作餐飲業(yè)日銷售情況監(jiān)控儀

3-22電商業(yè)務背景介紹

3-23電商流量指標體系說明

3-24數據加工處理

3-25制作電商流量分析儀

3-26業(yè)務背景介紹

3-27進銷存關鍵指標說明

3-28數據加工處理

3-29制作經銷商經營情況分析儀

3-30業(yè)務背景介紹

3-31數據說明

3-32制作車企銷售情況分析儀

3-33由講師介紹業(yè)務背景

3-34由講師提供數據

3-35由學員獨立完成業(yè)務分析儀的制作過程

3-36由學員分組發(fā)表制作成果并由講師點評

4章數據挖掘數學基礎

4-1函數

4-2極限

4-3微分及應用

4-4定積分

4-5向量

4-6線性方程組

4-7線性變化與矩陣

4-8矩陣乘法

4-9行列式

4-10矩陣的秩

4-11逆矩陣

4-12點乘與內積

4-13外積

4-14特征值與特征向量

4-15集中趨勢的度量

4-16離散程度的度量

4-17偏態(tài)與峰態(tài)的度量

4-18統計量概念與常用統計量

4-19抽樣分布

4-20樣本均值的分布與中心極限定理

4-21樣本比例的抽樣分布

4-22兩個樣本平均值之差的分布

4-23樣本方差的分布

4-24假設檢驗的基本概念

4-25一個總體參數的檢驗

4-26兩個總體參數的檢驗

4-27分類數據與X2統計量

4-28擬合優(yōu)度檢驗

4-29列聯分析：獨立性檢驗

4-30線性關系的方向和強度

4-31協方差

4-32相關系數

4-33一元線性回歸模型

4-34多元線性回歸模型

4-35邏輯回歸模型

5章Python編程基礎

5-1Python簡介

5-2Python安裝環(huán)境介紹

5-3Python常用IDE及Jupyter介紹

5-4Python第三方庫安裝

5-5編碼與標識符

5-6Python保留字

5-7注釋和縮進

5-8輸入和輸出

5-9變量及賦值

5-10數值

5-11字符串

5-12布爾值

5-13列表

5-14元組

5-15集合

5-16字典

5-17條件語句: If

5-18循環(huán)語句For和While

5-19Break語句

5-20Continue語句

5-21Pass語句

5-22錯誤和異常捕捉語句

5-23異常和錯誤處理

5-24邏輯判斷函數

5-25數值運算函數

5-26序列函數

5-27類型轉換函數

5-28函數定義

5-29函數參數

5-30默認參數

5-31變量作用域

5-32全局變量和局部變量

5-33匿名函數

5-34列表生成式

5-35高級函數: map、Reduce、 filter等

5-36模塊概念介紹

5-37import模塊導入

5-38自定義模塊

5-39文件讀寫

5-40利用Python操作文件和目錄

5-41類的定義

5-42類對象

5-43類方法

5-44Python連接數據庫方法

5-45利用Python操作數據庫

6章Python數據清洗

6-1NumPy基本介紹

6-2NumPy基本數據結構: Ndarray

6-3數組的索引與切片

6-4數組其他常用函數與方法

6-5Pandas基本數據結構: Series與DataFrame

6-6索引、切片與過濾

6-7排序與匯總

6-8DataFrame簡單處理缺失值方法

6-9數據集的合并與連接

6-10重復值的處理

6-11數據集映射轉化方法

6-12異常值查找與替換

6-13排序和隨機抽樣

6-14DataFrame字符串常用操作

6-15DataFrame分組操作

6-16

6-17 DataFrame聚合操作

6-18DataFrame透視表的創(chuàng)建方法

6-19數據的獲取與存儲

6-20數據探索

6-21數據清洗實戰(zhàn)案例一

6-22數據清洗實戰(zhàn)案例二

7章Python數據可視化

7-1數據可視化入門

7-2常用可視化第三方庫介紹: matplotlib、seaborn、PyEcharts

7-3常用可視化圖形介紹，如餅圖、柱圖、條形圖、線圖散點圖等

7-4圖形選擇

7-5Pandas繪圖方法

7-6圖例配置方法和常用參數

7-7顏色條配置方法和常用參數

7-8subplot多子圖繪制方法

7-9文字與注釋、自定義坐標軸方法

7-10Seaborn入門介紹

7-11Seaborn API介紹

7-12Seaborn繪圖示例

7-13Echarts介紹

7-14PyEcharts API介紹

7-15PyEcharts繪圖示例

8章Python統計分析

8-1數據描述

8-2數據分布與統計信息

8-3數據角色定義

8-4大數據存儲

8-5最小二乘估計

8-6線性回歸與相關

8-7線性回歸與方差分析

8-8數據分析流程

8-9多元線性回歸的假設

8-10正態(tài)分布問題

8-11異方差問題與處理

8-12異常值問題與處理

8-13共線性問題與處理

8-14內生性問題與處理

8-15logistic回歸與卡方

8-16大似然估計

8-17logistic回歸解析

8-18評分與預測

8-19分類比例平衡問題

8-20工具變量的使用

8-21啞變量處理

8-22變量篩選

9章機器學習快速入門

9-1機器學習入門介紹：機器學習基本思想、常用算法分類、算法庫等

9-2Python機器學習算法庫Scikit-Learn入門介紹

9-3超參數與模型驗證：學習曲線、網格搜索

9-4特征工程概念介紹

9-5分類特征、文本特征

9-6圖像特征、特征衍生

9-7缺失值填充、特征管道

9-8KNN基本原理

9-9KNN函數詳解

9-10KNN高級數據結構實現

9-11原理補充：歸一化方法、學習曲線、交叉驗證

9-12KNN-最近鄰分類器

9-13KNN算法示例

9-14無監(jiān)督學習與聚類算法

9-15聚類分析概述與簇的概念

9-16距離衡量方法

9-17聚類目標函數和質心計算方法

9-18Scikit-Learn實現K-Means及主要參數解

9-19決策樹工作原理

9-20構建決策樹（ID3算法構建決策樹及局限性）

9-****.5與CART算法

9-22決策樹的Scikit-Learn實現：八個參數、一個屬性、四個接口解析

9-23分類模型的評估指標（混淆矩陣原理）

9-24實例：泰坦尼克號幸存者的預測

9-25過擬合與欠擬合

9-26決策樹算法評價（優(yōu)點與缺點）

9-27決策樹在保險行業(yè)中的應用

10章機器學習進階

10-1線性回歸概述

10-2多元線性回歸基本原理

10-3模型參數求解方法

10-4回歸類模型評價標準:精準性、擬合度

10-5多重共線性與嶺回歸、Lasso

10-6非線性問題及其處理方法

10-7多項式回歸

10-8MSE

10-9R^2

10-10最小二乘法

10-11梯度下降

10-12名為“回歸\"的分類器

10-13二元邏輯回歸的損失函數

10-14邏輯回歸的重要參數

10-15梯度下降求解邏輯回歸最小損失函數

10-16概率分類器概述

10-17樸素貝葉斯概述

10-18不同分布下的樸素貝葉斯

10-19高斯貝葉斯下的擬合效果與運算速度

10-20多項式樸素貝葉斯及其優(yōu)化

10-21AUC

10-22ROC

10-23關聯規(guī)則概述:頻繁項集的產生與

10-24關聯發(fā)現

10-25Apriori算法原理:先驗原理

10-26使用Apriori算法來發(fā)現頻繁項集(生成候選項集(函數的構建與封裝)、項集迭代函數)

10-27協同概率概述

10-28協同過濾算法分類

10-29基于商品的協同過濾

10-30基于協同過濾的商品個性化推薦

10-31集成算法概述Bagging Vs Boosting、集成算法的認識

10-32隨機森林分類器的實現:重要參數、重要屬性和接口

10-33隨機森林回歸器的實現:重要參數、屬性與接口

10-34機器學習中調參的基本思想(泛化誤差)

10-35調參應用:隨機森林在乳腺癌數據上的調參

10-36MSE

10-37R^2

10-38最小二乘法

10-39梯度下降

10-40數據處理概述

10-41數據量綱處理:歸一化、標準化

10-42缺失值處理

10-43分類型數據處理:數據編碼與啞變量

10-44連續(xù)性數據處理:二值化與分箱

10-45特征選擇:過濾法、嵌入法、包裝法

10-46SVM概述: SVM工作原理

10-47SVM模型構建

10-48線性SVM:線性SVM的損失函數、函數間隔有幾何間隔、SVM決策邊界

10-49非線性SVM: SVC模型概述、重要參數、核函數、SVC重要參數(C、class weight)

10-50感知機

10-51多層感知機

10-52初識神經網絡

10-53梯度提升樹概述

10-54XGBoost選擇若分類器

10-55求解目標函數

10-56參數化決策樹

10-57建立目標函數與樹結構的直接關系

10-58貪婪算法與求解優(yōu)樹

10-59XGBoost的剪枝參數:減輕過擬合

10-60XGBoost分類中的樣本不均衡問題處

10-61基于XGboost的航空預測

11章評分卡案例

11-1評分卡業(yè)務邏輯介紹

11-2案例業(yè)務背景介紹

11-3基本分析工具與環(huán)境準備

11-4數據準備

11-5數據預處理

11-6數據比例調節(jié)：過度抽樣

11-7構造訓練集和測試集

11-8變量相關性分析

11-9數據的缺失值與異常值

11-10變量數據類型重編碼

11-11Logistic模型原理回顧

11-12Logistic建模

11-13利用Logistic模型進行變量篩選

11-14分類模型評估指標回顧

11-15過度抽樣調整

11-16收益矩陣

11-17模型轉化評分卡

11-18Python模型部署方法

11-19構建機器學習流

11-20模型效果監(jiān)測與更新

12章電商零售

12-1項目商業(yè)問題簡述

12-2項目策略與方法

12-3項目推薦計劃

12-4項目時間規(guī)劃

12-5購買傾向模型

12-6方法原理介紹

12-7目標以及數據介紹

12-8Python算法實現（Gradient Boosting）

12-9建模結果解讀

12-10購買傾向模型

12-11目標以及數據介紹

12-12Python算法實現

12-13建模結果解讀

12-14活動設計

12-15結果評價

13章Python網絡爬蟲（錄播）

13-1網絡爬蟲定義

13-2網絡爬蟲用途

13-3通用搜索引擎工作的原理和局限性

13-4爬蟲基本原理與流程

13-5常見網絡爬蟲分類

13-6基于IP地址搜索策略

13-7廣度優(yōu)先搜索策略

13-8深度優(yōu)先搜索策略

13-9優(yōu)先搜索策略

13-10http基本原理介紹

13-11http請求過程

13-12網頁組成

13-13HTML：超文本標記語言

13-14CSS：層疊樣式表

13-15網頁樣式

13-16JavaScript(JS)

13-17網頁的結構

13-18爬蟲基本流程

13-19抓取數據的數據類型解析

13-20JavaScript渲染頁面

13-21cookies介紹

13-22爬蟲代理

13-23Robots協議介紹

13-24爬蟲攻防入門

14章Tableau數據分析 （錄播）

14-1Tableau產品介紹

14-2Tableau操作界面介紹

14-3Tableau常用功能介紹

14-4Tableau連接數據源方法

14-5層級與下鉆

14-6排序和分組

14-7創(chuàng)建和使用集

14-8篩選方法：篩選欄和篩選器

14-9數據處理常用參數

14-10參考線與趨勢線

14-11常用預測方法

14-12可視化基本方法

14-13初級圖表繪制方法：條形圖、折線圖、餅圖、文字云、散點圖、地圖、樹形圖、氣泡圖等

14-14高級圖表：子彈圖、環(huán)形圖、瀑布圖、Bump Chart、Table Formatting

14-15使用Tableau制作儀表板

14-16邏輯運算

14-17數值運算

14-18字符串處理函數

14-19日期函數

14-20聚合函數

14-21數據背景和需求分析

14-22數據讀取與預處理

14-23Top N客戶匯總分析

14-24Top N客戶銷售額分析

15章分布式集群架構

15-1大數據概念介紹

15-2Hadoop入門與分布式集群基本概念

15-3Hadoop生態(tài)和及其技術棧

15-4Linux生態(tài)介紹

15-5常用虛擬化工具介紹

15-6常用Linux操作系統

15-7Vmware與VirtualBox

15-8Ubuntu操作系統與CentOS

15-9Ubuntu安裝與常用命令

15-10JDK的安裝與使用

15-11Hadoop安裝與使用

15-12Hadoop單機運行方法

15-13Hadoop偽分布式運行方法

15-14利用多節(jié)點安裝Hadoop集群

15-15Hadoop生態(tài)其他常用組件基本介紹

15-16數據倉庫Hive安裝方法

15-17分布式數據庫Hbase安裝方法

15-18ETL工具Sqoop安裝方法

15-19Scala與Spark安裝方法

16章Hadoop基礎

16-1HDFS概念及設計原理

16-2HDFS體系結構和運行機制

16-3NameNode、DataNode、SecondaryNameNode配置文件及修改方法

16-4HDFS備份機制和文件管理機制

16-5NameNode、DataNode、SecondaryNameNode作用及運行機制

16-6HDFS的常用操作方法介紹

16-7HDFS Java API介紹

16-8HDFS Shell命令格式

16-9HDFS創(chuàng)建文件目錄命令

16-10HDFS文件復制、重命名命令

16-11HDFS文件移動、刪除命令

16-12HDFS其他常用命令

16-13YARN基本概念

16-14YARN相關進程介紹

16-15YARN核心組件及其功能

16-16YARN運行原理

16-17MapReduce概念及設計原理

16-18MapReduce運行過程類的調用過程

16-19Mapper類和Reducer類的繼承機制

16-20Job生命周期

16-21MapReduce中block的調度及作業(yè)分配機制

16-22Mapreduce程序格式介紹

16-23MapReduce程序執(zhí)行流程介紹

16-24MapReduce程序在瀏覽器中查看

16-25Mappre類和Reducer類的主要編寫內容和模式

16-26Job的編寫和實現

16-27MapReduce程序編寫實操

16-28Jar包打包方法和集群運行

17章Sqoop安裝與使用

17-1Sqoop組件介紹與發(fā)展歷史

17-2Sqoop組件特性及核心功能

17-3ETL基本概念

17-4Hadoop生態(tài)中的數據轉化方法

17-5Linux中安裝Sqoop方法

17-6Sqoop集成MySQL方法

17-7Sqoop集成Hbase方法

17-8Sqoop集成Hive方法

17-9Sqoop功能測試

17-10Sqoop導入功能介紹

17-11Sqoop數據導入import命令基本格式

17-12Sqoop數據導入import命令常用參數

17-13利用Sqoop從MySQL中導入數據至HDFS

17-14Sqoop生成相應Java代碼方法codegen

17-15利用Sqoop導入數據至Hive

17-16利用Sqoop導入數據至Hbase

17-17Sqoop導出功能介紹

17-18Sqoop數據導入export命令基本格式

17-19Sqoop數據導入export命令常用參數

17-20從HDFS中導出數據到MySQL

17-21從Hive導出數據到MySQL

17-22從Hbase導出數據到MySQL

18章分布式數據倉庫Hbase

18-1分布式數據庫和關系型數據庫

18-2No-SQL數據庫與面向列數據庫特性講解

18-3Hbase發(fā)展歷史

18-4Hbase核心特性

18-5Hbase在Linux中的安裝方法

18-6Hbase配置文件與修改方法

18-7Hbase與Zookeeper集成

18-8Hbase完全分布式安裝與運行

18-9簡單備份模式

18-10Hbase邏輯模型

18-11Hbase物理模型

18-12paxos算法與運行機制

18-13靜態(tài)遷移與動態(tài)遷移

18-14Hbase基本操作方法

18-15Hbase Shell通用命令General

18-16表格創(chuàng)建命令Create

18-17常用查看命令list、describe

18-18使用put命令添加數據

18-19刪除數據delete、delete all命令

18-20查看數據scan、get命令

18-21修改數據命令alter

18-22表格刪除方法

18-23其他統計方法

18-24Hbase和Hive集成概述

18-25Hbase和Hive集成方法

18-26使用HQL操作Hbase中數據

18-27Hbase和Spark集成概述

18-28Hbase和Spark集成方法

18-29利用Spark編程讀取Hbase中數據

19章數據倉庫工具Hive

19-1數據倉庫誕生背景與概念介紹

19-2常用數據倉庫工具介紹

19-3分布式數據倉庫工具介紹

19-4Hive核心特性

19-5Hive部署與訪問

19-6Hive常用元數據服務與訪問接口

19-7Hive數據模型

19-8數據存儲結構

19-9Hive API distinct

19-10Hive API multi insert

19-11Hive API union all

19-12Hive API union all

19-13Hive API group by&order by

19-14Hive基本數據類型

19-15Hive復雜數據類型

19-16Hive數據定義方法

19-17創(chuàng)建、修改和刪除表方法

19-18視圖和索引的創(chuàng)建、修改和刪除

19-19表中加載數據的方法

19-20表中導出數據方法

19-21查詢操作

19-22連接操作

19-23子查詢

19-24數據倉庫企業(yè)開發(fā)平臺

19-25數據倉庫模型設計

19-26自助查詢系統設計

19-27寬表設計與用戶畫像

19-28利用Hive進行網站流量分析

20章Spark基本原理與核心組件

20-1分布式計算框架介紹

20-2Spark誕生背景與發(fā)展歷程

20-3Spark基本定位與核心特性

20-4Scala語言介紹：基礎語法、編譯環(huán)境、常用類型、聲明；行、字符、二進制與文本文件的讀取與寫入

20-5Scala 函數：控制結構（賦值、條件、循環(huán)、輸入輸出）與函數（參數與過程）；數組操作（定義、遍歷、轉換）及常用算法

20-6Scala對象操作：的類和對象構造與繼承、重寫、抽象、轉換；類與對象中特質的屬性與使用，包的使用與引入

20-7Spark運行架構

20-8Spark運行基本流程

20-9RDD設計背景與基本概念

20-10RDD特性

20-11RDD之間依賴關系

20-12RDD運行過程

20-13Spark三種部署方式

20-14Spark與Hadoop統一部署

20-15Spark結構化數據模塊Spark SQL

20-16Spark機器學習算法庫Spark MLlib

20-17Spark流式計算框架Spark Streaming

20-18新一代Spark流式計算框架Structured Streaming

20-19Spark圖計算框架GraphX

21章PySpark編程

21-1RDD創(chuàng)建方法

21-2RDD轉換操作

21-3RDD行動操作

21-4RDD惰性機制

21-5RDD持久化操作

21-6打印元素方法

21-7鍵值對RDD創(chuàng)建方法

21-8常用鍵值對轉換操作：reduceByKey、groupByKey、keys、values、sortByKey、mapValues、join等操作

21-9鍵值對RDD編程案例

21-10廣播變量

21-11累加器

21-*********.sql模塊

21-***************ming模塊

21-********k.ml模塊

21-***********llib模塊

21-***************Conf類

21-******************text類

21-****************iles類

21-*********.RDD類

21-*****************ator類

21-***************cast類

22章Spark SQL

22-1Spark SQL與shark

22-2Spark SQL基本設計結構

22-3Spark SQL高級數據結構

22-4高級數據結構DataFrame概念介紹

22-5DataFrame與RDD

22-6DataFrame創(chuàng)建方法

22-7DataFrame常用操作

22-8利用RDD轉化生成DataFrame

22-9利用反射機制推斷RDD模式方法

22-10使用編程方式定義RDD模式

22-11常用外部數據源

22-12Parquet基本介紹

22-13讀寫Parquet方法

22-14讀取MySQL中數據方法

22-15連接Hive讀寫數據方法

23章Spark ML

23-1機器學習入門介紹：機器學習基本思想、常用算法分類、算法庫等

23-2Spark機器學習包ML和MLlib介紹

23-3特征矩陣與標簽數組

23-4評估器與解釋器

23-5特征工程概念介紹

23-6機器學習流概念介紹

23-7MLlib入門介紹

23-8MLlib向量的創(chuàng)建與使用，包括密集向量、稀疏向量、標簽向量等

23-9MLlib矩陣的創(chuàng)建與使用，包括行矩陣、坐標矩陣、本地矩陣等

23-10MLlib基本統計方法：概括統計、相關性、抽樣方法、假設檢驗、核密度估計等

23-11降維操作：PCA主成分分析與SVD奇異值分解

23-12線性回歸分析

23-13邏輯歸回

23-14決策樹和隨機森林

23-15支持向量機SVM

23-16ML機器學習流創(chuàng)建方法

23-17特征抽取、轉化和選擇：TF-IDF、CountVectorizer、Word2Vec

23-18快速聚類算法

23-19協同過濾算法

23-20集成算法

23-21反向傳播神經網絡

23-22SVM支持向量機分類和支持向量機回歸

24章Spark Streaming

24-1流式計算簡介

24-2流式計算核心概念

24-3常用流式計算框架介紹

24-4Spark流式計算框架：Spark Streaming與Structured Streaming

24-5流式計算數據源介紹

24-6常用高級數據源

24-7分布式日志系統Flume介紹與安裝

24-8Flume使用方法

24-9分布式消息系統Kafka介紹與安裝

24-10Kafka使用方法

24-11Kafka和Flume集成

24-12Spark Streaming簡介

24-13Spark Streaming計算框架基本架構

24-14Dstream隊列流基本概念

24-15Spark Streaming與基本數據源集成：文件流、套接字流、RDD隊列流

24-16Spark Streaming與高級數據源集成：Kafka、Flume

24-17 Dstream轉化操作與輸出操作

24-18Structured Streaming簡介

24-19Structured Streaming基本架構與計算流程

24-20DatazFrame創(chuàng)建與轉換

24-21利用Structured Streaming進行流查詢

24-22通過編寫獨立應用使用Structured Streaming

25章GraphX

25-1圖計算基本概念

25-2圖概念

25-3圖處理技術，如圖數據庫、圖數據查詢、圖數據分析、圖數據可視化等

25-4圖計算軟件

25-5屬性圖概念

25-6屬性圖實例

25-7創(chuàng)建屬性圖方法

25-8graphx類介紹

25-9使用RDD構建圖

25-10查看操作列表

25-11屬性操作

25-12結構操作

25-13關聯操作

25-14聚合操作

25-15緩存操作

25-16PageRank算法

25-17連通分支算法

25-18三角形計算算法

26章Flink流處理框架

26-1Flink的重要特點

26-2IDEA 集成開發(fā)環(huán)境

26-3Java基礎及應用:基礎語法、面向對象、異常處理、IO流、注解、反射等

26-4Flink部署

26-5Flink運行架構

26-6Flink 流處理API

26-7Flink中的Window

26-8時間語義與Wartermark

26-9ProcessFunction API

26-10狀態(tài)編程和容錯機制

26-11Table API 與SQL

26-12Flink CEP

27章大數據分析案例（三選二）

27-1數據采集平臺、數倉、離線\\實時分析平臺設計、框架選型、搭建流程及常見問題總結

27-2數據挖掘方法回顧

27-3CRISP-DM方法和SEMMA方法

27-4數據挖掘方法在大數據分析中的實踐應用方法

27-5利用HDFS和Hbase進行簡單數據處理

27-6利用Sqoop完成數據ETL過程

27-7利用數據倉庫工具和Spark SQL進行數據清洗

27-8利用Spark MLlib構建機器學習流進行建模分析

27-9利用PyEcharts進行結果可視化展示

27-10流量：用戶畫像與精細化營銷

27-11產品：產品生命周期管理

27-12活動：KPI檢測體系構建

27-13品牌：品類管理與多位能力模型構建

27-14客戶：客戶細分與用戶畫像

27-15產品：產品生命周期與用戶關系管理

27-16營銷：精準營銷、網絡獲客、客戶維護與客戶生命周期管理

27-17用戶離網分析

27-18客戶價值評估

27-19用戶細分

27-20電信反欺詐模型的構建1章業(yè)務分析基礎技能

1-1數據分析概述

1-2常用高階函數

1-3條件格式應用

1-4數據透視表高階應用

1-5圖表進階

1-6項目排期管理

1-7案例背景介紹

1-8動態(tài)考勤表制作

1-9每月考勤統計

1-10考勤匯總統計

1-11常用指標概述

1-12基礎指標統計

1-13人力資源指標體系概述

1-14案例背景介紹

1-15員工績效評定思路解析

1-16實操績效統計及可視化

1-17案例背景介紹

1-18活動評估報表思路解析

1-19實操活動評估指標統計

1-20指導撰寫報表結論

1-21圖表應用

1-22零碎需求分析方法

1-23案例應用-核心產品分析

1-24案例應用-零售業(yè)商業(yè)智能看板

1-25RFM基礎模型及拓展

1-26案例應用-用戶畫像

1-27樹狀結構分析方法概述

1-28案例應用-汽車行業(yè)分析報告

2章數據庫應用技能

2-1數據庫簡介

2-2表結構的特點

2-3數據庫分類

2-4MySQL簡介

2-5數據庫基本結構

2-6SQL語言分類

2-7SQL書寫要求

2-8創(chuàng)建、使用及刪除數據庫

2-9創(chuàng)建表

2-10數據類型

2-11約束條件

2-12修改及刪除表

2-13插入數據

2-14批量導入數據

2-15更新數據

2-16刪除數據

2-17查詢指定列

2-18查詢不重復記錄

2-19條件查詢

2-20常用運算符

2-21空值查詢

2-22設置別名

2-23模糊查詢

2-24查詢結果排序

2-25限制查詢

2-26聚合運算

2-27分組查詢

2-28分組后篩選

2-29內連接

2-30左連接

2-31右連接

2-32合并查詢

2-33標量子查詢

2-34行子查詢

2-35列子查詢

2-36表子查詢

2-37字符串函數

2-38數學函數

2-39日期和時間函數

2-40分組合并函數

2-41邏輯函數

2-42開窗函數

2-43進階練習

2-44數據來源及業(yè)務背景

2-45表關系梳理

2-46數據導入及字段處理

2-47數據查詢

3章商業(yè)智能分析技能

3-1數據倉庫結構說明

3-2基于數據倉庫的數據處理方法

3-3數據倉庫數據處理進階

3-4數據倉庫應用案例

3-5創(chuàng)建多維數據模型

3-6理解多維模型表連接規(guī)則

3-7業(yè)務數據分析指標介紹

3-8業(yè)務數據匯總分析進階

3-9時間維度分析方法說明

3-10業(yè)務背景介紹

3-11理解及加工處理數據

3-12可視化界面創(chuàng)建方法介紹

3-13制作零售業(yè)銷售情況分析儀

3-14業(yè)務背景介紹

3-15客戶價值模型說明

3-16數據加工處理

3-17制作電商客戶行為分析儀

3-18業(yè)務背景介紹

3-19理解餐飲業(yè)關鍵運營指標

3-20數據加工處理

3-21制作餐飲業(yè)日銷售情況監(jiān)控儀

3-22電商業(yè)務背景介紹

3-23電商流量指標體系說明

3-24數據加工處理

3-25制作電商流量分析儀

3-26業(yè)務背景介紹

3-27進銷存關鍵指標說明

3-28數據加工處理

3-29制作經銷商經營情況分析儀

3-30業(yè)務背景介紹

3-31數據說明

3-32制作車企銷售情況分析儀

3-33由講師介紹業(yè)務背景

3-34由講師提供數據

3-35由學員獨立完成業(yè)務分析儀的制作過程

3-36由學員分組發(fā)表制作成果并由講師點評

4章數據挖掘數學基礎

4-1函數

4-2極限

4-3微分及應用

4-4定積分

4-5向量

4-6線性方程組

4-7線性變化與矩陣

4-8矩陣乘法

4-9行列式

4-10矩陣的秩

4-11逆矩陣

4-12點乘與內積

4-13外積

4-14特征值與特征向量

4-15集中趨勢的度量

4-16離散程度的度量

4-17偏態(tài)與峰態(tài)的度量

4-18統計量概念與常用統計量

4-19抽樣分布

4-20樣本均值的分布與中心極限定理

4-21樣本比例的抽樣分布

4-22兩個樣本平均值之差的分布

4-23樣本方差的分布

4-24假設檢驗的基本概念

4-25一個總體參數的檢驗

4-26兩個總體參數的檢驗

4-27分類數據與X2統計量

4-28擬合優(yōu)度檢驗

4-29列聯分析：獨立性檢驗

4-30線性關系的方向和強度

4-31協方差

4-32相關系數

4-33一元線性回歸模型

4-34多元線性回歸模型

4-35邏輯回歸模型

5章Python編程基礎

5-1Python簡介

5-2Python安裝環(huán)境介紹

5-3Python常用IDE及Jupyter介紹

5-4Python第三方庫安裝

5-5編碼與標識符

5-6Python保留字

5-7注釋和縮進

5-8輸入和輸出

5-9變量及賦值

5-10數值

5-11字符串

5-12布爾值

5-13列表

5-14元組

5-15集合

5-16字典

5-17條件語句: If

5-18循環(huán)語句For和While

5-19Break語句

5-20Continue語句

5-21Pass語句

5-22錯誤和異常捕捉語句

5-23異常和錯誤處理

5-24邏輯判斷函數

5-25數值運算函數

5-26序列函數

5-27類型轉換函數

5-28函數定義

5-29函數參數

5-30默認參數

5-31變量作用域

5-32全局變量和局部變量

5-33匿名函數

5-34列表生成式

5-35高級函數: map、Reduce、 filter等

5-36模塊概念介紹

5-37import模塊導入

5-38自定義模塊

5-39文件讀寫

5-40利用Python操作文件和目錄

5-41類的定義

5-42類對象

5-43類方法

5-44Python連接數據庫方法

5-45利用Python操作數據庫

6章Python數據清洗

6-1NumPy基本介紹

6-2NumPy基本數據結構: Ndarray

6-3數組的索引與切片

6-4數組其他常用函數與方法

6-5Pandas基本數據結構: Series與DataFrame

6-6索引、切片與過濾

6-7排序與匯總

6-8DataFrame簡單處理缺失值方法

6-9數據集的合并與連接

6-10重復值的處理

6-11數據集映射轉化方法

6-12異常值查找與替換

6-13排序和隨機抽樣

6-14DataFrame字符串常用操作

6-15DataFrame分組操作

6-16

6-17 DataFrame聚合操作

6-18DataFrame透視表的創(chuàng)建方法

6-19數據的獲取與存儲

6-20數據探索

6-21數據清洗實戰(zhàn)案例一

6-22數據清洗實戰(zhàn)案例二

7章Python數據可視化

7-1數據可視化入門

7-2常用可視化第三方庫介紹: matplotlib、seaborn、PyEcharts

7-3常用可視化圖形介紹，如餅圖、柱圖、條形圖、線圖散點圖等

7-4圖形選擇

7-5Pandas繪圖方法

7-6圖例配置方法和常用參數

7-7顏色條配置方法和常用參數

7-8subplot多子圖繪制方法

7-9文字與注釋、自定義坐標軸方法

7-10Seaborn入門介紹

7-11Seaborn API介紹

7-12Seaborn繪圖示例

7-13Echarts介紹

7-14PyEcharts API介紹

7-15PyEcharts繪圖示例

8章Python統計分析

8-1數據描述

8-2數據分布與統計信息

8-3數據角色定義

8-4大數據存儲

8-5最小二乘估計

8-6線性回歸與相關

8-7線性回歸與方差分析

8-8數據分析流程

8-9多元線性回歸的假設

8-10正態(tài)分布問題

8-11異方差問題與處理

8-12異常值問題與處理

8-13共線性問題與處理

8-14內生性問題與處理

8-15logistic回歸與卡方

8-16似然估計

8-17logistic回歸解析

8-18評分與預測

8-19分類比例平衡問題

8-20工具變量的使用

8-21啞變量處理

8-22變量篩選

9章機器學習快速入門

9-1機器學習入門介紹：機器學習基本思想、常用算法分類、算法庫等

9-2Python機器學習算法庫Scikit-Learn入門介紹

9-3超參數與模型驗證：學習曲線、網格搜索

9-4特征工程概念介紹

9-5分類特征、文本特征

9-6圖像特征、特征衍生

9-7缺失值填充、特征管道

9-8KNN基本原理

9-9KNN函數詳解

9-10KNN高級數據結構實現

9-11原理補充：歸一化方法、學習曲線、交叉驗證

9-12KNN-最近鄰分類器

9-13KNN算法示例

9-14無監(jiān)督學習與聚類算法

9-15聚類分析概述與簇的概念

9-16距離衡量方法

9-17聚類目標函數和質心計算方法

9-18Scikit-Learn實現K-Means及主要參數解

9-19決策樹工作原理

9-20構建決策樹（ID3算法構建決策樹及局限性）

9-****.5與CART算法

9-22決策樹的Scikit-Learn實現：八個參數、一個屬性、四個接口解析

9-23分類模型的評估指標（混淆矩陣原理）

9-24實例：泰坦尼克號幸存者的預測

9-25過擬合與欠擬合

9-26決策樹算法評價（優(yōu)點與缺點）

9-27決策樹在保險行業(yè)中的應用

10章機器學習進階

10-1線性回歸概述

10-2多元線性回歸基本原理

10-3模型參數求解方法

10-4回歸類模型評價標準:精準性、擬合度

10-5多重共線性與嶺回歸、Lasso

10-6非線性問題及其處理方法

10-7多項式回歸

10-8MSE

10-9R^2

10-10最小二乘法

10-11梯度下降

10-12名為“回歸\"的分類器

10-13二元邏輯回歸的損失函數

10-14邏輯回歸的重要參數

10-15梯度下降求解邏輯回歸最小損失函數

10-16概率分類器概述

10-17樸素貝葉斯概述

10-18不同分布下的樸素貝葉斯

10-19高斯貝葉斯下的擬合效果與運算速度

10-20多項式樸素貝葉斯及其優(yōu)化

10-21AUC

10-22ROC

10-23關聯規(guī)則概述:頻繁項集的產生與

10-24關聯發(fā)現

10-25Apriori算法原理:先驗原理

10-26使用Apriori算法來發(fā)現頻繁項集(生成候選項集(函數的構建與封裝)、項集迭代函數)

10-27協同概率概述

10-28協同過濾算法分類

10-29基于商品的協同過濾

10-30基于協同過濾的商品個性化推薦

10-31集成算法概述Bagging Vs Boosting、集成算法的認識

10-32隨機森林分類器的實現:重要參數、重要屬性和接口

10-33隨機森林回歸器的實現:重要參數、屬性與接口

10-34機器學習中調參的基本思想(泛化誤差)

10-35調參應用:隨機森林在乳腺癌數據上的調參

10-36MSE

10-37R^2

10-38最小二乘法

10-39梯度下降

10-40數據處理概述

10-41數據量綱處理:歸一化、標準化

10-42缺失值處理

10-43分類型數據處理:數據編碼與啞變量

10-44連續(xù)性數據處理:二值化與分箱

10-45特征選擇:過濾法、嵌入法、包裝法

10-46SVM概述: SVM工作原理

10-47SVM模型構建

10-48線性SVM:線性SVM的損失函數、函數間隔有幾何間隔、SVM決策邊界

10-49非線性SVM: SVC模型概述、重要參數、核函數、SVC重要參數(C、class weight)

10-50感知機

10-51多層感知機

10-52初識神經網絡

10-53梯度提升樹概述

10-54XGBoost選擇若分類器

10-55求解目標函數

10-56參數化決策樹

10-57建立目標函數與樹結構的直接關系

10-58貪婪算法與求解優(yōu)樹

10-59XGBoost的剪枝參數:減輕過擬合

10-60XGBoost分類中的樣本不均衡問題處

10-61基于XGboost的航空預測

11章評分卡案例

11-1評分卡業(yè)務邏輯介紹

11-2案例業(yè)務背景介紹

11-3基本分析工具與環(huán)境準備

11-4數據準備

11-5數據預處理

11-6數據比例調節(jié)：過度抽樣

11-7構造訓練集和測試集

11-8變量相關性分析

11-9數據的缺失值與異常值

11-10變量數據類型重編碼

11-11Logistic模型原理回顧

11-12Logistic建模

11-13利用Logistic模型進行變量篩選

11-14分類模型評估指標回顧

11-15過度抽樣調整

11-16收益矩陣

11-17模型轉化評分卡

11-18Python模型部署方法

11-19構建機器學習流

11-20模型效果監(jiān)測與更新

12章電商零售

12-1項目商業(yè)問題簡述

12-2項目策略與方法

12-3項目推薦計劃

12-4項目時間規(guī)劃

12-5購買傾向模型

12-6方法原理介紹

12-7目標以及數據介紹

12-8Python算法實現（Gradient Boosting）

12-9建模結果解讀

12-10購買傾向模型

12-11目標以及數據介紹

12-12Python算法實現

12-13建模結果解讀

12-14活動設計

12-15結果評價

13章Python網絡爬蟲（錄播）

13-1網絡爬蟲定義

13-2網絡爬蟲用途

13-3通用搜索引擎工作的原理和局限性

13-4爬蟲基本原理與流程

13-5常見網絡爬蟲分類

13-6基于IP地址搜索策略

13-7廣度優(yōu)先搜索策略

13-8深度優(yōu)先搜索策略

13-9優(yōu)先搜索策略

13-10http基本原理介紹

13-11http請求過程

13-12網頁組成

13-13HTML：超文本標記語言

13-14CSS：層疊樣式表

13-15網頁樣式

13-16JavaScript(JS)

13-17網頁的結構

13-18爬蟲基本流程

13-19抓取數據的數據類型解析

13-20JavaScript渲染頁面

13-21cookies介紹

13-22爬蟲代理

13-23Robots協議介紹

13-24爬蟲攻防入門

14章Tableau數據分析 （錄播）

14-1Tableau產品介紹

14-2Tableau操作界面介紹

14-3Tableau常用功能介紹

14-4Tableau連接數據源方法

14-5層級與下鉆

14-6排序和分組

14-7創(chuàng)建和使用集

14-8篩選方法：篩選欄和篩選器

14-9數據處理常用參數

14-10參考線與趨勢線

14-11常用預測方法

14-12可視化基本方法

14-13初級圖表繪制方法：條形圖、折線圖、餅圖、文字云、散點圖、地圖、樹形圖、氣泡圖等

14-14高級圖表：子彈圖、環(huán)形圖、瀑布圖、Bump Chart、Table Formatting

14-15使用Tableau制作儀表板

14-16邏輯運算

14-17數值運算

14-18字符串處理函數

14-19日期函數

14-20聚合函數

14-21數據背景和需求分析

14-22數據讀取與預處理

14-23Top N客戶匯總分析

14-24Top N客戶銷售額分析

15章分布式集群架構

15-1大數據概念介紹

15-2Hadoop入門與分布式集群基本概念

15-3Hadoop生態(tài)和及其技術棧

15-4Linux生態(tài)介紹

15-5常用虛擬化工具介紹

15-6常用Linux操作系統

15-7Vmware與VirtualBox

15-8Ubuntu操作系統與CentOS

15-9Ubuntu安裝與常用命令

15-10JDK的安裝與使用

15-11Hadoop安裝與使用

15-12Hadoop單機運行方法

15-13Hadoop偽分布式運行方法

15-14利用多節(jié)點安裝Hadoop集群

15-15Hadoop生態(tài)其他常用組件基本介紹

15-16數據倉庫Hive安裝方法

15-17分布式數據庫Hbase安裝方法

15-18ETL工具Sqoop安裝方法

15-19Scala與Spark安裝方法

16章Hadoop基礎

16-1HDFS概念及設計原理

16-2HDFS體系結構和運行機制

16-3NameNode、DataNode、SecondaryNameNode配置文件及修改方法

16-4HDFS備份機制和文件管理機制

16-5NameNode、DataNode、SecondaryNameNode作用及運行機制

16-6HDFS的常用操作方法介紹

16-7HDFS Java API介紹

16-8HDFS Shell命令格式

16-9HDFS創(chuàng)建文件目錄命令

16-10HDFS文件復制、重命名命令

16-11HDFS文件移動、刪除命令

16-12HDFS其他常用命令

16-13YARN基本概念

16-14YARN相關進程介紹

16-15YARN核心組件及其功能

16-16YARN運行原理

16-17MapReduce概念及設計原理

16-18MapReduce運行過程類的調用過程

16-19Mapper類和Reducer類的繼承機制

16-20Job生命周期

16-21MapReduce中block的調度及作業(yè)分配機制

16-22Mapreduce程序格式介紹

16-23MapReduce程序執(zhí)行流程介紹

16-24MapReduce程序在瀏覽器中查看

16-25Mappre類和Reducer類的主要編寫內容和模式

16-26Job的編寫和實現

16-27MapReduce程序編寫實操

16-28Jar包打包方法和集群運行

17章Sqoop安裝與使用

17-1Sqoop組件介紹與發(fā)展歷史

17-2Sqoop組件特性及核心功能

17-3ETL基本概念

17-4Hadoop生態(tài)中的數據轉化方法

17-5Linux中安裝Sqoop方法

17-6Sqoop集成MySQL方法

17-7Sqoop集成Hbase方法

17-8Sqoop集成Hive方法

17-9Sqoop功能測試

17-10Sqoop導入功能介紹

17-11Sqoop數據導入import命令基本格式

17-12Sqoop數據導入import命令常用參數

17-13利用Sqoop從MySQL中導入數據至HDFS

17-14Sqoop生成相應Java代碼方法codegen

17-15利用Sqoop導入數據至Hive

17-16利用Sqoop導入數據至Hbase

17-17Sqoop導出功能介紹

17-18Sqoop數據導入export命令基本格式

17-19Sqoop數據導入export命令常用參數

17-20從HDFS中導出數據到MySQL

17-21從Hive導出數據到MySQL

17-22從Hbase導出數據到MySQL

18章分布式數據倉庫Hbase

18-1分布式數據庫和關系型數據庫

18-2No-SQL數據庫與面向列數據庫特性講解

18-3Hbase發(fā)展歷史

18-4Hbase核心特性

18-5Hbase在Linux中的安裝方法

18-6Hbase配置文件與修改方法

18-7Hbase與Zookeeper集成

18-8Hbase完全分布式安裝與運行

18-9簡單備份模式

18-10Hbase邏輯模型

18-11Hbase物理模型

18-12paxos算法與運行機制

18-13靜態(tài)遷移與動態(tài)遷移

18-14Hbase基本操作方法

18-15Hbase Shell通用命令General

18-16表格創(chuàng)建命令Create

18-17常用查看命令list、describe

18-18使用put命令添加數據

18-19刪除數據delete、delete all命令

18-20查看數據scan、get命令

18-21修改數據命令alter

18-22表格刪除方法

18-23其他統計方法

18-24Hbase和Hive集成概述

18-25Hbase和Hive集成方法

18-26使用HQL操作Hbase中數據

18-27Hbase和Spark集成概述

18-28Hbase和Spark集成方法

18-29利用Spark編程讀取Hbase中數據

19章數據倉庫工具Hive

19-1數據倉庫誕生背景與概念介紹

19-2常用數據倉庫工具介紹

19-3分布式數據倉庫工具介紹

19-4Hive核心特性

19-5Hive部署與訪問

19-6Hive常用元數據服務與訪問接口

19-7Hive數據模型

19-8數據存儲結構

19-9Hive API distinct

19-10Hive API multi insert

19-11Hive API union all

19-12Hive API union all

19-13Hive API group by&order by

19-14Hive基本數據類型

19-15Hive復雜數據類型

19-16Hive數據定義方法

19-17創(chuàng)建、修改和刪除表方法

19-18視圖和索引的創(chuàng)建、修改和刪除

19-19表中加載數據的方法

19-20表中導出數據方法

19-21查詢操作

19-22連接操作

19-23子查詢

19-24數據倉庫企業(yè)開發(fā)平臺

19-25數據倉庫模型設計

19-26自助查詢系統設計

19-27寬表設計與用戶畫像

19-28利用Hive進行網站流量分析

20章Spark基本原理與核心組件

20-1分布式計算框架介紹

20-2Spark誕生背景與發(fā)展歷程

20-3Spark基本定位與核心特性

20-4Scala語言介紹：基礎語法、編譯環(huán)境、常用類型、聲明；行、字符、二進制與文本文件的讀取與寫入

20-5Scala 函數：控制結構（賦值、條件、循環(huán)、輸入輸出）與函數（參數與過程）；數組操作（定義、遍歷、轉換）及常用算法

20-6Scala對象操作：的類和對象構造與繼承、重寫、抽象、轉換；類與對象中特質的屬性與使用，包的使用與引入

20-7Spark運行架構

20-8Spark運行基本流程

20-9RDD設計背景與基本概念

20-10RDD特性

20-11RDD之間依賴關系

20-12RDD運行過程

20-13Spark三種部署方式

20-14Spark與Hadoop統一部署

20-15Spark結構化數據模塊Spark SQL

20-16Spark機器學習算法庫Spark MLlib

20-17Spark流式計算框架Spark Streaming

20-18新一代Spark流式計算框架Structured Streaming

20-19Spark圖計算框架GraphX

21章PySpark編程

21-1RDD創(chuàng)建方法

21-2RDD轉換操作

21-3RDD行動操作

21-4RDD惰性機制

21-5RDD持久化操作

21-6打印元素方法

21-7鍵值對RDD創(chuàng)建方法

21-8常用鍵值對轉換操作：reduceByKey、groupByKey、keys、values、sortByKey、mapValues、join等操作

21-9鍵值對RDD編程案例

21-10廣播變量

21-11累加器

21-*********.sql模塊

21-***************ming模塊

21-********k.ml模塊

21-***********llib模塊

21-***************Conf類

21-******************text類

21-****************iles類

21-*********.RDD類

21-*****************ator類

21-***************cast類

22章Spark SQL

22-1Spark SQL與shark

22-2Spark SQL基本設計結構

22-3Spark SQL高級數據結構

22-4高級數據結構DataFrame概念介紹

22-5DataFrame與RDD

22-6DataFrame創(chuàng)建方法

22-7DataFrame常用操作

22-8利用RDD轉化生成DataFrame

22-9利用反射機制推斷RDD模式方法

22-10使用編程方式定義RDD模式

22-11常用外部數據源

22-12Parquet基本介紹

22-13讀寫Parquet方法

22-14讀取MySQL中數據方法

22-15連接Hive讀寫數據方法

23章Spark ML

23-1機器學習入門介紹：機器學習基本思想、常用算法分類、算法庫等

23-2Spark機器學習包ML和MLlib介紹

23-3特征矩陣與標簽數組

23-4評估器與解釋器

23-5特征工程概念介紹

23-6機器學習流概念介紹

23-7MLlib入門介紹

23-8MLlib向量的創(chuàng)建與使用，包括密集向量、稀疏向量、標簽向量等

23-9MLlib矩陣的創(chuàng)建與使用，包括行矩陣、坐標矩陣、本地矩陣等

23-10MLlib基本統計方法：概括統計、相關性、抽樣方法、假設檢驗、核密度估計等

23-11降維操作：PCA主成分分析與SVD奇異值分解

23-12線性回歸分析

23-13邏輯歸回

23-14決策樹和隨機森林

23-15支持向量機SVM

23-16ML機器學習流創(chuàng)建方法

23-17特征抽取、轉化和選擇：TF-IDF、CountVectorizer、Word2Vec

23-18快速聚類算法

23-19協同過濾算法

23-20集成算法

23-21反向傳播神經網絡

23-22SVM支持向量機分類和支持向量機回歸

24章Spark Streaming

24-1流式計算簡介

24-2流式計算核心概念

24-3常用流式計算框架介紹

24-4Spark流式計算框架：Spark Streaming與Structured Streaming

24-5流式計算數據源介紹

24-6常用高級數據源

24-7分布式日志系統Flume介紹與安裝

24-8Flume使用方法

24-9分布式消息系統Kafka介紹與安裝

24-10Kafka使用方法

24-11Kafka和Flume集成

24-12Spark Streaming簡介

24-13Spark Streaming計算框架基本架構

24-14Dstream隊列流基本概念

24-15Spark Streaming與基本數據源集成：文件流、套接字流、RDD隊列流

24-16Spark Streaming與高級數據源集成：Kafka、Flume

24-17Dstream轉化操作與輸出操作

24-18Structured Streaming簡介

24-19Structured Streaming基本架構與計算流程

24-20DatazFrame創(chuàng)建與轉換

24-21利用Structured Streaming進行流查詢

24-22通過編寫獨立應用使用Structured Streaming

25章GraphX

25-1圖計算基本概念

25-2圖概念

25-3圖處理技術，如圖數據庫、圖數據查詢、圖數據分析、圖數據可視化等

25-4圖計算軟件

25-5屬性圖概念

25-6屬性圖實例

25-7創(chuàng)建屬性圖方法

25-8graphx類介紹

25-9使用RDD構建圖

25-10查看操作列表

25-11屬性操作

25-12結構操作

25-13關聯操作

25-14聚合操作

25-15緩存操作

25-16PageRank算法

25-17連通分支算法

25-18三角形計算算法

26章Flink流處理框架

26-1Flink的重要特點

26-2IDEA 集成開發(fā)環(huán)境

26-3Java基礎及應用:基礎語法、面向對象、異常處理、IO流、注解、反射等

26-4Flink部署

26-5Flink運行架構

26-6Flink 流處理API

26-7Flink中的Window

26-8時間語義與Wartermark

26-9ProcessFunction API

26-10狀態(tài)編程和容錯機制

26-11Table API 與SQL

26-12Flink CEP

27章大數據分析案例（三選二）

27-1數據采集平臺、數倉、離線\\實時分析平臺設計、框架選型、搭建流程及常見問題總結

27-2數據挖掘方法回顧

27-3CRISP-DM方法和SEMMA方法

27-4數據挖掘方法在大數據分析中的實踐應用方法

27-5利用HDFS和Hbase進行簡單數據處理

27-6利用Sqoop完成數據ETL過程

27-7利用數據倉庫工具和Spark SQL進行數據清洗

27-8利用Spark MLlib構建機器學習流進行建模分析

27-9利用PyEcharts進行結果可視化展示

27-10流量：用戶畫像與精細化營銷

27-11產品：產品生命周期管理

27-12活動：KPI檢測體系構建

27-13品牌：品類管理與多位能力模型構建

27-14客戶：客戶細分與用戶畫像

27-15產品：產品生命周期與用戶關系管理

27-16營銷：精準營銷、網絡獲客、客戶維護與客戶生命周期管理

27-17用戶離網分析

27-18客戶價值評估

27-19用戶細分

27-20電信反欺詐模型的構建