大數(shù)據(jù)建模、分析、挖掘技術(shù)應(yīng)用研修班的通知

隨著2015年9月國務(wù)院發(fā)布了《關(guān)于印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動綱要的通知》，各類型數(shù)據(jù)呈現(xiàn)出了指數(shù)級增長，數(shù)據(jù)成了每個組織的命脈。今天所產(chǎn)生的數(shù)據(jù)比過去幾年所產(chǎn)生的數(shù)據(jù)大好幾個數(shù)量級，企業(yè)有了能夠輕松訪問和分析數(shù)據(jù)以提高性能的新機(jī)會，如何從數(shù)據(jù)中獲取價值顯得尤為重要，也是大數(shù)據(jù)相關(guān)技術(shù)急需要解決的問題。大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。數(shù)據(jù)建模不僅僅是任意組織數(shù)據(jù)結(jié)構(gòu)和關(guān)系，還必須與最終用戶的需求和問題聯(lián)系起來，并提供指導(dǎo)，幫助確保正確的數(shù)據(jù)正確使用正確的方法獲得正確的結(jié)果。

為響應(yīng)科研及工作人員需求，根據(jù)《國務(wù)院關(guān)于推行終身職業(yè)技能培訓(xùn)制度的意見》提出的“緊跟新技術(shù)、新職業(yè)發(fā)展變化，建立職業(yè)分類動態(tài)調(diào)整機(jī)制，加快職業(yè)標(biāo)準(zhǔn)開發(fā)工作”要求，特舉辦“大數(shù)據(jù)建模、分析、挖掘技術(shù)應(yīng)用研修班”。本次培訓(xùn)采用實(shí)戰(zhàn)培訓(xùn)模式。

2022年3月10日 — 2022年3月14日 北京(同時轉(zhuǎn)線上直播)

聯(lián)系人：任老師 13331040142

一、大數(shù)據(jù)概述

1.大數(shù)據(jù)及特點(diǎn)分析

2.大數(shù)據(jù)關(guān)健技術(shù)

3.大數(shù)據(jù)計(jì)算模式

4.大數(shù)據(jù)應(yīng)用實(shí)例

二、大數(shù)據(jù)處理架構(gòu)Hadoop

1.Hadoop項(xiàng)目結(jié)構(gòu)

2.Hadoop安裝與使用

3.Hadoop集群的部署與使用

4.Hadoop 代表性組件

三、分布式文件系統(tǒng)HDFS

1.HDFS體系結(jié)構(gòu)

2.HDFS存儲

3.HDFS數(shù)據(jù)讀寫過程

四、分布式數(shù)據(jù)庫HBase

1.HBase訪問接口

2.HBase數(shù)據(jù)類型

3.HBase實(shí)現(xiàn)原理

4.HBase運(yùn)行機(jī)制

5.HBase應(yīng)用

五、MapReduce

1.MapReduce體系結(jié)構(gòu)

2.MapReduce工作流程

3.資源管理調(diào)度框架YARN

4.MapReduce應(yīng)用

六、Spark

1.Spark生態(tài)與運(yùn)行架構(gòu)

2.Spark SQL

3.Spark部署與應(yīng)用方式

案例：

1.Python Spark 安裝

2.本地運(yùn)行pyspark程序

3.在Hadoop YARN 運(yùn)行pyspark

4.Spark Web UI

七、IPython Notebook運(yùn)行Python Spark程序

1.Anaconda

2.IPython Notebook使用Spark

3.使用IPython Notebook在Hadoop YARN模式運(yùn)行

案例：

1.在不同模式運(yùn)行IPython Notebook運(yùn)行Python Spark命令

2.Python 程序開發(fā)

八、Python Spark集成開發(fā)環(huán)境

1.Python Spark集成開發(fā)環(huán)境部署配置

2.Spark數(shù)據(jù)分析庫MLlib的開發(fā)部署

九、Python Spark決策樹二分類與多分類

1.決策樹原理

2.大數(shù)據(jù)問題

3.決策樹二分類

4.決策樹多分類

案例：

1.搜集數(shù)據(jù)

2.數(shù)據(jù)準(zhǔn)備：導(dǎo)入并轉(zhuǎn)換數(shù)據(jù)、提取特征字段、提取標(biāo)簽

3. Python Spark建模，訓(xùn)練模型

4.預(yù)測數(shù)據(jù)

5.評估數(shù)據(jù)，給出評價指標(biāo)并得到評估結(jié)果

十、Python Spark支持向量機(jī)

1.支持向量機(jī)SVM 原理與算法

2.Python Spark SVM程序設(shè)計(jì)

案例：

1.數(shù)據(jù)準(zhǔn)備

2.建立SVM模型，訓(xùn)練模型

3.評估參數(shù)并找出最優(yōu)參數(shù)

4.根據(jù)模型進(jìn)行預(yù)測

十一、Python Spark 貝葉斯模型

1.樸素貝葉斯模型原理

2.Python Spark貝葉斯模型程序設(shè)計(jì)

案例：

1.建模貝葉斯模型，并進(jìn)行對參數(shù)估計(jì)

2.訓(xùn)練模型，得到最優(yōu)參數(shù)

3.根據(jù)模型進(jìn)行預(yù)測

十二、Python Spark邏輯回歸

1.邏輯回歸原理

2.Python Spark邏輯回歸程序設(shè)計(jì)

案例：

1.Python Spark邏輯回歸建模

2.根據(jù)模型進(jìn)行分類

十三、Python Spark回歸分析

1.大數(shù)據(jù)分析

2.數(shù)據(jù)集介紹

3.Python Spark回歸程序設(shè)計(jì)

案例：

1.數(shù)據(jù)準(zhǔn)備

2.訓(xùn)練回歸模型

3.建立評估指標(biāo)

4.訓(xùn)練回歸模型，并找到最優(yōu)參數(shù)

5.根據(jù)模型進(jìn)行預(yù)測

十四、Spark ML Pipeline 機(jī)器學(xué)習(xí)流程分類

1.機(jī)器學(xué)習(xí)流程組件：StringIndexer、OneHotEncoder、VectorAssembler等

2.使用Spark ML Pipeline 機(jī)器學(xué)習(xí)流程分類程序設(shè)計(jì)

案例：

1.數(shù)據(jù)準(zhǔn)備

2.建立機(jī)器學(xué)習(xí)Pipeline流程

3.使用Pipeline流程訓(xùn)練

4.使用PipelineModel預(yù)測

5.評估模型準(zhǔn)備率

審核編輯：湯梓紅