進入大數(shù)據(jù)的真實世界-數(shù)據(jù)挖掘入門和應用

課程背景

時移而勢變，互聯(lián)網(wǎng)帶來了“大數(shù)據(jù)（BigData）”的爆發(fā)，企業(yè)和個人被卷入了新的數(shù)字化洪流。你的客戶、你的員工已經(jīng)被悄無聲息的改變，工業(yè)時代的致勝秘籍和戰(zhàn)略空間已經(jīng)不再繼續(xù)有效，大數(shù)據(jù)給我們帶來了新的價值創(chuàng)造方式。

目前，市面上流行的大數(shù)據(jù)培訓一部分側重于實現(xiàn)算法和公式推導，適合編程人士學習，但過于晦澀，需要較高的學歷基礎，另外一部分側重于創(chuàng)新理念和案例介紹，適合普及概念，但缺乏實戰(zhàn)性，不利于深度的理解和把握，無法為我所用。

為了彌補這些不足，融業(yè)務和技術創(chuàng)新于一體，林海老師根據(jù)長時間的理論和實踐經(jīng)驗，開發(fā)了本門課程，將會帶給學員全新的知識體驗，啟發(fā)自己的大數(shù)據(jù)思維，獲得大數(shù)據(jù)算法的框架和使用指引，可以在工作中靈活運用，幫助企業(yè)洞察問題、發(fā)現(xiàn)規(guī)律和改進方向，并能夠運用所學知識，結合公司實際情況，再造自己的數(shù)字化業(yè)務。

主要話題

數(shù)據(jù)分析思維的“破”與“立”

世界認知的重構：數(shù)據(jù)分析的模型和算法

數(shù)據(jù)分析實戰(zhàn)：從代碼中觀測世界的變化

創(chuàng)新：“始”于問題，庖丁解牛、“終”于解決

課程大綱

第一單元 思維轉變：從報表統(tǒng)計思維進入數(shù)據(jù)分析思維

一、 入門：數(shù)據(jù)是對“事實”的觀測

二、 轉變：數(shù)據(jù)思維意味著什么

1、主動找數(shù)據(jù)變?yōu)楸粍油扑]

2、抽樣數(shù)據(jù)變?yōu)槿瘮?shù)據(jù)

3、要求精確變?yōu)闅g迎復雜

4、事后分析變?yōu)閷崟r監(jiān)控

5、專家分析變?yōu)闄C器學習

6、由流程為核心變?yōu)橐詳?shù)據(jù)為核心

7、由客戶分類變?yōu)閭€性化服務

8、由人與人連接變?yōu)槿伺c機器連接

第二單元 認知重構：進入模型和算法統(tǒng)治的世界

一、數(shù)據(jù)分析三大核心模型

1、分類：真與假；好與壞；高、中、低。不會分類，就不會思考

2、預測：輸入變量，求得結果。代表了掌握規(guī)律的能力，生活是可預知的

3、相關性：模糊、近似、有關，是一種簡便的、粗略的全盤操控能力

二、五大初級算法

1、相關性分析：最入門、最常用、最剛需的分析方法

2、散點圖分析：最被忽略的探索性分析方法

3、概覽性分析：教科書上都不重視的全局總覽的分析方法

4、回歸分析：最容易理解的由x推導出y的方程式分析法

5、聚類分析：最粗暴的物以類聚人以群分的分析方法

三、六大中級算法

1、降維分析：數(shù)據(jù)太多，抓住主要數(shù)據(jù)的方法

2、決策樹分析：最容易理解的決策分析

3、關聯(lián)規(guī)則分析：貌似沒有規(guī)模，卻可以尋找一個規(guī)律

4、相似性分析：當前最熱門的分析方法，如：人臉識別、指紋識別

5、可視化分析：河流圖、風向圖、熱力圖等各種別具一格的數(shù)據(jù)呈現(xiàn)方式

6、文本分析：從大量的文字中快速提取關鍵信息

四、兩大大數(shù)據(jù)高級算法

1、神經(jīng)網(wǎng)絡算法：最牛逼的模擬大腦的算法，如埃爾法狗圍棋

2、支持向量機算法：實用性和準確性較強的一個機器學習算法

第三單元 操作實戰(zhàn)：從代碼中觀測到的“真實”世界

一、學會用數(shù)據(jù)分析創(chuàng)新性的解決問題

1、What：問題是什么

2、Judgement：能用數(shù)據(jù)分析解決嗎

3、Prerequisite：具備數(shù)據(jù)基礎嗎

4、ModelSelect：選擇哪個模型

5、Visualization：怎么呈現(xiàn)結果

6、Design：設計流程，形成文檔

二、學會用代碼去測試和逼近真相

1、數(shù)據(jù)獲取（導入數(shù)據(jù)、爬取數(shù)據(jù)）

2、數(shù)據(jù)探索分析、概覽分析

3、明確分析目的

4、選擇x和y

5、對格式進行轉換

6、選擇模型（模型選擇準則）

7、使用交叉驗證規(guī)則，切分數(shù)據(jù)

8、用模型進行訓練

9、分析模型預測結果

10、確定最優(yōu)模型

11、使用和預測

12、報告和呈現(xiàn)