【培訓對象】
技術人員

【培訓收益】
了解大數據概念及應用

 課時一：概念綜述

1、 大數據的定義由來和原因

2、 大數據的6V特征

3、 從數據庫，數據倉庫到大數據

4、 大數據相關技術和處理

 

課時二：Hadoop生態圈、spark生態圈、搜索引擎概述

1、 hadoop：HDFS、Map-Reduce、Hbase、Hive等

2、 spark：scala、spark-SQL、spark-Streaming等

3、 搜索引擎：lucene（solr）、ES

4、 并發的機器學習工具：R-hadoop、spark-MLLIB、 spark-R、pyspark

 

課時三：存儲在hbase中的數據

1、 NoSQL（key-value）

2、 Hbase：安裝

3、 行鍵與列簇

4、 如何利用Hbase的特點存儲數據

5、 應用程序如何訪問Hbase中的數據

6、 數據遷移：sqoop

7、 Hbase的應用場景

 

課時四：Hive：為用SQL的開發者留的活路

1、 Hive：安裝（單用戶與多用戶）

2、 Hive：基本操作

3、 Hive：與典型的關系型數據庫的區別

4、 如果“想慢”，你可以這樣…（不恰當使用hive的案例介紹）

5、 Hive的應用場景

 

課時五：Spark各組件在衛生領域的應用

1、 Hadoop最大的特點是什么？

2、 Spark概述與安裝

3、 Scala：你可以一直“點”下去

4、 RDD：“映射”、“轉換”解決一切

5、 spark-SQL

6、 spark-streaming

7、 spark的其他組件

8、 應用場景

 

課時六：機器學習算法介紹—I

1、 綜述（人工智能、數據挖掘、機器學習、機器智能、大數據：這些詞的確切含義）

2、 監督學習、無監督學習與強化學習

3、 工具：R、Python等

4、 決策樹詳解（熵、貪心法、連續的和離散的）

5、 神經網絡詳解（神經元、激勵函數、前饋神經網絡的BP算法，其他神經網絡）

 

課時七：機器學習算法介紹—II

1、 關聯規則詳解（頻繁項集、Apriori、支持度、置信度）

2、 聚類詳解（k-means、k-medoid）

常見算法的簡述（Naïve-Bayes、k-NN、HMM、SVM等）

 

葉梓，上海交通大學計算機專業博士畢業，高級工程師。主研方向：數據挖掘、機器學習、人工智能。歷任國內知名上市IT企業的AI技術總監、資深技術專家，市級行業大數據平臺技術負責人。

 

長期負責城市信息化智能平臺的建設工作，開展行業數據的智能化應用研發工作，牽頭多個省級、市級行業智能化信息系統的建設，主持設計并搭建多個省級、市級行業大數據平臺。參與國家級人工智能課題，牽頭上海市級人工智能示范應用課題研究。

 

帶領團隊在相關行業領域研發多款人工智能創新產品，成功落地多項大數據、人工智能前沿項目，其中信息化智能平臺項目曾榮獲：“上海市信息技術優秀應用成果獎”。帶領團隊在參加國際NLP算法大賽，獲得Top1%的成績。參與國家級、省級大數據技術標準的制定，曾獲省部級以上的科技創新一等獎。

 

1.      論文發表/項目經歷

在國內外期刊、會議中發表論文27篇，其中被SCI/EI收錄4篇

 

項目經歷：

l  上海市城市信息化人工智能項目 項目負責人

ü  研發智能服務系統，包括：元宇宙與虛擬數字人、基于人工智能的內容生成（AIGC）、基于NLP技術的對話系統、基于深度學習的圖像識別系統、基于智能推理的行業推薦系統。

相關工作：

作為項目總負責，負責項目管理、產品研發、系統分析、技術指導、算法指導等。

 

l  上海市城市智能信息化工程 總工程師

ü  采用大數據技術，建設市級信息平臺，完成試點單位接入并采集居民相關信息，實現市級平臺檔案等服務，并實現所有單位的全面接入。

ü  為解決超量數據的存儲與計算的問題，搭建了存儲全市數據的云計算平臺，并在其上進行了基于大數據的分析和挖掘工作。

相關工作：

作為總工程師，負責技術管理、系統分析、云平臺數據存儲設計、數據分析與挖掘指導、開發指導。

 

l  上海市城市信息化領域智能聯網工程 技術經理

ü  建設內容包括：接入單位的聯網；智能卡的實現；城市信息化智能平臺的升級；科研平臺的擴展與升級；建立決策支持系統；評估體系的展示設計；短信平臺的實現；違規操作的提醒；協同智能服務平臺的實現等。

相關工作：

作為技術經理負責總體架構設計、接口設計、大數據平臺設計、AI技術指導等。

 

 

3. 主攻方向

具有扎實的數據挖掘、機器學習、深度學習等人工智能理論基礎；了解AIGC等技術前沿動態。

精通機器學習、深度學習的理論、模型、算法、調優等；精通算法設計；

熟悉深度學習在自然語言處理、計算機視覺兩大核心領域的實用技巧；

15年以上的程序開發經驗，熟悉常用程序開發架構，獨立完成多個產品級軟件的設計與開發。

 

• 大數據及人工智能背景下消費和小微信貸線上獲客、產品設計、風控應對策略

   

  第一部分：金融科技發展狀況的介紹一、金融科技的現狀與發展趨勢（一）宏觀背景1、金融科技（支付寶人臉識別技術、APPLEPAY、虹膜技術、二維碼支付技術）2、利率市場化3、金融脫媒（二）移動互聯技術的發展使互聯網金融成為可能1、移動互聯網技術2、移動支付技術3、H5、APP（三）互聯網金融對傳統銀行資產業務的顛覆和沖..

  ￥   元/ 天

  人氣：867  

  

• 大數據時代——提升患者管理，構建專業藥房

   

  【課程導言】：移動互聯時代下，實體門店面臨巨大的挑戰，同時也是一種機會。馬云說：不是實體門店不行了，而是你的實體門店不行了。面臨新的沖擊實體店如何進行創新，如何守住老陣地，如何利用新武器，這是所有實體連鎖共同面臨的問題。課程從互聯網環境對我們的實體店挑戰和我們面臨的消費者消費習慣和方式的的變化入手，通過分析新零售良品鋪子，海瀾之家，名創優品的..

  ￥   元/ 天

  人氣：706  

  

• 電商互聯網大數據營銷之落地實踐鐵律

   

  課程背景：未來人貨場一切數字化，數據將成為一種資源，沒有數據沒有未來，企業如何構建自己的大數據未來？人工智能已經來臨，人工智能在營銷板塊的應用本質就是大數據營銷！企業的ERP、CRM、報表等等僅僅是零散的死數據，如何激活流動產生閉環，產生效益？經驗將成為負債，未來將利用數據產品規劃、定位、策劃、人群分析、活動策劃，數據成為商業的起點！人為..

  ￥19,100   元/ 天

  人氣：1210  

  

• 電商互聯網智能商業：大數據營銷分析與落地實踐

   

  課程背景：數據是未來企業唯一資源，大數據營銷意味著高效、精準、成本低、全自動化，讓企業從人海戰、廣告戰、渠道戰的泥潭中拔出來為什么搜索廣告效果差了？為什么團購效果也差了？為什么傳統的用戶細分、STP在大數據提出的用戶畫像面前蒼白了？為什么獨角獸全靠增長黑客模式崛起？企業未來如何搭建科學的大數據營銷隊伍，建立科學的數字營銷體！通過互動獲取數據，..

  ￥19,100   元/ 天

  人氣：1508  

  

• 大數據基礎原理與應用

   

  一、運營商網絡架構和技術選擇1.運營商網絡架構2.運營商業務類型3.接入網技術選擇4.不同業務的技術實現二、全業務運營技術實現1.集團業務分類及特點2.集團高等級業務特點及業務場景3.集團低等級業務特點及業務場景4.集團高、低等級業務要求及技術選擇5.數據專線業務及技術實現6.互聯網專線業務及技術實現7.集..

  ￥   元/ 天

  人氣：1025  

  

• 大數據、物聯網、云計算行業應用及發展趨勢

   

  一、信息通信產業發展的背景和趨勢1、信息通信產業用戶現狀和發展趨勢2、國內外信息化發展戰略3、中國信息化發展現狀和趨勢4、信息通信網絡發展趨勢5、電信業轉型新趨勢二、ICT前沿技術(一)云計算1、云計算發展的商業動力與技術趨勢1.1云計算基本概念1.2云計算的商業動力：企業ICT轉型1.3云計算特點..

  ￥   元/ 天

  人氣：1117