顯示具有 資料視覺化 標籤的文章。 顯示所有文章
顯示具有 資料視覺化 標籤的文章。 顯示所有文章

2017年3月5日 星期日

2017年台灣巨量資料(大數據)、資料科學家相關課程


很快的新的一年又開始了,筆者已經持續整理資料科學相關課程長達三年,今年也一樣整理相關課程與上課時間給有需要的朋友查詢。


工研院

資策會

中國生產力中心

三星課程網

臺灣資料科學協會


筆者整理這幾年來有發現一些心得,關於大數據或資料科學家課程,有越來越多元化的趨勢,另外除了資策會與工研院有長期開課之外,有不少新的公司或團體也有類似的課程出現,像是臺灣資料科學協會、中國生產力中心、三星課程網。

以上 如有遺漏 歡迎留言告知。



歷年資料參考:

2016年7月17日 星期日

「2016 台灣資料科學愛好者年會」精彩資料總整理(持續更新中)




這幾天(2016/7/14 ~ 2016/7/17)資料科學界在台灣最重要的活動,莫過於2016 台灣資料科學愛好者年會,這已經是每年在台灣資料科學界最大的活動之一,今年的票也是不到一小時就幾乎賣光,對這個活動的歷史有興趣的朋友們可以參考「2015年」、「2014年」,今年的主題相較去年,更有趣,更多元、更多產業上的案例。

除此之外,筆者也發現贊助的公司也變得相當的多,今年贊助公司包含國泰人壽、東森信息科技股份有限公司、玉山金控、funP 雲沛創新集團、HTC、台灣 IBM、新加坡商鈦坦科技 TITANSOFT、潮網科技、Vpon 威朋、宇匯知識、勤業眾信、遊戲橘子、GMobi通用移動、Google、艾肯娛樂、宣捷生物科技、MIGO 功典、Mozilla TW、天氣風險、琅茶,從中我們可以發現不只資訊公司,也包含其他產業的公司,像是生物研究、天氣、會計,甚至是金融業都來加入,整體上台灣資料科學發展的凝聚力,在今年又更上一層樓。


今年筆者一樣秉持著自己也是資料科學愛好的一份子,將今年的資料科學活動內容整理如下,供自己與有興趣的朋友們參考:


  1. 2016台灣資料科學年會開場投影片
  2. Riot Games Head of Data Science
  3. 用數據解決都會城市的停車問題
  4. 隨機對照實驗在公共領域的應用
  5. 數據分析在運輸管理之應用
  6. 大數據下的情緒分析
  7. 一個賭徒的告白 2:交易策略建構與分析,為何你該賭小一點?
  8. 從薪酬制度讀 CEO 的行為心理學 
  9. 自己的空氣品質自己量 : 談參與式環境感測的機會與挑戰
  10. 如何備料:資料的抓取、清理以及串接
  11. 黃從仁/心理與行為資料中的因與果
  12. 資料科學與防疫應用的結合 : 以登革熱防治為例
  13. 資料分析前的奏曲 : 談資料收集的挑戰
  14. How to approach data science problems from start to end
  15. 未來城市的任意門 (Mobility on Demand for Future Cities)
  16. 人類行為訊號處理 : 跨學科 (醫療、教育、心理) 應用實例分享、心得、展望
  17. 從手機解讀行為與心理
  18. Crowd Computing for Big and Deep AI
  19. 智慧型工程管考系統 : 資料分析經驗談
  20. 音樂資料檢索
  21. 當語音處理遇上深度學習
  22. 公私協力的公共服務 - 以資料面詮釋
  23. 從電腦視覺看人工智慧 : 下一件大事
  24. 我在智慧交通資料解析的失敗歷程
  25. It's Not What You Say: It's How You Say It!
  26. 貓都學得會的手機維修資料分析
  27. The Growth of a Data Scientist
  28. Practical Issues in Machine Learning
  29. 沒有大數據怎麼辦 ? 會計師事務所的小數據科學
  30. Feature Engineering in Machine Learning
  31. 漫談 R 的學習挑戰與 R 語言翻轉教室
  32. 娛樂產業中的資料科學家 : 談資料科學於線上遊戲與職業運動之應用
  33. 空間數據分析推動精準新農業
  34. 世代之爭爭什麼 ? 談談如何從調查資料挖掘出豐厚的意義
  35. 資料視覺化的 20 個小訣竅
相關新聞:
其他相關資訊:

2016年1月26日 星期二

2016年台灣巨量資料(大數據)、資料科學家相關課程 (更新時間2016.07.17)


很快的新的一年又開始了,筆者已經持續整理資料科學相關課程長達兩年,今年也一樣整理相關課程與上課時間給有需要的朋友查詢。



工研院
資策會
MIC產業顧問學院
三星課程網
木刻思
東吳大學



歷年資料參考:


2015年11月13日 星期五

R語言從「初學」到「進階」到「跨界」的32本書籍推薦


R語言一直是數據分析界的熱門語言,也因此R語言相關的書籍也相當的多。筆者在學R的過程也看過許多R語言的書籍,筆者也收集相當多的R書籍,但大多參差不齊,有些寫得很好,有些則寫的較為艱澀,最近看到網路上大家在討論由淺入深的學習參考書籍,因此筆者也想做個小整理,包括初級、中級、高級,以及相關領域,內容如下:

[初級]

適合完全不懂R看的書,前三本都是值得參考。
[中級]

適合對R有初步認識的讀者,前三本都是值得參考。
[高級]

想挑戰R的技術的讀者,三本都非常推薦。
  • Advanced R
    • 這本書提了很多R進階的撰寫技巧,作者目前是RStudio首席資料科學家。
  • Statistical Computing in C++ and R
    • 畢竟R還是高階語言,許多效率的改善還是要去參考C++跟R整合的部分。
  • R Packages
    • 這本書是介紹如何撰寫R Packages的技巧,以及R套件與R核心整合的內容,適合非常熟悉R並且想開發R套件的讀者,與Advanced R是同一個作者。
[資料視覺化]
[網站應用]
[統計學]
[計量經濟學、金融]


[資料探勘]
[機器學習]

[資料科學]
[空間資料]
[市場研究]


其他領域結合R的書也歡迎推薦。

2015年9月23日 星期三

60本免費的資料科學書籍



資料科學(Data Science)這個名詞是近幾年非常流行的概念,它其實講的是跨領域(Interdisciplinary)的組成,這些學科包含如下:
  1. 數學 (Mathematics)
  2. 統計 (Statistics)
  3. 化學計量學 (Chemometrics)
  4. 資訊科學 (Information Science)
  5. 電腦科學 (Computer Science)
  6. 機率學 (Probability Theory)
  7. 機器學習 (Machine Learning)
  8. 統計學習 (Statistical Learning)
  9. 資料探勘 (Data Mining)
  10. 資料庫 (Database)
  11. 資料工程 (Data Engineering)
  12. 模式識別 (Pattern Recognition)
  13. 視覺化 (Visualization)
  14. 預測分析 (Predictive Analytics)
  15. 不確定性建模 (Uncertainty Modeling)
  16. 資料倉儲 (Data Warehousing)
  17. 資料壓縮 (Data Compression)、
  18. 電腦程式 (Computer Programming)
  19. 人工智慧 (Artificial Intelligence)、
  20. 高效能運算 (High Performance Computing)
資料科學領域知識包羅萬象,其中更包含特定領域知識的資料挖掘手法,因此資料科學在多個複雜學科中應運而生,既然是資料科學實驗室,就不能不推薦國外的資料科學相關書籍,以下為國外收集的免費資料科學相關書籍,不完全是新書,但希望可以協助讀者能更深入的了解這塊領域,其中幾個學科是必須知道的,像是R、Python這兩個資料科學主流語言,以及人工智慧、機器學習、資料探勘、資料庫等理論與工具書,都是進入資料科學領域的必學知識。


關於資料科學

關於大數據


關於資料分析


關於資料科學團隊


關於分散式分析

關於Python


關於R

關於SQL

關於資料探勘與機器學習


關於統計與統計學習


關於資料視覺化


關於資料科學工具

參考資料:



2015年5月7日 星期四

2015年台灣巨量資料(大數據)、資料科學家相關課程

今年又開始看到許多巨量資料、資料科學家的相關課程持續出現,因此筆者整理一下,條列如下,方便大家去規劃自己的學習時間:


工研院
  1. 巨量資料分析應用與實作班(2015/05/13)
  2. 文字資料探勘與網路資料分析實作(2015/06/02)
  3. 資料探勘與R軟體應用實務II(2015/06/16)

資策會
  1. 文字資料探勘實作班(2015/5/16、5/17)
  2. R軟體與財金資料分析(2015/5/23、5/24)
  3. Spark巨量資料分析實務班(2015/5/30、5/31)
  4. 巨量資料分析-使用RHadoop (2015/6/6、6/7)
  5. Python資料探勘實作 (2015/6/13、6/14)
  6. R軟體與資料視覺化(2015/ 6/27~6/28)
  7. Big Data之處理與分析實務班(2015/7/4~7/5)
  8. R軟體實作班(2015/7/11~7/12)
  9. R軟體與資料探勘(2015/7/25~7/26)
  10. Elasticsearch分散式系統實務班 (2015/8/1、8/2)
  11. R軟體與網頁資料擷取應用(2015/8/22、8/23)
  12. Big Data之處理與分析(Hadoop)進階班(2015/10/17~10/18)
知意圖(Etu)
  1. 軟體開發者的 Hadoop 第一天 (2015/05/18)
  2. 資料分析者的 RHadoop 第一天 (2015/05/29)
  3. 軟體開發者前進 Pig (2015/06/05)
  4. 軟體開發者前進 Hive (2015/06/09)
  5. 軟體開發者前進 NoSQL-HBase (2015/06/25)
智庫驅動DSP
  1. A2: 資料分析進階班 (2015/5/23、24、30、31)
  2. E1: 資料工程基礎班(2015/7/4、5、11、12)
  3. 資料爬理析 Python 實戰班(2015/8/1、2、8、9)
  4. E1: 資料工程基礎班 (2015/11/14、15、21、22)
  5. 模型思考團訓班 Analytical thinking team training (2015/10/24, 25)
  6. 資料工程團訓班 Data Engineer training program (E1) (2015/11/14152122)
  7. 資料思考團訓班 Data thinking team training (2015/12/561213)
巨匠電腦
  1. Big Data實務分析與應用(持續開設中)
臺灣資料科學與商業應用協會

MIC產業顧問學院
  1. SAS教育訓練
Agilearning.IO

2015年3月3日 星期二

用大數據看2015年春運:百度遷徙

新年到!!新年好!!

還記得筆者去年整理的大數據春運主題「用巨量資料看春運:百度遷徙」,很快的又過了一年,這次的春運資料視覺化做的更棒更好了。

筆者去年有提到,百度遷徙是百度透過適地性服務 (Location Based Services簡稱LBS)技術,取得網民的移動資料,並整合百度地圖,做了資料視覺呈現。今年百度已經把LBS這個服務商品化,並且命名為「百度慧眼」,提供顧客行為收集與觀察。另外在基礎設施的部分,也改用了百度開放平台來做支持,讓整體的軟體效果處理更為順暢。從這樣一年的改變與觀察,我們可以發現大數據並不是一步到位,而是需要日經月累的耕耘。

我們一樣從介面設計來觀察,從最基本的時間來看,去年的時間選擇從小小的方格,變成了時間軸的概念,把時間具體做了切割,讓使用者更能直覺的選擇時間(如紅框)。


下圖中在選擇城市的地方,雖然沒做太多變動,但運輸往返的顯示效果做的更細緻了,值得一提的是數據更為精確了。


從下圖往返的數據上可以觀察到,除夕夜晚上從對岸到臺灣的人,以上海、廣州的人最多。
有趣的地方是,在時間軸上有提供折線圖,提供查詢每一天在到臺灣的人數變化。


除了豐富的遷移資訊之外,這次百度遷徙還提供了即時航班、機場熱度、車站熱度。

即時航班如下圖呈現,可以看到小型正在移動的飛機,以及該班機的細部資訊。

機場熱度的部分,則是如下圖呈現,以黃色小圓點作為機場,跳動的圓點作為熱門的機場。

如下圖所示,車站熱度與機場熱度類似,只是車站較多,黃色小圓點又更細了,跳動的圓點一樣作為熱門的車站。


最後值得一提的是,去年筆者提的建議,大部分都已經解決,尤其在手機與平板的處理上,這次系統做的更精緻了,只能說真的非常有效率。

筆者一樣做個小結論,百度遷徙的應用商業價值在於透明,透過大數據把交通資料透明化,讓兩岸商業有更多交集,像是筆者去年提的這幾點
  • 兩岸旅遊業可透過這張圖了解市場,像是較具發展潛力的旅遊省份。
  • 兩岸運輸業透過這張圖了解運輸動脈,像是台灣過年間較愛飛的省份。
  • 可觀察到兩岸交流較為熱絡的城市,甚至是對岸在省份間較為熱絡的城市。
  • 商人也可以觀察哪個城市交流最為活絡。
  • 更多......
都是值得參考的。