2014 R Taiwan 研討會精彩簡報整理

2014 Taiwan 研討會圓滿於12月19、20日圓滿落幕，這次較去年更為盛大，參與的人與單位也更多，本次活動主辦包含：

1. 中華R軟體學會
2. 臺北商業大學資訊與決策科學研究所
3. 臺北商業大學資訊與決策科學研究所資料科學應用研究中心
4. 東吳大學海量資料研究中心

協辦單位包含：

1. 中華電信學院
2. 統計之都(COS)
3. 臺灣資料科學與商業應用協會
4. 德明財經科技大學研發處
5. 台北科技大學區域產學合作中心
6. 中國電機工程學會
7. 財團法人中華民國電腦技能基金會
8.  東吳大學巨量資料管理學院

除了議題較去年更為多元，研討會時間更是從一天延長到兩天。研討會地點從學校，提升到業界單位，參加人數更是提升一倍以上。從這些數據可以觀察台灣在資料科學、大數據等相關數據領域的探索上，較2013年 R 研討會更為成熟。

以下為第一天的議程與簡報：

1. 巨量資料對台灣產業的機會與挑戰
    (資策會　林蔚君 所長)
2. 雲端巨量資料運算服務
   (中華電信　葉筱楓 副經理)
3. R在新藥研發中的應用
   (中國統計之都　李艦 顧問)
4. 運用R建置潛客預測模型
   (陳文欽 博士)
5. R在行動廣告大數據分析與整合應用
   (VPON移動數據團隊 首席數據科學家趙國仁 博士)
6. R與地圖信息的可視化
   (SupStat數據科學家  郎大為 先生)
7. 台灣企業跨入大資料世界的兩難
    (美商Teradata台灣分公司  客戶經理　楊明禮 先生)
8. R在金融數據分析之應用
   (東吳大學　吳牧恩 博士)
9. 實現資料解析生態系統
    (Data Analytics Ecosystem)在高科技智慧工廠 (宇清數位智慧股份有限公司徐紹鐘副總)

以下為第二天的議程與簡報：

1. 務實的大數據思維：Learning from political campaign trail–從Clinton, Obama選戰學習
   (愛訊國際顧問有限公司  陳彥廷 先生)
2. Growh hacker 的 R 工具箱
   ("在路上"旅行APP Growth Hacker 張翔 先生)
3. 網站實驗設計框架與實戰
   (eBay資深分析師　陳麗雲 女士)
4. 粉絲團群集與推薦應用
   (國立臺北商業大學  資訊與決策科學研究所　林文政 先生)
5. R的簡單網路應用－玩轉網站資料
   (中強光電新事業應用發展部  資料研發工程師　湯明軒 先生)
6. 地理信息與LBS位置服務
   (中國統計之都　李艦 顧問)
7. R和機器學習在ebay的企業級應用
   (eBay資深資料採擷工程師　趙揚 先生)
8. R在新媒體中的應用
   (精品購物指南報社精品報系 首席編輯　別業青 女士)
9. 基於R語言的投資監控平臺之構建
   (首鋼集團  財務部分析師　鄧一碩 先生) 

這兩天的研討會可以看到大數據在各個領域逐漸發展，像是顧客行為分析、新媒體應用、行動廣告、預測潛在顧客等行銷應用。像是半導體製程數據分析的製造業應用。像是乳癌篩檢的醫學應用等等。

在眾多R語言的應用中，筆者觀察R語言已經在大型企業與小型企業有異曲同工之妙，如在大型企業的eBay中資料分析師利用R具有多元演算法的特性，以R進行各項演算法模型的建立，並透過R語言打造基本雛形，再交給工程單位用Java進行軟體工程的調整，因此大型企業主要是透過R語言建立「分析流程」。

在一般小型企業，R語言則肩負了分析與工程的雙重角色，除了快速建立各項資料分析模型之外，並建立雛形，提供給PHP、ROR、Node.js進行軟體工程的整合，因此小型企業使用R語言進行「雛型建立」。

拜這些開放原始碼的進步，早期的艱澀難懂的演算法，透過R語言已能夠快速被應用，甚至在兩三天內做出雛形系統。因此資料科學家可以花較多的時間進行部門間的溝通，資料科學家除了熟悉演算法的特性之外，更要懂得透過演算法協助企業創造價值，譬如：哪些演算法可以提升業績、哪些演算法可以提升工作效率、哪些演算法可以降低營運成本等。透過R語言的應用彈性，為自己在公司中持續創造價值。

明年的資料科學相關研討會，將會更盛大更精彩，敬請期待!

祝各位2015新年快樂!

2014年資料相關領域研討會回顧：

• 2014 台灣資料科學愛好者年會
• 2014 資料科學與產業應用研討會

什麼是大數據的新架構「資料湖泊」?

隨著資訊科技的發達，企業開始面臨大量數據的儲存問題。過去許多企業從導入資料庫，到導入 資料倉儲，甚至商業智慧。以面對不斷增長的資料以及資料的應用問題，但資料持續增加，傳統架構將可能不敷使用。

因此有個新名詞「資料湖泊(Data Lake)」(又稱數據湖泊、DL)因應而生。該名詞於2011年最早出現在富比士(Forbes)雜誌，「Big Data Requires a Big, New Architecture」一文中。

資料湖泊(Data Lake)有別於我們提到的資料倉儲(Data Warehouse)，資料倉儲(DW)的資料通常是品質較高，且是被預先處理過的資料。而資料湖泊(DL)則是儲存大量且龐雜的資料，作為資料素材(Data Material)的儲存池(Pool)，以便未來分析使用。

因此資料湖泊(DL)使資料科學家在資料分析上擁有更大的分析彈性。

資料湖泊(DL)被提起後，EMC也開始使用這個名詞進行大數據產品的推廣。

今年1月富比士(Forbes)雜誌的「The Data Lake Dream」一文中，提到了資料湖泊(DL)成熟度的分為四級，筆者將圖片重新翻譯繪製並整理如下：

圖一：資料湖泊成熟度第一級

首先是成熟度第一級「尚未導入DL」，紅色為應用服務(資料庫)，綠色為資料倉儲，部分資料間互相串接，部分資料傳遞到資料倉儲進行分析。該架構也是目前企業普遍的資料架構，各個資料庫相互獨立，只有少部分資料庫整理資料後，傳到資料倉儲做分析應用。此成熟度有3個重點：

1. 企業所有應用服務(資料庫)都各別獨立。
2. 僅部分資料庫將資料傳遞到資料倉儲。
3. 資料科學家透過資料倉儲進行資料分析。

圖二：資料湖泊成熟度第二級

當進入到成熟度第二級「導入Hadoop」，紅色為應用服務(資料庫)，綠色為資料倉儲，藍色為Hadoop、深藍色為資料分析器。這時候資料庫開始把部分資料往Hadoop進行傳遞，資料科學家可透過Hadoop進行ETL(資料萃取、轉換、讀取)，提升分析效率。本成熟度4個重點：

1. 企業的應用服務(資料庫)，開始將部份資料儲存到Hadoop。
2. Hadoop開始透過MapReduce處理資料。
3. 資料科學家使用Hadoop進行ETL接著放到資料倉儲或開發資料分析器。
4. Hadoop處理好的資料傳回應用服務(資料庫)

圖三：資料湖泊成熟度第三級

進展到成熟度第三級「資料不斷增長的資料湖泊」，紅色為應用服務(資料庫)，綠色為資料倉儲，藍色為Hadoop、深藍色為資料分析器。這階段Hadoop可以說是扮演資料中心的角色，負責儲存巨量、龐雜、高不確定的資料。本成熟度有4個重點：

1. 所有應用服務(資料庫)都以Hadoop為中心進行串接。
2. Hadoop開始整合外部的資料來源。
3. 透過資料分析語言或工具(如：R、Python、Impala, Greenplum, Spark等) 與Hadoop進行互動。
4. Hadoop成為所有資料儲存的目的地，以便利企業進行資料治理(Data Governance)。

圖四：資料湖泊成熟度第四級

最後到成熟度第四級「資料湖泊與應用雲端平台」，目前只有少部分公司的資料規模可以做到，像是Google、Amazon、Alibaba、Facebook，因為這類型企業的資料已經大到一個規模，需要高效率的資料處理架構。這時候企業應用服務(APPs)的資料存取大部分都由Hadoop這邊作互動。在這個階段主要強調資料安全(Data Security)與資料治理(Data Governance)的部分，進行加強。本成熟度有4個重點：

1. 所有的新的應用服務全都建立在Hadoop的平台上。
2. 新的應用服務的資料庫佈署時間將減少。
3. Hadoop成為分散式的資料運算平台，運用於資料管理與分析。
4. Hadoop強化資料安全與資料治理的功能。

最後筆者整理了資料庫、資料倉儲、資料湖泊三個不同特性比較給大家參考。

表：資料科學實驗室整理

上述表格，可以讓我們快速了解這些不同的名詞之間的差異。在企業中，面對大數據的浪潮，除了掌握上述的成長模式，也要依據資料庫、資料倉儲、資料湖泊的特性，分別將這些資料儲存模式定位，賦予不同的任務。

至於資料湖泊一定要用Hadoop嗎? 筆者的回答是不一定，就好像現在SQL Database有Oracle、MySQL、MS SQL等，NoSQL Database有MongoDB、CouchDB等，永遠都有很多選擇。只是目前Hadoop是國際間處理大數據較為穩定的技術，國外近年的新創公司也都採用Hadoop協助企業做資料管理。

筆者認為只要掌握前面四級的資料湖泊成長模式，相信企業就可以很快掌握大數據的處理方向，至於使用什麼技術，技術的特性是什麼，下回再談。先讓我們一起迎接充滿數據的未來吧!

參考資料：

Big Data Requires a Big, New Architecture

The Data Lake Dream

Pivotal Big Data Suite : Eliminating the Tax on a growing hadoop cluster

21個醫學影像分析的R軟體套件

筆者由於工作需要，所以整理了一下在R裡面有關醫學影像分析(Medical Image Analysis)的技術，純粹供有需要的朋友們參考。小弟不是醫學影像專家，若有敘述錯誤，請不吝指正，謝謝。

第一個部分跟醫療數位影像傳輸協定(Digital Imaging and Communications in Medicine 簡稱DICOM)有關。DICOM是針對醫學領域所制訂的一種通訊規格，該規格把一般的影像包成一個物件IOD(Information Object Definition)，有點像是XML、JSON格式，主要把影像分為兩大部分，像素資料與影像屬性。

2014年國際Top 50新興大數據服務公司

美國知名通路媒體(CRN)，最近整理了2014年國際排名前100大的新興Big Data公司，筆者根據國外論壇報導，整理排名前50名公司來進行分享。

這些公司有65%都在美國矽谷，公司的服務項目包大數據的基礎設施建設、數據分析、數據管理等。值得注意的是，這些公司的平均年齡都小於4年，且服務項目都各有專注，像是Pivotal與Xplenty專門處理Big Data的基礎設施，而Alpine Data Labs與Numerify為數據分析的專業。

「2014 台灣資料科學愛好者年會」精彩資料整理

8/30~8/31於中央研究院舉辦的「2014 台灣資料科學愛好者年會」告一段落。
順手整理這兩天的精彩文章、演講與課程的簡報給大家參考!
共8篇文章、16份簡報、6場R課程簡報。

13個資料科學實驗室精選訊息(2014/08)

筆者精選資料科學相關的關注訊息之整理。

關鍵訊息：

1. 看資料找故事工作坊-千萬資料可以化約成幾個數字，但每個數字背後都有一個故事
2. 看資料找故事工作坊-橫看成嶺側成峰，遠近高低各不同，未識故事真面目，只緣身在資料中
3. 資料科學 IN 白色巨塔
4. 資料視覺化公司Re-LAB
   記得兩年前觀察國外的Infographic公司大多都從2010年開始，而且總數不到一百家，沒想到台灣開始也有類似公司。
5. Data scientist: Your mileage may vary
6. 文章指出，資料科學家的薪水，已經漲到一年最多30萬美金，折合台幣900萬台幣，而且只需兩年的工作經驗，這數字真的很驚人。但資料科學家本身除了要會做，還要會想，如同小弟之前的文章「蘋果的Big Data職缺，想進蘋果也要懂資料分析」所說的，人才真的不好找!
7. 馬來西亞：線上預訂餐廳服務 TableApp，來台取經後快速成長
8. 資料價值還缺一味，資料科學團隊還缺一位
9. Data Is Money: Why The Cloud Is Transforming Data Into A New Global Currency
10. 全臺資料科學家周末齊聚南港，價值百萬年薪的經驗大公開
11. 大數據評估公司Wecash閃銀獲IDG千萬級投資
12. R tops KDNuggets data analysis software poll for 4th consecutive year
    2014最新的資料分析軟體使用比較出爐，R還是高於其他的軟體，排名依序為R>SAS>Python>SQL>Java，組合使用的比例還是以R+Python居多，其次是Python+SAS 。

技術文章：

1. For Loop Tracking (Windows Progress Bar)
   R建立讀取條的程式碼。
2. Python與R合併使用-Taiwan R User Group

大數據探索航空資料系列-達美航空

Logo/達美航空、攝影/Jerry

繼續本系列主題，本次介紹的應用是來自達美航空(Delta Air Lines)，達美航空在這幾年扶搖直上，於2010年完成跟西北航空合併之後，成為全世界航線里程與客運機隊規模最大的航空公司。

這篇文章是2014年由SapientNitro廣告公司的數據分析師Myles Harrison所分享的文章，介紹它應用主成分分析(Principal Component Analysis)與K平均算法(k-means)去分析達美航空的飛機數據。