2013年8月18日 星期日

巨量資料與開放資料

IBM的視覺化程式Pearle,對維基百科使用者編輯之紀錄,其數據進行視覺化的呈現。(wiki)

近年來因為資料爆炸這樣的趨勢,使得多個資料(Data)議題,被大家不斷拿出討論,其中以巨量資料(Big data)與開放資料(Open data)最為熱絡,剛好筆者工作兩邊皆有所接觸,因此這邊做了些彙整。

首先我們從維基百科就可一探究竟,在巨量資料的大意指的就是「量大到無法透過主流軟體來解決的資料」,而開放資料的部分則是指「不受限制,可開放給任何人使用的資料」,從字面上看我們就可以將這兩議題分成「技術議題」與「社會議題」,但筆者覺得這其中在市場上其實有先後順序。

首先我們先談談巨量資料的基本定義,講到這個就一定要談到4V,也就是說巨量資料具備以下四種特性,這在「雲端時代的殺手級應用:BIG DATA海量資料分析」書籍介紹的一篇文章中也有提到:
  • 資料巨量性(Volume)
  • 資料多樣性(Variety)
  • 資料即時性(Velocity)
  • 資料不確定性(Veracity)
有了以上四種特性的資料,都可被定義為巨量資料。而當然巨量資料也有相當多的用途,像是在娛樂業女神卡卡找到吸引粉絲的方法、在電力公司與建築業可進行能源效率管理、在製造業養豬場也可透過條碼、溫度、濕度感測器、GPS收集資料取得豬隻狀態、在醫療業可統計疾病資料、在零售商可找到尿布與啤酒的關連......等,總之巨量資料可做到的事情非常多,不過事實上,筆者深入了解後,發現其實巨量資料除了是將資料「生、流、存、算、用、看」,在整個政策運作上也更要有所推動與落實。

接著我們談談開放資料的定義,其實開放資料(Open data)比較像是一個改革運動口號,其中像是開放政府資料(Open Government Data)、開放科學資料(Open science data)等,台灣以開放政府資料(Open Government Data)最為熱絡。在中研院於2013年出版的「藏智於民」一書可以了解其議題在整個社會的重要性,開放政府資料可促進資訊服務新興活動的發展,在美國英國加拿大世界銀行等地方皆有發展與商機。而在台灣,開放資料的應用也非常多,像是最近吵的很兇的核四議題、以及由一群黑客組成的g0v零時政府、甚至是國際組織OKFN Taiwan 開放知識基金會台灣、甚至是已舉辦多場的活動Open Data Day 2013地球日開放發展工作坊、Data Weekend #03 #04 #05等,從這裡可看到許多關於開放資料的端倪。

筆者認為上述兩件事情,都在講關於資料(Data)一事,面向雖不同,但皆有異曲同工之妙,且對於整個社會的脈動皆有幫助。開放資料可推動整個社會朝向資料治理(Data governance)的發展,促進整體資料市場脈動,而巨量資料則後在後續承接資料,以最佳的資料解決方案,來處理資料,使得整個世界朝向互聯化、感知化、智能化發展,在資料爆炸的時代,讓我們面對資料,而不是懼怕資料。

Don't fear data! Understand it! Manage it.

延伸閱讀:(持續更新中,歡迎讀者推薦)
  1. Big Data大數據的獲利模式
  2. 大數據
  3. 雲端時代的殺手級應用:Big Data海量資料分析
  4. BIG DATA:讓你看見真實欲望
  5. Big Data大數據的獲利模式:圖解.案例.策略.實戰
  6. 精準預測:如何從巨量雜訊中,看出重要的訊息?

2013年5月27日 星期一

關於數據科學於醫學的應用

圖片取自網路

這今天在思考,其實還滿想將資料分析所學應用在醫學上。所以自己為了紀錄資料分析在醫學上的一些應用,所以就找了一些文章來看,做一下記錄。
不過,還真是博大精深!

1.急診醫學
有篇是運用在急診醫療上,透過歷史資料挖掘,預測急診病患的嚴重性,嚴重性較高的優先治療,該方式改善某些較為嚴重的急診病患可獲得妥善的資源照顧,該概念有個專業名詞叫做檢傷分類。

2.癌症存活情形
也有學者運用數據分析於子宮頸癌、大腸癌存活時間的預測,透過演算法去做資料的預測,可幫助醫生了解癌症病患罹癌後,他可能存活的時間。

3.推薦疾病
在某本書上有看到,過去在電子商務上我們透過資料探勘推薦產品給消費者,而在醫學資料探勘上,則是可透過基因定序結合資料探勘的方式,可挖掘出哪些基因會得到哪種疾病,進而推薦疾病給消費者。

4.病情預測系統
有學者運用資料做了病情惡化的早期預警系統Early Warning System(EWS),幫助醫療人員能幫助病患做早期的預防決策,譬如說某個病人可能因為某些徵兆會引發更嚴重的疾病,透過系統抓到徵兆後,可將病人提早轉移到重症病房等等。

這本書算是一個整理 Medical Data Mining and Knowledge Discovery

個人覺得資料分析運用在醫學上,有很多的幫助,像是針對疾病、治療、倫理、管理上都可應用,且在開放資料(Open data)也有議題可以討論,只能說未來的世界醫療資料就是金礦阿

關鍵字:Medical Data Mining

2013年5月20日 星期一

【R軟體】R與MySQL的結合

最近的小案子需要R從MySQL取資料做運算,然後丟回去MySQL。
這邊記錄一下語法,測試環境為Windows。

GitHub:https://github.com/rippleblue/Blog_R_code/blob/master/Mysql%20and%20R.R

第一步先安裝與設定好

  1. mysql-connector-odbc  
  2. appserv
  3. R (2.15.1)
  4. RODBC


第二步在R中執行下面指令


library(RODBC)
odbcConnect("number",uid="root",pwd="12345")
建立連線

sqlSave(channel, USArrests, rownames = "state", addPK=TRUE)
丟USArrests資料集到MySQL,這時候就會看有資料表在MySQL中了

sqlFetch(channel, "USArrests", rownames = "state")
確認資料庫的資料

foo <- cbind(state=row.names(USArrests), USArrests)[1:3, c(1,3)]
foo[1,2] <- 222
資料做運算

sqlUpdate(channel, foo, "USArrests") 更新資料表,foo:剛運算的內容,USArrests:為更新的表
sqlDrop(channel, "USArrests") 刪除資料表
close(channel)關閉連線


2013年4月15日 星期一

透過數據,讓銷售更容易


閱讀心得:

1.阿里巴巴目前有30個Pebibyte的數據,相當有30,720顆TB的硬碟才能裝完。

2.老太太買李子的故事,是數據找商機的寫照

3.大數據應用,個人覺得這些基本的統計分析,對企業來說就已很重要。

  • 全國多少人買了某款情趣內衣? 
  • 哪個省份用戶買的內衣罩杯最大?
  • 買情趣內衣的同時有多少人又買了杜蕾斯?
  • 多少人買了早孕試紙,是否有商家給他們發放嬰兒用品廣告

4.大數據的價值,越多數據,預測就越精準

如果在淘寶上,有一個人,他去買了一件母嬰產品讓我們判定他有沒有小孩,我們發現準確率只有62%,如果我們加一個數據,看他最近有沒有買車,你會發現準確率會一下子提升15%,再加一個數據,比如年齡層,把這些數據綜合起來,我們發現剛才講的有沒有小孩的問題的準確度提高到了86%。

5.電子商務靠大數據找商機的好處,降低進貨成本

譬如透過上個月數據了解產品銷售程度,預定下個月的產品數(好處:降低進貨成本,精準售出)

6.數據的部門架構

淘寶數據部門擁有100人,包括工程師(工程開發、資料開發)、數據產品經理、分析師(決策分析組、業務分析組、數據科學家)。


閱讀文章:
http://big5.xinhuanet.com/gate/big5/news.xinhuanet.com/info/2013-04/15/c_132308835.htm
http://www.zcom.com/article/94460/

2013年4月9日 星期二

通訊軟體聊天記錄與關係之資料分析

去年上海R會上,有個關於以R將QQ通訊軟體的資料做一些分析文章。

這邊把他做方式做個整理:

  1. 發言量排名
  2. 活躍的天數排名
  3. 發起聊天次數的排名
  4. 結束聊天次數的排名
以上都可用長條圖做呈現

聊天的內容分詞,可採用標籤雲來做整理
群組成員的相互作用,可採用網狀圖來整理


原文網址《QQ關係分析

2013年4月2日 星期二

雲端時代的殺手級應用:BIG DATA海量資料分析

最近一期的天下雜誌出版的書,介紹了海量資料分析的一些案例,這邊做個影片摘要整理。



海量資料(Big Data)的特色:
  • 資料巨量性(Volume)
  • 資料多樣性(Variety)
  • 資料即時性(Velocity)
  • 資料不確定性(Veracity)


海量資料分析可做的事情,比我們想像中的還要多:

  1. 分析顧客行為
  2. 提升企業獲利
  3. 紓解交通狀況
  4. 預測失業率
  5. 預防恐怖攻擊
  6. 打造即時服務
  7. 預測股票指數
  8. 降低犯罪率
  9. 改善服務流程
  10. 控制疫情蔓延
  11. 降低營運成本
  12. 提高醫學研發成效
  13. 增加作物產量
  14. 預防通膨變化
  15. More and more.......

資料分析實際案例:

辛辛那提動物園,以資料進行商業分析調整行銷模式與資源分配
增加35萬美元的收入,5萬人次的新遊客,降低43萬的廣告費用

美國疾病控制及預測中心,與Google合作發展Google Flu Trends,追蹤流感傳播趨勢
提早兩星期掌握流感爆發關鍵時刻

溫布頓網球公開賽,即時賽事分析
讓球迷親身體驗賽事

美國邦威電力管理局,以智慧電網即時調度用電
省下一座新電廠,約6~10億美元的支出

加拿大安大略理工大學,建立早產兒健康監護系統
協助醫護人員提前24小時,預防早產兒因敗血症引發感染問題

羅森(Lawson)便利商店,分析社群網站大量資訊,調整行銷策略
稅前營收五年增加60%

古都倫敦,整合海量資料提供服務
讓遊客隨時查詢地鐵動態與車輛調度情形
智慧型垃圾桶防犯罪與恐怖攻擊

剩下的等書拿到再來分享。

2012年9月16日 星期日