2013年8月18日 星期日

巨量資料與開放資料

IBM的視覺化程式Pearle,對維基百科使用者編輯之紀錄,其數據進行視覺化的呈現。(wiki)

近年來因為資料爆炸這樣的趨勢,使得多個資料(Data)議題,被大家不斷拿出討論,其中以巨量資料(Big data)與開放資料(Open data)最為熱絡,剛好筆者工作兩邊皆有所接觸,因此這邊做了些彙整。

首先我們從維基百科就可一探究竟,在巨量資料的大意指的就是「量大到無法透過主流軟體來解決的資料」,而開放資料的部分則是指「不受限制,可開放給任何人使用的資料」,從字面上看我們就可以將這兩議題分成「技術議題」與「社會議題」,但筆者覺得這其中在市場上其實有先後順序。

首先我們先談談巨量資料的基本定義,講到這個就一定要談到4V,也就是說巨量資料具備以下四種特性,這在「雲端時代的殺手級應用:BIG DATA海量資料分析」書籍介紹的一篇文章中也有提到:
  • 資料巨量性(Volume)
  • 資料多樣性(Variety)
  • 資料即時性(Velocity)
  • 資料不確定性(Veracity)
有了以上四種特性的資料,都可被定義為巨量資料。而當然巨量資料也有相當多的用途,像是在娛樂業女神卡卡找到吸引粉絲的方法、在電力公司與建築業可進行能源效率管理、在製造業養豬場也可透過條碼、溫度、濕度感測器、GPS收集資料取得豬隻狀態、在醫療業可統計疾病資料、在零售商可找到尿布與啤酒的關連......等,總之巨量資料可做到的事情非常多,不過事實上,筆者深入了解後,發現其實巨量資料除了是將資料「生、流、存、算、用、看」,在整個政策運作上也更要有所推動與落實。

接著我們談談開放資料的定義,其實開放資料(Open data)比較像是一個改革運動口號,其中像是開放政府資料(Open Government Data)、開放科學資料(Open science data)等,台灣以開放政府資料(Open Government Data)最為熱絡。在中研院於2013年出版的「藏智於民」一書可以了解其議題在整個社會的重要性,開放政府資料可促進資訊服務新興活動的發展,在美國英國加拿大世界銀行等地方皆有發展與商機。而在台灣,開放資料的應用也非常多,像是最近吵的很兇的核四議題、以及由一群黑客組成的g0v零時政府、甚至是國際組織OKFN Taiwan 開放知識基金會台灣、甚至是已舉辦多場的活動Open Data Day 2013地球日開放發展工作坊、Data Weekend #03 #04 #05等,從這裡可看到許多關於開放資料的端倪。

筆者認為上述兩件事情,都在講關於資料(Data)一事,面向雖不同,但皆有異曲同工之妙,且對於整個社會的脈動皆有幫助。開放資料可推動整個社會朝向資料治理(Data governance)的發展,促進整體資料市場脈動,而巨量資料則後在後續承接資料,以最佳的資料解決方案,來處理資料,使得整個世界朝向互聯化、感知化、智能化發展,在資料爆炸的時代,讓我們面對資料,而不是懼怕資料。

Don't fear data! Understand it! Manage it.

延伸閱讀:(持續更新中,歡迎讀者推薦)
  1. Big Data大數據的獲利模式
  2. 大數據
  3. 雲端時代的殺手級應用:Big Data海量資料分析
  4. BIG DATA:讓你看見真實欲望
  5. Big Data大數據的獲利模式:圖解.案例.策略.實戰
  6. 精準預測:如何從巨量雜訊中,看出重要的訊息?