巨量資料與開放資料

IBM的視覺化程式Pearle，對維基百科使用者編輯之紀錄，其數據進行視覺化的呈現。(wiki)

近年來因為資料爆炸這樣的趨勢，使得多個資料(Data)議題，被大家不斷拿出討論，其中以巨量資料(Big data)與開放資料(Open data)最為熱絡，剛好筆者工作兩邊皆有所接觸，因此這邊做了些彙整。

首先我們從維基百科就可一探究竟，在巨量資料的大意指的就是「量大到無法透過主流軟體來解決的資料」，而開放資料的部分則是指「不受限制，可開放給任何人使用的資料」，從字面上看我們就可以將這兩議題分成「技術議題」與「社會議題」，但筆者覺得這其中在市場上其實有先後順序。

首先我們先談談巨量資料的基本定義，講到這個就一定要談到4V，也就是說巨量資料具備以下四種特性，這在「雲端時代的殺手級應用:BIG DATA海量資料分析」書籍介紹的一篇文章中也有提到：

• 資料巨量性(Volume)
• 資料多樣性(Variety)
• 資料即時性(Velocity)
• 資料不確定性(Veracity)

有了以上四種特性的資料，都可被定義為巨量資料。而當然巨量資料也有相當多的用途，像是在娛樂業女神卡卡找到吸引粉絲的方法、在電力公司與建築業可進行能源效率管理、在製造業養豬場也可透過條碼、溫度、濕度感測器、GPS收集資料取得豬隻狀態、在醫療業可統計疾病資料、在零售商可找到尿布與啤酒的關連......等，總之巨量資料可做到的事情非常多，不過事實上，筆者深入了解後，發現其實巨量資料除了是將資料「生、流、存、算、用、看」，在整個政策運作上也更要有所推動與落實。

接著我們談談開放資料的定義，其實開放資料(Open data)比較像是一個改革運動口號，其中像是開放政府資料(Open Government Data)、開放科學資料(Open science data)等，台灣以開放政府資料(Open Government Data)最為熱絡。在中研院於2013年出版的「藏智於民」一書可以了解其議題在整個社會的重要性，開放政府資料可促進資訊服務新興活動的發展，在美國、英國、加拿大、世界銀行等地方皆有發展與商機。而在台灣，開放資料的應用也非常多，像是最近吵的很兇的核四議題、以及由一群黑客組成的g0v零時政府、甚至是國際組織OKFN Taiwan 開放知識基金會台灣、甚至是已舉辦多場的活動Open Data Day 2013、地球日開放發展工作坊、Data Weekend #03 #04 #05等，從這裡可看到許多關於開放資料的端倪。

筆者認為上述兩件事情，都在講關於資料(Data)一事，面向雖不同，但皆有異曲同工之妙，且對於整個社會的脈動皆有幫助。開放資料可推動整個社會朝向資料治理(Data governance)的發展，促進整體資料市場脈動，而巨量資料則後在後續承接資料，以最佳的資料解決方案，來處理資料，使得整個世界朝向互聯化、感知化、智能化發展，在資料爆炸的時代，讓我們面對資料，而不是懼怕資料。

Don't fear data! Understand it! Manage it.

延伸閱讀：(持續更新中，歡迎讀者推薦)

1. Big Data大數據的獲利模式
2. 大數據
3. 雲端時代的殺手級應用：Big Data海量資料分析
4. BIG DATA：讓你看見真實欲望
5. Big Data大數據的獲利模式：圖解．案例．策略．實戰
6. 精準預測：如何從巨量雜訊中，看出重要的訊息？