2016年3月23日 星期三

雲端機器學習上手篇-以非監督式學習演算法為例

由於筆者對於數據分析都非常有興趣,也因為工作關係需要接觸到各種不同的雲端數據分析工具,繼上次筆者分享過「透過Python與Spark做氣象大數據分析」是屬於IBM Bluemix的服務,這次筆者要分享的是關於2015年2月微軟推出的Azure Machine Learning工具,有興趣的朋友可以從這裡選擇「Guest Access」快速進行試用。或是申請一個帳號,依照筆者的步驟執行,進行Microsoft Azure Machine Learning(MAML)的體驗。

過去在實務上經常發現要做一個數學模型與系統整合一起應用,是非常困難的一件事情,通常作法是需要先請統計學家設計好數學模型並驗證後,再交由軟體工程師進行系統整合,然後再依照市場需求做調整,再這樣反覆的過程中,統計學家改模型,軟體工程師調整系統,人力物力都消耗非常多。



在微軟這套Azure Machine Learning有幾個讓筆者覺得很方便的地方,筆者條列如下

  1. 應用模型即刻上線
  2. 多種現成應用選擇
  3. 採用拖拉互動介面
第一「應用模型即可上線」就是機器學習後的模型可反覆利用之外,還可快速佈署到雲端上,以筆者為例,要預測汽車價格,可在二十分鐘內完成模型佈署。第二「多種現成應用選擇」在Azure上有許多使用者分享了數學模型可以馬上使用,像是預測汽車價格、電影推薦、更多......等。第三是「採用拖拉互動介面」介面使用容易,類似SPSS、SAS的概念,都是採用資料探勘的流程來進行資料分析。


接下來在本次的體驗中,我們採用最經典的安德森鳶尾花卉數據集(Anderson's Iris data set)為例,並使用非監督式學習(Unsupervised Learning)方法中的K-means演算法來進行實作,以快速體驗雲端機器學習的便利性。

首先大家須先登入Microsoft Azure的介面,目前Azure新版的介面只要使用到Azure Machine Learning都會跳轉到舊的介面,因此就參考筆者以下的畫面,照著操作即可。

首先選擇機器學習服務。



選擇「新增」,並點選「快速建立」,我們可以在工作區名稱上,建立自己的工作區名稱,像是ML這樣的名稱。



接著進入工作區之後,點選下方的「在Studio中開啟」的選項,進入MAML的使用介面。


接著我們必須點選「DATASETS」去上傳資料集,將資料做上船的動作,我們採用這裡的資料,這是一份相當經典的示範資料集,只要到Google搜尋iris csv就有許多參考資料,資料中有150筆資料與5種資料欄位,下載之後我們點選「NEW」如下圖所示。


接著點選「FROM LOCAL FILE」將資料進行上傳的動作。


接著在介面上面直接「選擇檔案」,將檔案選好之後,點選右下角的勾勾,就可以進行上傳。


接著點選「EXPERIMENTS」,再點選下方的「NEW」。


接著我們會看到許多Machine Learning Samples,不過我們今天要自己做一個,所以點選「Blank Experiment」可以產生新的實驗環境。


接著看到工作區後,我們可以在下圖紅色框中輸入這個專案的名稱,像是筆者輸入「My First Azure Machine Learning Case」,接著就可以開始實作囉!


首先我們從「Saved Datasets」裡面的「My Datasets」將剛剛上傳的資料集「iris.csv」整個拖曳到右邊的工作區。


接下來我們可以很快的對這個資料集做資料視覺化(Visualization),這是筆者覺得滿方便的地方,使用者只要一個右鍵,就可以對資料集做初步的了解。


這個簡易的資料視覺化目前可以透過盒鬚圖(Box-plot)、長條圖(Bar Chart)、平均數(Mean)、中位數(Median)、最小值(Min)、最大值(Max)、標準差(Standard Deviation)......等統計資訊去觀察資料的狀況。


接著原始iris資料集裡面包含萼片長(Sepal length)、萼片寬(Sepal width)、花瓣長(Petal length)、花瓣寬(Petal width)、種類(Species)共五個欄位,我們先拿掉種類(Species)的欄位,這個欄位並不適合放在這個學習模型中,因此我們在下圖左邊紅框中搜尋「Project Columns」將他拖曳到工作區。


接著點選iris資料集的圓點,拖曳到「Project Columns」的圓點,讓兩個功能做一個連線,如下圖所示。

接著點選「Project Columns」,並點選右邊紅框的「Launch column selector」按鈕。


接著選擇「WITH RULES」→「ALL COLUMNS」→「Exclude」將「Class」欄位做排除的動作,如下圖示意。

因為一般來說,我們必須將資料分割成訓練集、測試集才能進行實驗,因此我們必須進行資料切割,這邊使用「Split Data 」,我們找到他之後,將他拖曳到右邊工作區。


接著一樣與Project Columns做連線。


接著我們點選「Split Data」的功能,輸入分割的比例,如下圖紅框所示,輸入0.7表示分割成訓練集70%,測試集30%,如果要分6/4就要輸入0.6,以此類推。


接著我們要有一個控制模型輸出的地方,找到「Train Clustering Model」之後一樣拖曳到右邊工作區。


接著我們將「Split Data」左下的訓練集(70%)拉到「Train Clustering Model」的右上角的圓點上,表示將訓練集放進去。


接著我們在Machine Learning裡面找到「K-mean Clustering」這就是今天我們提到的非監督式學習(Unsupervised Learning)演算法的一種,我們將他拖曳到工作區。


將「K-mean Clustering」的圓點連線到「Train Clustering Model」的左上角圓點,表示我們要使用該演算法建立模型。


因為集群計算之後,都需要設定集群結果給資料集,所以我們要使用「Assign to clusters」這個功能配置模型預測結果。


接著將「Train Clustering Model」左下角的圓點,與「Assign to Clusters」上方的圓點進行相連。


最後我們要再使用「Project Columns」將運算結果輸出,所以一樣找到「Project Columns」然後拖曳到工作區。


接著我們會看到很多個元件上都有紅色驚嘆號,因為我們都還沒幫他設定資料的輸入或輸出。


不過沒關係,我們繼續將「Project Columns」再拖一個出來,將「Train Clustering Model」的右下角圓點與它做連線,這個動作主要是將原始的資料做輸出,不做也能完成實驗。


接著如上面所述,我們將「Train Clustering Model」與它做一個連線,如下圖所示


接著我們要開始針對這些放上去的元件做參數設定,我們先從「K-mean Clustering」開始,我們將他的中心數(K)設定為3個,也就是要分成3群。

接著我們點選「Train Clustering Model」的「Launch column selector」按鈕。


將他的輸入設定成包含萼片長(Sepal length)、萼片寬(Sepal width)、花瓣長(Petal length)、花瓣寬(Petal width)四個欄位,如下圖所示。

接著我們將「Assign to Clusters」右上角的圓點與「Split Data」右下角的圓點,也就是測試資料集做連接,如下圖指標所示。


接著我們選擇「Assign to Clusters」的「Launch column selector」按鈕,設定要使用的欄位。


一樣包含萼片長(Sepal length)、萼片寬(Sepal width)、花瓣長(Petal length)、花瓣寬(Petal width)四個欄位,如下圖所示。


接著我們對最後一個「Project Columns」做個設定。


注意這邊除了選擇包含萼片長(Sepal length)、萼片寬(Sepal width)、花瓣長(Petal length)、花瓣寬(Petal width)四個欄位之外,還要再選擇「Assignment」,如下圖所示。

接著點選「SAVE」,再點選「RUN」。


接著會看到運行時間,因為資料不多,所以在幾秒內即可完成。


接著到這裡會出現下面錯誤,就是「Project Columns」找不到「Assignment」的問題,如下圖所示。


不過沒關係,我們只要到「Project Columns」裡面,再點選「Launch column selector」。



然後把剛剛選的「Assignment」刪掉再選一次即可,筆者推敲問題的原因是,模型還沒計算,所以第一次不會有「Assignment」的結果,所以要再設定一次。


接著再「SAVE」與「RUN」一次


接著我們就可以點選「Project Columns」裡面的「Visualize」就可以看到分群的結果。



我們可以發現測試集的45筆資料,多了一個「Assignments」並且裡面分了0、1、2共三個群。
這就是我們初步的成果,不過還沒結束,接下來我們想把模型應用到系統上。


我們將要進行機器學習與系統整合這塊實作,在「Web Service」裡面,我們拖曳出「Input」。


接著將「Web service input」 與「Project Columns」做連接,表示新的資料有一部分會從這裡輸入。


接著我們將「Output」也拖曳到工作區,並將「Assign to Clusters」的下方圓點與「Web Service Output」做連接。


接著我們點選「SAVE」、「RUN」。


運算完之後,我們點選「SET UP WEB SERVICE」裡面的「Predictive Web Service」進行系統佈署前的設定。


接著可以看到Azure自動將我們的模型與系統做流程調整。


設定完之後,再做一次「SAVE」、「RUN」,將系統模型做儲存。


接著我們再點選一次「SET UP WEB SERVICE」就可以讓我們的演算法轉成API給系統使用,API全名為應用程式介面(Application Programming Interface),通常就是系統與系統間做傳輸共通標準,有了這個標準後,工程師不管寫甚麼系統,都可以直接透過API跟模型做連接,這個就是筆者覺得很方便的地方,因為這樣資料科學家就可以專注做模型即可。


獲得API之後我們可以做一個簡單測試,點選「Test」。


我們嘗試在框框中輸入萼片長(Sepal length)、萼片寬(Sepal width)、花瓣長(Petal length)、花瓣寬(Petal width)四個欄位的新數字,也就是我們想要透過我們的模型去預測它的分群。

點選確認之後,我們就會在下方看到預測結果,筆者依次輸入1.2、1.5、1.7、1.9,他就被分到第1群(我們共有0,1,2三群)。


接著我們想要佈署到系統上,Azure很貼心的準備了C#、R、Python樣本程式碼,我們點選下圖左邊紅框的選項。


除了一些API使用說明之外,這裡就附上了三種語言的樣本檔案。


在每個程式碼當中,都需要加入api_key才能使用。


API KEY的內容可以參考筆者下方紅框中的資料,每個模型都有屬於自己的API KEY,所以不用拷貝筆者的。


接著做了替換之後,如果您是像筆者是寫Python 3,那就必須再做一些程式碼調整,如下圖紅框所示。


接著我們可以在Values裡面輸入我們想要預測的數字,執行之後就可以看到相同的結果。


下圖中,上面是用Test的結果1.2,1.5,1.7,1.8被分到第1群,下面使用Azure樣本python程式碼,一樣也是被分到第1群。


之後就可以把這段程式碼修改並佈署到相關的系統當中。

以上就是雲端機器學習的上手教學,希望能協助讀者做初步雲端機器學習體驗。

2016年2月22日 星期一

透過雲端服務與Node.js打造車聯網大數據分析平台

車聯網(Internet of Vehicles)已經是今年在汽車界熱門的議題,從McKinsey去年的物聯網報告來看,車聯網可以做的事情共有六種,包含「改善汽車的安全與可靠度」、「維修服務推薦」、「加強汽車連結」、「加強客戶體驗」、「提供保險動態價格」、「增加車隊效率與降低成本」,但是做這些事情之前基礎設施就變得非常重要,如果沒有一個好的雲端平台去收集資料、儲存資料、分析資料,就無法與前面提到的服務做整合。

因此本次教學筆者嘗試使用了一個雲端平台(IBM Bluemix)去進行車聯網的系統實作,希望透過一個簡單的實作,讓有興趣的朋友能掌握技術要領,並實際體驗車聯網的初步成果,如下圖所示。



首先我們必須要有Bluemix帳號,進入了平台以後找到,在型錄裡面,找到「Internet of Things Platform」,如下圖所示:


接著點選他,然後在Service Name上面打入我們的服務名稱,像筆者就打「iotcc」,然後點選「Create」將服務進行啟動,如下圖:


之後您回到自己的儀錶板,就可以看到如下的畫面:


接著點選服務名稱,以筆者為例是「iotcc」,點進去以後,再點選「Launch Dashboard」,如下圖:


接著點選IBM Watson IoT Platform的「Devices」選項。


選擇「Add Device」進行新增裝置。


首先我們必須先建立汽車裝置的裝置類型,因此點選「Create Device Type」進行裝置類型新增。

點選「Create device type」的選項。
輸入裝置的一般資訊,包含名稱、描述,筆者這邊分別填「Vehicle」與「Internet of things」,然後點選Next。
以下的幾個步驟,都是針對裝置的細部描述做紀錄,建議都先以「Next」做跳過的動作,


創建完基本的裝置樣本之後,直接在下個畫面中選擇建好的「Vehicle」裝置樣本,並點選「Next」進行裝置的建立。
接著我們新增第一個車聯網裝置「vehicle1」
接著一直下一步到取得裝置的連接號碼:



注意:到這裡的時候,就要記錄下vehicle1的存取ID與相關資料。
筆者在這個時候就會把上面紅框的資料做紀錄,等下要放到車聯網平台上。
接著以此類推,做兩次,將「vehicle2」、「vehicle3」完成另外兩個裝置的設定。

接著我們到「ACCESS」去獲取組織的ID,如下圖所示:
選擇「api keys」然後點選「Generate API Key」,如下圖所示:
接著紀錄一下下圖中的API Key,等下我們會放到程式當中。
到這一步,終於完成IBM Bluemix上的裝置設定,接下來我們要寫一個範例去進行佈署的動作,筆者修改了一個國外的範例給大家下載,如果無法下載可到筆者GitHub下載,裡面包含了兩份檔案:
  1. 檔案「iotcc」為預計佈署到雲端上的車聯網軟體,主要用Node.js、HTML、CSS所撰寫
  2. 檔案「cf-cli-installer_6.15.0_winx64」進行Git Push的工具
首先解壓縮後打開「manifest.yml」檔案,修改您的服務名稱,以下圖為例:
請輸入
host:connectedcar
name:connectedcar
instances:3 (指3台裝置)
接著到public\config資料夾裡面,打開「settings.js」檔案,將前面申請的裝置與組織ID都輸入到該檔案當中,如下:
iot_deviceType:
輸入我們在前面建立的「Vehicle」。
iot_deviceOrg:
輸入在前面裝置申請時獲得的「Organization ID」,如:k8buaf。
iot_deviceSet中的deviceId與token:
輸入前面裝置申請獲得的Device ID,token的部分則輸入Authentication Token如:A!ggkk99y_sstbt)vY

最後是填入組織的ID
iot_apiKey:輸入前面申請到的API Key
iot_apiToken:輸入前面申請的Authentication Toke

大致上設定完成,最後我們要Cloud Foundry的工具,將車連網服務佈署到雲端平台上,因此要安裝「cf_installer」,基本上一直下一步就可完成安裝。

接著我們打開CMD,進行登入的動作,如下圖所示,筆者先切換到iotcc資料夾底下,打入「cf login」的動作,使用一開始註冊的帳號密碼登入即可。

登入成功後會顯示下面畫面。

最後打入「cf push」進行Deploy的動作

看到下圖畫面表示已經佈署成功。

最後輸入http://<您設定的host名稱>.mybluemix.net,即可看到服務,也可參考筆者下圖成果。


接著可以透過「互動」的功能達到跟模擬汽車互動的動作。

時間的關係,這次就先暫時介紹到這邊吧!



2016年1月26日 星期二

2016年台灣巨量資料(大數據)、資料科學家相關課程 (更新時間2016.07.17)


很快的新的一年又開始了,筆者已經持續整理資料科學相關課程長達兩年,今年也一樣整理相關課程與上課時間給有需要的朋友查詢。



工研院
資策會
MIC產業顧問學院
三星課程網
木刻思
東吳大學



歷年資料參考: