2020年10月17日 星期六

如何透過TensorFlow建構負責任的AI系統-DevFest 2020

今天的devfest2020 活動非常精彩,感謝大家的參與


今天主要分享如何透過TensorFlow以及Google相關的技術, 建立可解釋AI(Explainable AI)與具備負責任的AI(Responsible AI),並且打造具備負責任的機器學習機制, 包含從界定問題、建構及準備資料、建構與訓練模型、 評估模型、部署與監控等流程,運用的工具像是 Tensorboard、Embedding Projector、What-If Tool等, 協助大家了解機器學習的近期新發展方向。

附上活動的簡報與相關連結。



1.演講簡報

2.機器學習與應用

3.更多了解TensorFlow

4.RAI with TensorFlow

5.直播回放網址

2020年7月26日 星期日

機器學習 x 19 種產業應用|快速找出最佳演算法

非常興奮能夠跟大家分享Jerry老師的最新線上課程。



這堂課程叫做「機器學習 x 19 種產業應用|快速找出最佳演算法」,有鑒於大家對於機器學習的落地還充滿很多問題,因此Jerry老師特別把過去的經驗整理成課程,幫助大家了解機器學習如何在19種產業實現。

不過課程還沒開放之前,有一份問券需要懇請各位讀者幫忙填寫
https://www.surveycake.com/s/Zq4k7

以利Jerry老師強化課程內容
也謝謝大家支持喔!



2020年5月15日 星期五

五分鐘學會使用TPU訓練BERT自然語言模型





大家好我是Jerry老師,這篇帶來了五分鐘學會系列,主要跟大家分享如何在GCP上採用TPU來訓練自然語言模型,整個過程不包含「訓練時間、主機設定與安裝時間」只需要五分鐘就可以幾行指令就可以完成訓練操作。



首先大家必須要有GCP帳號,只要有申請Gmail,就可以快速開通。目前有300元美金免費試用,所以不用擔心費用,開通請往這裡



有了主控台之後,就可以開始玩了。
在主控台畫面,點選「新增專案」

接著可以會有一個自動產生的專案名稱,我們可以自己輸入,但是要記得輸入的名稱。
像是我在自動產生的名稱前後加上jerry跟tpu。

接著回主控台,在畫面右上角,開啟「Cloud Shell」



1.接著輸入以下參數
export PROJECT_NAME=jerry-project87630-tpu(注意這是剛剛我設定的ID)
請在紅字修改自己剛剛開的專案名稱

2.執行下面指令
gcloud config set project ${PROJECT_NAME}

3.建立bucket-name,這是Google專門存放資料的技術,我取的跟ID一樣好了
gsutil mb -p ${PROJECT_NAME} -c standard -l europe-west4 -b on gs://jerry-project87630-tpu
一樣請在紅字修改自己剛剛開的專案名稱


接著就正式開啟TPU囉
請輸入下面指令,這邊我的TPU名稱設定jerry,大家照貼即可。
ctpu up --tpu-size=v3-8 --name=jerry --machine-type=n1-standard-8 --zone=europe-west4-a --tf-version=2.2
這邊採用的是最新TensorFlow2.2版本
看到下面畫面,打 y 即可


接著會看到下面畫面,這是TPU建立過程。

接著進入我們剛剛設定好的TPU機器,執行下面指令
gcloud compute ssh jerry --zone=europe-west4-a
中間如果看到以下畫面,看到這幾行直接按Enter即可。

接著設定環境參數,執行下面指令
export TPU_NAME=jerry

設定BUCKET位置,這個跟前面設定一樣

export STORAGE_BUCKET=gs://jerry-project87630-tpu
一樣請在紅字修改自己剛剛開的專案名稱


然後安裝執行這次實作的套件
sudo pip3 install -r /usr/share/models/official/requirements.txt

最後就剩兩個步驟,設定以下環境參數

export PYTHONPATH="${PYTHONPATH}:/usr/share/models"
(vm)$ export BERT_BASE_DIR=gs://cloud-tpu-checkpoints/bert/keras_bert/uncased_L-24_H-1024_A-16
(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/bert-output(vm)$ export GLUE_DIR=gs://cloud-tpu-checkpoints/bert/classification(vm)$ export TASK=mnli

接著跑模型,執行下面指令

python3 /usr/share/models/official/nlp/bert/run_classifier.py \
  --mode='train_and_eval' \
  --input_meta_data_path=${GLUE_DIR}/${TASK}_meta_data \
  --train_data_path=${GLUE_DIR}/${TASK}_train.tf_record \
  --eval_data_path=${GLUE_DIR}/${TASK}_eval.tf_record \
  --bert_config_file=${BERT_BASE_DIR}/bert_config.json \
  --init_checkpoint=${BERT_BASE_DIR}/bert_model.ckpt \
  --train_batch_size=32 \
  --eval_batch_size=32 \
  --learning_rate=2e-5 \
  --num_train_epochs=3 \
  --model_dir=${MODEL_DIR} \
  --distribution_strategy=tpu \
  --tpu=${TPU_NAME}

看到下面畫面,表示跑成功囉,大約一小時之後會有結果,中途如果要中斷,就按Control+z

因為TPU非常貴,所以下面就是關閉的程序

首先離開VM
exit

接著確認目前的TPU有哪些還在執行
ctpu list

接著刪除指定的TPU,剛剛我設定的TPU名字是jerry,在下面畫面按 y 就可以刪除TPU囉!

ctpu delete jerry



目前的Google TPU費用,不同區域與等級都有不同價格
平均一個小時1塊到9塊美金不等

目前如果採用標準TPU-V2 約5塊美金,約156元台幣,跑一天差不多3800左右。
跑一個月就是11萬多,如果用好一點TPU-V3 約8塊美金,跑一個月17萬。
感謝文章的TPU費用是由Google雲端贊助的費用(GCP credit supported activity)。


以上是這篇文章跟大家分享透過TPU如何跑BERT模型,以及費用成本估算,感謝收看。



2020年3月30日 星期一

五分鐘掌握2020的TensorFlow新發展-機器學習公平性指標篇


這次的TensorFlow的2020年研討會還有正式公開的工具叫做公平性衡量指標(Fairness Indicators),這個是非常進階的機器學習工具。而公平性衡量指標(Fairness Indicators)是近年機器學習有關公平性研究熱門的研究領域,主要用於二元、多分類的機器學習題目。

過去的評估工具在大量數據集、大量的模型的情境下處理都不太好,Google需要十億個客戶系統上運作一個穩定的機器學習模型評估工具就變得非常重要。該工具評估的項目會包含:數據的分佈、模型的性能、多個不同參數下的表現。




上述的影片就是Google介紹如何透過公平性衡量指標(Fairness Indicators)概念實現公平的機器學習。

ML Practicum: Fairness in Perspective API相關的課程
https://developers.google.com/machine-learning/practica/fairness-indicators

在也指出幾個很重要的機器學習問題

從上圖上來觀察可以看到機器學習在各個流程上
包含從定義問題、準備資料、建立模型、部署、迭代的過程
都會出現人的主觀行為,進而影響到學習的偏差。


因此Google提出了一個機器學習公平性研究的工作流程


包含透過Tensorflow的資料驗證工具、模型分析工具、互動式視覺化工具來達到
改善機器學習有人類偏差的問題。


在這些介紹後,大家一定很好奇工具會有哪些。
首先這個必須學會TensorBoard,這個工具以前主要是用來視覺化模型的表現,在2.0之後功能就變得非常的多元。理解了TensorBoard(TensorFlow視覺化)之後,就可以理解以下的工具:

Tensorflow Data Analysis (TFDV):主要用於分析數據集的分佈。
Tensorflow Model Analysis (TFMA):主要用於分析模型的效能、也包含公平性指標可以分析不同模型表現。
The What-If Tool (WIT):主要透過互動的方式分析模型。

光說明沒有範例不夠看,所以請透過下面連結,可以直接到工具的範例中去深讀內容。
Tensorflow Data Analysis (TFDV)

Tensorflow Model Analysis (TFMA)

What-If Tool Dashboard

以上就是機器學習關於TensorFlow在公平性指標的簡單介紹。

2020年3月20日 星期五

五分鐘掌握2020的TensorFlow新發展-TF_Hub模型篇

想要免費的預訓練模型(Pre-trained Model)或演算法嗎?這裡通通都有。

這次的TensorFlow研討會還有正式公開的工具叫做TensorFlow Hub,裡面目前為止累積 472 個(2020/03)模型可以使用,大致上分為圖片(Image)、文字(Text)、影片(Video)
三種資料類型的模型,而且在裝置上面支持基本的TensorFlow之外,也包含TF.js、TFLite、Coral。

首先我們可以進入這裡 https://tfhub.dev/


接著就可以根據自己需求挑選模型,譬如說筆者這兩年流行的BERT,挑選bert_cased_L-12_H-768_A-12這個版本



接著可以看到幾個功能
1.下載模型離線使用(Download Model)
2.打開Colab觀看範例(Open Colab Notebook)



如上圖,如果我們選擇2.直接看範例,則可以執行Run all(如上圖範例),就可以進一步了解模型運作結果,以這個範例為例是以BERT去分類電影評論的情緒分析。


接著再往下看像是



透過Overview了解模型功能
透過Example use直接使用模型
透過Inputs、Outputs了解輸入與輸出

特別注意的是每一個模型都會有輸入、輸出的樣態
所以資料在設計上要注意輸入的類型或格式

這樣就可以直接享用模型囉,在未來不一定是資料科學家
只要了解概念與用途,就可以直接使用模型。


最後就是Google TensorFlow Hub也支持上架模型,只要四個步驟
1.建立模型
2.打包模型
3.撰寫文件
4.上架
詳細請參閱這裡
https://github.com/tensorflow/hub/tree/master/tfhub_dev




未來的趨勢就是,大家可以貢獻模型,提升全球在資料科學上的模型交流,筆者覺得是一個很棒的事情。


2020年TensorFlow相關文章:
五分鐘掌握2020的TensorFlow新發展-TF_Hub模型篇
五分鐘掌握2020的TensorFlow新發展-生態圈篇

2020年3月12日 星期四

五分鐘掌握2020的TensorFlow新發展-生態圈篇

很快的2020的TensorFlow研討會又開始了,筆者先整理目前至今最新的
TensorFlow生態系統,跟相關連結給大家先瞧瞧,後續再整理這次研討會的發現。


TensorFlow Core:TF核心程式碼
TensorFlow JS:可應用JS
TensorFlow Lite:可應用手機、邊緣計算
TensorFlow Lite Micro:可應用單晶片或更小的處理器
TensorFlow Board:視覺化工具
TensorFlow Hub 可重複利用的模型平台
TensorFlow Extended 管理資料流程
tf.kerastf.data、TF Runtime 能夠幫助我們快速分析的TF套件
Colab :這個超級夯的線上的Google版 Ipython Notebook
TensorFlow Research Cloud 專門給研究用免費使用TPU的計畫
MLIR:高效能的機器學習編譯器
TensorFlow Lattice:可以用來解釋模型的工具
TensorFlow Optimization Toolkit :應用在邊緣計算設備的模型的效能優化工具
TensorFlow Graphics:可以被用來各種不同的神經網路的處理函式,像是convolutions
TensorFlow Probability (TFP) :可以直接將機率模型與深度學習整合到TPU、GPU
Tensor2Tensor:應用於Google Brain團隊加速ML研究的套件
TensorFlow Agents :應用於強化學習的套件
Dopamine:新的學習框架應用於強化學習
TRFL: 可以在GPU上運作的強化學習套件
Mesh-TensorFlow:平行處理能力的套件
Ragged tensors:能夠處理不同資料的張量
TensorFlow (Learning-to-Rank):專門用做模型排序
Magenta:專門用於音樂相關的機器學習套件
Nucleus:專門用於DNA分析的套件
TensorFlow Federated:用於聯合學習(Federated Learning)的套件
TensorFlow Privacy:針對Privacy機器學習相關的套件
TensorFlow fairness:針對機器學習公平性指標的分析套件
Sonnet :用於建構複雜神經網路的套件
Neural Structured Learning (NSL) :一種神經結構化學習方法的套件
JAX:專門用於GPU、TPU高效能運算的套件
TensorFlow Quantum:用於量子模型的機器學習框架
Hass.io Add-on:用於圖像處理的套件


筆者: JerryWu - Google Developers Experts (Machine Learning) 、APMIC OpenTalk創辦人兼執行長

2020年3月6日 星期五

五分鐘學會在Colab上使用免費的TPU訓練模型

哈囉大家好,雖然忙碌,還是趁空擋想跟大家分享關於TensorFlow2.1.x系列的兩三事,一般來說做機器學習模型最需要的就是運算資源,而除了GPU之外,大家一定很想使用Google所推出的Google Cloud TPU來做機器學習模型,重點它很貴,能不能免費的使用他呢?使用Colab就是首選了。

而這次TF2.1新版推出之後,TPU使用有了一個很大幅度的改版,在Colab上使用TPU已經變得非常的容易與簡單,這邊就讓Jerry老師來跟大家娓娓道來。

首先不要忘記在Edit -> Notebook settings 要把硬體調整成TPU,如下圖:

然後就會獲得TPU資源,如下圖:



首先幾個在Colab上要跑TPU的API要了解一下:
1.tf.distribute.cluster_resolver.TPUClusterResolver()
這是負責偵測TPU,可以透過該指令了解Google TPU集群的狀況。

2.tf.config.experimental_connect_to_cluster(tpu)
這是負責連結Google雲端的TPU環境

3.tf.tpu.experimental.initialize_tpu_system(tpu)
這是負責初始化TPU的裝置

所以前置作業如下:

必須設定TensorFlow2.x 以及設定tpu的變數。

接下來要使用TPU,目前模型有固定的寫法,必須寫成函式,舉例如下:

資料的部分也是要寫成函式,這邊範例是採用mnist,所以舉例如下:

最後是訓練模型的程式碼,有個重點是
4.tf.distribute.experimental.TPUStrategy
是呼叫前面TPU分配策略的指令,所以要搭配在程式碼當中

5.strategy.scope()
搭配這段程式碼,可以把模型與要計算的優化器、衡量標準放到運算引擎上

如下:



目前實測的結果,如果以mnist資料為例,
TPU:36秒
GPU(P100):90秒
CPU:291秒

使用心得是,程式碼不用改動太多,在TensorFlow 2.x的架構下,可以很快的進行訓練,程式碼也可以很快速地調整,以後大家就可以用前所未有的速度訓練模型囉!

當然如果您很想更近一步了解Google Cloud Platform上面的TPU費用,可以參考下面連結

相關程式碼請參考

2020年2月6日 星期四

關於Jerry老師的強化學習課程

最近Jerry老師即將準備完成的新課程,關於強化學習,歡迎大家一起來學習
優惠名額有限動作要快:)
請點預購連結