資料科學實驗室: 11月 2022

2022年11月2日星期三

Google Machine Learning Community Summit 2022 活動速記

照片來自Sakon

這次在疫情之後，第一次實體到訪泰國參與 Google 所舉辦的ML Community Summit 2022 這個活動一連舉辦兩天，從中間可以學習最新的產品的訊息，包含最新產品資訊包含Vertex AI、JAX, TPU, 圓桌討論、Team building活動等

加入Google Developer Expert Program之後，最多的收穫就是跟來自不同國家的交流，這次出席的開發專家有來自印度、韓國、土耳其、美國、英國、新加坡、臺灣、摩洛哥、巴西、義大利、哥倫比亞、法國、馬來西亞（按照簡報順序排序）等國家。

第一天見面禮超讚

照片來自Sakon

開場的時候我們的ML計畫主持人，幫大家準備了驚喜，就是Jeff Dean 幫大家親自簽名的論文，真的很榮幸能夠拿到他親自發表的論文以及簽名

照片來自Sakon

真的很棒。

接著就是陸續專家分享機器學習當紅議題，當然目前Google Cloud上面最流行的機器學習工具是Vertex AI，Google邀請了AI Platform Core的專家，從MLOps的角度做了完整的介紹，以及產品的發展方向，當然這個有簽NDA就不能透露太多，總之Vertex AI會是一個雲端在機器學習上會很便利的工具，當然這要結合GCP才能發揮對應價值，

有興趣可參閱這個網址與影片

Vertex AI

https://cloud.google.com/vertex-ai

What is Vertex AI?

https://youtu.be/gT4qqHMiEpA

如果您想要自己弄一個，當然也有開源的，可以參考Google開源的Kubeflow, TFX

https://www.kubeflow.org/

以及

https://www.tensorflow.org/tfx

kubeflow + TFX + JupyterLab再搭配基礎設施，就能弄一個類似的東西，就端看我們要快速便利，還是要自己弄，Jerry老師認為能否自己弄的關鍵，應該就是團隊強不強，再來就是管理工具要自己花時間設計與開發囉。

接著是現在Google DeepMind團隊用很兇的JAX，您可以想像他是Python Numpy當中的進階版，因為它可以直接支援GPU跟TPU，Jerry老師在讀書會中有一個簡單分享，請參閱這裡

https://youtu.be/SllsasgVntg

以現行的各種AI演算法，最吃重的運算資源，需要快速的透過程式碼去操控，但是目前很多框架都是包起來，所以都要透過工具去觀察狀況，但是不一定能夠做很快速的修改，Jerry老師認為JAX的強項在於，把很多要做深度學習的事情函式化了，像是vmap可以輕鬆實現向量化的操作，把很多維度的工作處理得很簡單，還有很多其他像是jit、grad等功能，網路上有人寫了鐵人賽

https://ithelp.ithome.com.tw/users/20129616/ironman/5220

有興趣可以參考一下

最後就是TPU，這個高技術含量的議題，大家都知道AI在算力上一直都是一個重要的議題，因為所有模型除了「訓練」之外，連「推論」基本上都已經要GPU進行，在這次活動，Jerry老師看到了Google對TPU研發的實力，包含即將推出的Cloud TPU v4，可以超過250 teraflops(萬億次浮點運算每秒)，重點是耗電量比原來2018年推出的Cloud TPU v3還少了30%~40%真的很不容易，處理頻寬可以到PB等級，實在是很讓人期待。

有興趣的朋友可以看這部影片

Cloud TPU v4: Fast, flexible, and easy-to-use ML accelerators

https://youtu.be/W7A-9MYvPwI

中午Jerry老師就跟一群來自印度的朋友一起吃飯，分享自己的心得。