資料科學實驗室: Google Machine Learning Community Summit 2022 活動速記

2022年11月2日星期三

Google Machine Learning Community Summit 2022 活動速記

照片來自Sakon

這次在疫情之後，第一次實體到訪泰國參與 Google 所舉辦的ML Community Summit 2022 這個活動一連舉辦兩天，從中間可以學習最新的產品的訊息，包含最新產品資訊包含Vertex AI、JAX, TPU, 圓桌討論、Team building活動等

加入Google Developer Expert Program之後，最多的收穫就是跟來自不同國家的交流，這次出席的開發專家有來自印度、韓國、土耳其、美國、英國、新加坡、臺灣、摩洛哥、巴西、義大利、哥倫比亞、法國、馬來西亞（按照簡報順序排序）等國家。

第一天見面禮超讚

照片來自Sakon

開場的時候我們的ML計畫主持人，幫大家準備了驚喜，就是Jeff Dean 幫大家親自簽名的論文，真的很榮幸能夠拿到他親自發表的論文以及簽名

照片來自Sakon

真的很棒。

接著就是陸續專家分享機器學習當紅議題，當然目前Google Cloud上面最流行的機器學習工具是Vertex AI，Google邀請了AI Platform Core的專家，從MLOps的角度做了完整的介紹，以及產品的發展方向，當然這個有簽NDA就不能透露太多，總之Vertex AI會是一個雲端在機器學習上會很便利的工具，當然這要結合GCP才能發揮對應價值，

有興趣可參閱這個網址與影片

Vertex AI

https://cloud.google.com/vertex-ai

What is Vertex AI?

https://youtu.be/gT4qqHMiEpA

如果您想要自己弄一個，當然也有開源的，可以參考Google開源的Kubeflow, TFX

https://www.kubeflow.org/

以及

https://www.tensorflow.org/tfx

kubeflow + TFX + JupyterLab再搭配基礎設施，就能弄一個類似的東西，就端看我們要快速便利，還是要自己弄，Jerry老師認為能否自己弄的關鍵，應該就是團隊強不強，再來就是管理工具要自己花時間設計與開發囉。

接著是現在Google DeepMind團隊用很兇的JAX，您可以想像他是Python Numpy當中的進階版，因為它可以直接支援GPU跟TPU，Jerry老師在讀書會中有一個簡單分享，請參閱這裡

https://youtu.be/SllsasgVntg

以現行的各種AI演算法，最吃重的運算資源，需要快速的透過程式碼去操控，但是目前很多框架都是包起來，所以都要透過工具去觀察狀況，但是不一定能夠做很快速的修改，Jerry老師認為JAX的強項在於，把很多要做深度學習的事情函式化了，像是vmap可以輕鬆實現向量化的操作，把很多維度的工作處理得很簡單，還有很多其他像是jit、grad等功能，網路上有人寫了鐵人賽

https://ithelp.ithome.com.tw/users/20129616/ironman/5220

有興趣可以參考一下

最後就是TPU，這個高技術含量的議題，大家都知道AI在算力上一直都是一個重要的議題，因為所有模型除了「訓練」之外，連「推論」基本上都已經要GPU進行，在這次活動，Jerry老師看到了Google對TPU研發的實力，包含即將推出的Cloud TPU v4，可以超過250 teraflops(萬億次浮點運算每秒)，重點是耗電量比原來2018年推出的Cloud TPU v3還少了30%~40%真的很不容易，處理頻寬可以到PB等級，實在是很讓人期待。

有興趣的朋友可以看這部影片

Cloud TPU v4: Fast, flexible, and easy-to-use ML accelerators

https://youtu.be/W7A-9MYvPwI

中午Jerry老師就跟一群來自印度的朋友一起吃飯，分享自己的心得。