NVIDIA GTC 2024 之旅

自從加入新創鏈結計畫(Inception Program)之後，公司就一直非常的繁忙，去年確認入選NVIDIA在生成式AI這塊領域的獨立軟體供應商(Independent software vendor, ISV)之後，幾乎在台灣相關的活動都有機會參與，非常榮幸能夠加入台灣少數的軟體供應商行列，跟著NVIDIA一起成長。

當然這次GTC 2024也很榮幸成為台灣唯二新創團隊演講的團隊，在活動中對大家介紹我們的產品。

當然最辛苦的還是搭飛機，去跟回加起來要快24小時，而且不含調時差

活動中有超過900個議程，還可以線上聽，非常的有收穫。

新創團隊展區，今年我們沒擺攤，明年再來，大部分的攤位都是影像視覺、AI基礎設施比較多

連路上都有掛旗子

第一天一定要聽的就是Keynote，直接看影片感受Jensen huang的魅力吧

2024辦在 SAP Center，超過一萬多人參與，座無虛席，看起來就像演唱會

新創鏈結計畫(Inception Program)

這個如果被選上，很棒喔。

今年在這做 Startup Pitch

遇到奎景運算科技股份有限公司(Avalanche Computing Taiwan Inc.)的CEO Jay，很榮幸跟他一起是台灣唯二來分享的團隊

他也介紹一位日本朋友認識

當然有一些我上場的照片，不過真的很榮幸，能夠站在GTC這個大活動的現場，據說下面大部分都是投資人。

然後也很榮幸參加隔天的台灣晚宴活動，據說我們也是少數能夠參與的ISV軟體公司，很榮幸能夠跟著NVIDIA一起發展軟體生態圈

當然很榮幸能夠見到教主，並一起吃飯

接著隔天緊鑼密鼓被安排了許多會議，包含計畫的副總、產品、BD會議

然後一樣晚上還有晚宴在總部跟全球NV雲端NCP的公司互動

教主又再次現身，不過淹沒人群中

最後謝謝最初牽線我們公司的NV人，我們非常感謝他。

最後如果大家有興趣可以申請 Taiwan-inception-program 囉！

https://www.nvidia.com/zh-tw/startups/taiwan-inception-program/

五分鐘學會用Google Gemma語言模型來生成旅宿問題

 

大家好，我是APMIC的資料科學家Jerry，很高興能夠跟大家介紹Google最近發表的落地模型Gemma，這個模型是Google Gemini雲端模型的家族模型，目前有分2B跟7B，支援在Keras 3.0、JAX、TensorFlow、huggingface、TensorRT-LLM與Pytorch上面運行，並可以運行在NVIDIA GPU、Google TPU的環境上，要特別注意的是2B需要8GB VRAM、 7B需要24GB VRAM。

性能比較如下：

在Meta、Mistral的比較下，Gemma表現略勝於同等級模型。

開源的程式碼如下：

https://github.com/google-deepmind/gemma

Keras 3.0請參閱：

https://keras.io/api/keras_nlp/models/gemma/

https://www.kaggle.com/models/google/gemma/frameworks/keras

JAX：

https://www.kaggle.com/models/google/gemma/frameworks/flax

Pytorch：

https://www.kaggle.com/models/google/gemma/frameworks/pyTorch

可以直接到這裡看更多

如果只想無腦的用，可以直接在Colab上跑Gemma，請點這裡

Google官方的介紹

https://ai.google.dev/gemma

接下來，就來用一個例子分享給大家，這個例子是用Gemma來進行繁體中文的生成在旅宿的應用，只要三個步驟。

步驟一、先將模型呼叫進來

from transformers import AutoTokenizer, pipeline

import torch

model = "google/gemma-7b-it"

batch_size = 8

tokenizer = AutoTokenizer.from_pretrained(model)

pipeline = pipeline(

    "text-generation",

    model=model,

    model_kwargs={"torch_dtype": torch.bfloat16},

    device="cuda",

    batch_size=batch_size

)

步驟二、匯入資料後，借助下Prompt的方式，請他生成問題與答案

# df

input_list = []

for row in tqdm(df.itertuples()):

    # Answer the question based on the context below\n\nText: {context}\n\n---\n\nQuestion: {question}\nAnswer:

    messages = [

            {"role": "user", "content": f"請根據文章回答問題\n\n文章：{row.doc}\n\n問題:{row.question}\n答案:"},

        ]

    prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

    input_list.append(prompt)

步驟三、寫個List裝資料

output_list = []

for i in tqdm(range(0,len(input_list),batch_size)):

    outputs = pipeline(

        input_list[i:i+batch_size],

        max_new_tokens=256,

        do_sample=True,

        temperature=0.7,

        top_k=50,

        top_p=0.95

    )

    output_list.append(outputs)

就可以看到下面結果拉

湖景套房的尊榮日式套房平均尺寸：平均26坪 / 86平方公尺 / 925平方英尺\n湖景套房的尊榮日式套房人數：最多入住5位，依入住人數計費\n湖景套房的尊榮日式套房床鋪配置：1 大床+塌塌米\n\n問題:湖景套房的尊榮日式套房提供哪些設備和備品？\n答案:<end_of_turn>\n<start_of_turn>model\n湖景套房的尊榮日式套房提供設備和備品包括觀景式大理石溫泉浴池、浴室電視、可調控空調系統、液晶系統電視、AI智能音箱、觀景陽臺、冰箱迷你吧、膠囊咖啡機、日式泡茶組、電子體重計、自動掀蓋式免治馬桶、吹風機、熱飲電壺、siphone、電子保險箱及網際網路服務等設備，以及有機精油洗髮沐浴乳、有機精油潤髮乳、有機精油身體乳、有機精油洗手乳、浴巾組等備品。'}]

此Colab建議設定是A100、高RAM的選項

最後是亞太智能機器(APMIC)所推出的CaiGun模型與Gemma的比較，比較環境都在A100一張上面

CaiGun需約 64 VRAM，Gemma需約24GB VRAM，分數還是有差距，以上供大家參考囉！

大語言模型LLM落地版排行榜下載率比較

本文幫大家收集到2024年1月底之前，全球超過2,000下載次數的大型語言模型(LLM)的名稱與團隊，全球目前僅30多個模型可使用，重複的團隊會以最高次數的為主。

以超過兩千次下載的模型中，APMIC團隊所訓練的語言模型排名在全球第26名，不管研究或商用都好，非常感謝大家的支持。

其他下載次數也供大家參考

1.mistralai/Mixtral-8x7B-Instruct-v0.1 

下載次數：1,047,390

2.Qwen/Qwen-72B 

下載次數：10,377

3.NousResearch/Nous-Hermes-2-Yi-34B 

下載次數：9,240

4.OpenPipe/mistral-ft-optimized-1218 

下載次數：6,065

5.mindy-labs/mindy-7b-v2 

下載次數：5,616

6.Yhyu13/LMCocktail-10.7B-v1 

下載次數：5,451

7.Riiid/sheep-duck-llama-2-70b-v1.1

下載次數：5,439

8.SUSTech/SUS-Chat-34B 

下載次數：4,823

9.CausalLM/72B-preview-llamafied-qwen-llamafy 

下載次數：4,655

10.fblgit/UNA-SOLAR-10.7B-Instruct-v1.0 

下載次數：4,155

11.LDCC/LDCC-SOLAR-10.7B 

下載次數：4,117

12.deepseek-ai/deepseek-llm-67b-chat 

下載次數：3,966

13.argilla/notux-8x7b-v1 

下載次數：3,945

14.ignos/Mistral-T5-7B-v1 

下載次數：3,888

15.PracticeLLM/SOLAR-tail-10.7B-Merge-v1.0 

下載次數：3,163

16.cloudyu/Mixtral_34Bx2_MoE_60B 

下載次數：3,071

17.VAGOsolutions/SauerkrautLM-Mixtral-8x7B-Instruct 

下載次數：2,965

18.mlabonne/NeuralMarcoro14-7B 

下載次數：2,650

19.fblgit/UNAversal-8x7B-v1beta 

下載次數：2,637

20.jeonsworld/CarbonVillain-en-10.7B-v1 

下載次數：2,602

21.Weyaxi/OpenHermes-2.5-neural-chat-v3-3-Slerp 

下載次數：2,599

22.jondurbin/bagel-dpo-34b-v0.2 

下載次數：2,224

23.DopeorNope/COKAL-v1-70B 

下載次數：2,164

24.DiscoResearch/DiscoLM-70b 

下載次數：2,117

25.OpenBuddy/openbuddy-deepseek-67b-v15.1 

下載次數：2,090

26.APMIC/caigun-lora-model-34B-v2 

下載次數：2,077

27.Brillibits/Instruct_Mixtral-8x7B-v0.1_Dolly15K

下載次數： 2,075

28.Toten5/Marcoroni-neural-chat-7B-v1 

下載次數：2,050

29.TomGrc/FusionNet_7Bx2_MoE_14B 

下載次數：2,047

30.jan-hq/supermario-slerp 

下載次數：2,017