自從加入新創鏈結計畫(Inception Program)之後,公司就一直非常的繁忙,去年確認入選NVIDIA在生成式AI這塊領域的獨立軟體供應商(Independent software vendor, ISV)之後,幾乎在台灣相關的活動都有機會參與,非常榮幸能夠加入台灣少數的軟體供應商行列,跟著NVIDIA一起成長。
當然這次GTC 2024也很榮幸成為台灣唯二新創團隊演講的團隊,在活動中對大家介紹我們的產品。
自從加入新創鏈結計畫(Inception Program)之後,公司就一直非常的繁忙,去年確認入選NVIDIA在生成式AI這塊領域的獨立軟體供應商(Independent software vendor, ISV)之後,幾乎在台灣相關的活動都有機會參與,非常榮幸能夠加入台灣少數的軟體供應商行列,跟著NVIDIA一起成長。
當然這次GTC 2024也很榮幸成為台灣唯二新創團隊演講的團隊,在活動中對大家介紹我們的產品。
大家好,我是APMIC的資料科學家Jerry,很高興能夠跟大家介紹Google最近發表的落地模型Gemma,這個模型是Google Gemini雲端模型的家族模型,目前有分2B跟7B,支援在Keras 3.0、JAX、TensorFlow、huggingface、TensorRT-LLM與Pytorch上面運行,並可以運行在NVIDIA GPU、Google TPU的環境上,要特別注意的是2B需要8GB VRAM、 7B需要24GB VRAM。
性能比較如下:
在Meta、Mistral的比較下,Gemma表現略勝於同等級模型。開源的程式碼如下:
https://github.com/google-deepmind/gemma
Keras 3.0請參閱:
https://keras.io/api/keras_nlp/models/gemma/
https://www.kaggle.com/models/google/gemma/frameworks/keras
JAX:
https://www.kaggle.com/models/google/gemma/frameworks/flax
Pytorch:
https://www.kaggle.com/models/google/gemma/frameworks/pyTorch
可以直接到這裡看更多
如果只想無腦的用,可以直接在Colab上跑Gemma,請點這裡
Google官方的介紹
接下來,就來用一個例子分享給大家,這個例子是用Gemma來進行繁體中文的生成在旅宿的應用,只要三個步驟。
步驟一、先將模型呼叫進來
from transformers import AutoTokenizer, pipeline
import torch
model = "google/gemma-7b-it"
batch_size = 8
tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = pipeline(
"text-generation",
model=model,
model_kwargs={"torch_dtype": torch.bfloat16},
device="cuda",
batch_size=batch_size
)
步驟二、匯入資料後,借助下Prompt的方式,請他生成問題與答案
# df
input_list = []
for row in tqdm(df.itertuples()):
# Answer the question based on the context below\n\nText: {context}\n\n---\n\nQuestion: {question}\nAnswer:
messages = [
{"role": "user", "content": f"請根據文章回答問題\n\n文章:{row.doc}\n\n問題:{row.question}\n答案:"},
]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
input_list.append(prompt)
步驟三、寫個List裝資料
output_list = []
for i in tqdm(range(0,len(input_list),batch_size)):
outputs = pipeline(
input_list[i:i+batch_size],
max_new_tokens=256,
do_sample=True,
temperature=0.7,
top_k=50,
top_p=0.95
)
output_list.append(outputs)
就可以看到下面結果拉
湖景套房的尊榮日式套房平均尺寸:平均26坪 / 86平方公尺 / 925平方英尺\n湖景套房的尊榮日式套房人數:最多入住5位,依入住人數計費\n湖景套房的尊榮日式套房床鋪配置:1 大床+塌塌米\n\n問題:湖景套房的尊榮日式套房提供哪些設備和備品?\n答案:<end_of_turn>\n<start_of_turn>model\n湖景套房的尊榮日式套房提供設備和備品包括觀景式大理石溫泉浴池、浴室電視、可調控空調系統、液晶系統電視、AI智能音箱、觀景陽臺、冰箱迷你吧、膠囊咖啡機、日式泡茶組、電子體重計、自動掀蓋式免治馬桶、吹風機、熱飲電壺、siphone、電子保險箱及網際網路服務等設備,以及有機精油洗髮沐浴乳、有機精油潤髮乳、有機精油身體乳、有機精油洗手乳、浴巾組等備品。'}]
此Colab建議設定是A100、高RAM的選項
本文幫大家收集到2024年1月底之前,全球超過2,000下載次數的大型語言模型(LLM)的名稱與團隊,全球目前僅30多個模型可使用,重複的團隊會以最高次數的為主。
以超過兩千次下載的模型中,APMIC團隊所訓練的語言模型排名在全球第26名,不管研究或商用都好,非常感謝大家的支持。
其他下載次數也供大家參考
1.mistralai/Mixtral-8x7B-Instruct-v0.1
下載次數:1,047,390
2.Qwen/Qwen-72B
下載次數:10,377
3.NousResearch/Nous-Hermes-2-Yi-34B
下載次數:9,240
4.OpenPipe/mistral-ft-optimized-1218
下載次數:6,065
5.mindy-labs/mindy-7b-v2
下載次數:5,616
6.Yhyu13/LMCocktail-10.7B-v1
下載次數:5,451
7.Riiid/sheep-duck-llama-2-70b-v1.1
下載次數:5,439
8.SUSTech/SUS-Chat-34B
下載次數:4,823
9.CausalLM/72B-preview-llamafied-qwen-llamafy
下載次數:4,655
10.fblgit/UNA-SOLAR-10.7B-Instruct-v1.0
下載次數:4,155
11.LDCC/LDCC-SOLAR-10.7B
下載次數:4,117
12.deepseek-ai/deepseek-llm-67b-chat
下載次數:3,966
13.argilla/notux-8x7b-v1
下載次數:3,945
14.ignos/Mistral-T5-7B-v1
下載次數:3,888
15.PracticeLLM/SOLAR-tail-10.7B-Merge-v1.0
下載次數:3,163
16.cloudyu/Mixtral_34Bx2_MoE_60B
下載次數:3,071
17.VAGOsolutions/SauerkrautLM-Mixtral-8x7B-Instruct
下載次數:2,965
18.mlabonne/NeuralMarcoro14-7B
下載次數:2,650
19.fblgit/UNAversal-8x7B-v1beta
下載次數:2,637
20.jeonsworld/CarbonVillain-en-10.7B-v1
下載次數:2,602
21.Weyaxi/OpenHermes-2.5-neural-chat-v3-3-Slerp
下載次數:2,599
22.jondurbin/bagel-dpo-34b-v0.2
下載次數:2,224
23.DopeorNope/COKAL-v1-70B
下載次數:2,164
24.DiscoResearch/DiscoLM-70b
下載次數:2,117
25.OpenBuddy/openbuddy-deepseek-67b-v15.1
下載次數:2,090
26.APMIC/caigun-lora-model-34B-v2
下載次數:2,077
27.Brillibits/Instruct_Mixtral-8x7B-v0.1_Dolly15K
下載次數: 2,075
28.Toten5/Marcoroni-neural-chat-7B-v1
下載次數:2,050
29.TomGrc/FusionNet_7Bx2_MoE_14B
下載次數:2,047
30.jan-hq/supermario-slerp
下載次數:2,017