Meta,新語言模型支持運行在單張顯卡上,|ChatLLaMA,開源實現[ChatGPT]?
() 3月1日消息:Meta最近宣布推出了一款新的大型語言模型LLaMA-13B,該模型的參數規模雖然比OpenAI的GPT- 3 模型小,但表現更為出色,而且只需要單張顯卡即可運行,這使得采用普通用戶的硬件也有可能提供與ChatGPT相似的AI聊天機器人性能。
LLaMA語言模型的規模從 70 億到 650 億個參數,而OpenAI GPT- 3 模型有 1750 億個參數。Meta使用了Common Crawl、Wikipedia和C4 等公共數據集來訓練該模型,并有可能公開其源代碼和權重。Meta表示LLaMA是其基礎模型,將是該公司未來更先進模型的基礎。
LLaMA-13B模型在BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC和OpenBookQA等標準測試中的表現超過了GPT-3。而GPT- 3 等后續模型需要數據中心規模的計算能力進行處理,而LLaMA-13B只需要單張顯卡即可運行,為在消費者硬件上實現類似ChatGPT的性能打開了大門。
這一消息引起了廣泛關注。現在,Nebuly AI就推出了基于人類反饋強化學習的LLaMA AI聊天機器人的首個開源實現ChatLLaMA(https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/chatllama)。