Meta發布全新大型語言模型LLaMA|比OpenAI的GPT3還要好[com]?
() 2月27日消息:作為Meta對開放科學承諾的一部分,Meta公司日前公開了一個先進的大型語言模型,叫做LLaMA(大型語言模型Meta AI)。這個模型可以讓研究人員在人工智能領域做更多的探索。LLaMA比其他模型更小更強大,所以不需要太多的設備就能使用它。這樣一來,更多的人就能參與到這個重要而快速發展的領域中。
Meta首席執行官扎克伯格在Instagram上說,LLaMA可以幫助研究人員在很多復雜的任務上取得進步,比如生成文本、對話、總結文章、證明數學定理或預測蛋白質結構等。
Meta官網上有一篇文章介紹了LLaMA。LLaMA有4種不同大小的模型,分別是70億、130億、330億和650億參數。其中最小的LLaMA7B也用了超過1萬億個tokens來訓練。Meta說,在很多基準測試中,只有十分之一參數的LLaMA-13B比OpenAI的GPT3(175B)還要好。GPT3是ChatGPT所用的GPT3.5的前身。LLaMa-65B也可以和業界最好的Chinchilla-70B和PaLM-540B比拼。
去年5月,Meta曾發布過一個叫OPT-175B的大型語言模型給研究人員用。去年底還有一個叫Galactica的模型,但后者因為經常說出有偏見或不正確的信息,在48小時內被迅速下架。
Meta公司說,我們認為,負責任地使用人工智能和大型語言模型需要全社會–包括學者、民間組織、政策制定者和行業–共同努力,并制定清晰的準則。我們期待看到社區能從LLaMA中學到什么–并最終創造什么。