【資料圖】
IT之家 2 月 25 日消息,Meta 在當(dāng)?shù)貢r間周五宣布,它將推出一種針對研究社區(qū)的基于人工智能 (AI) 的新型大型語言模型,與微軟、谷歌等一眾受到 ChatGPT 刺激的公司一同加入人工智能競賽。
Meta 的 LLaMA 是“大型語言模型 Meta AI” (Large Language Model Meta AI)的縮寫,它可以在非商業(yè)許可下提供給政府、社區(qū)和學(xué)術(shù)界的研究人員和實體工作者。
該公司將提供底層代碼供用戶使用,因此用戶可以自行調(diào)整模型,并將其用于與研究相關(guān)的用例。Meta 表示,該模型對算力的要求“低得多”。
據(jù)介紹,該公司正在開發(fā)多種參數(shù)(7B、13B、33B 和 65B)的 LLaMA。其中,LLaMA 65B 和 LLaMA 33B 在 1.4 萬億個 tokens 上訓(xùn)練,而最小的模型 LLaMA 7B 也經(jīng)過了 1 萬億個 tokens 的訓(xùn)練。
與其他大型語言模型一樣,LLaMA 的工作原理是將一系列單詞作為“輸入”并預(yù)測下一個單詞以遞歸生成文本。為了這套模型,Meta 從使用人數(shù)最多的 20 種語言中選擇文本進行訓(xùn)練,重點是拉丁語和西里爾字母。
當(dāng)然,與其他模型一樣,LLaMA 也面臨著偏見、有毒評論和幻覺的挑戰(zhàn),Meta 還需要做更多的研究來解決這類語言模型中的不足。
Meta 表示,LLaMA 作為一個基礎(chǔ)模型被設(shè)計成多功能的,可以應(yīng)用于許多不同的用例,而不是為特定任務(wù)設(shè)計的微調(diào)模型。通過開源 LLaMA 的代碼,其他研究人員可以更輕松地找到限制或消除這些問題的新方法。Meta 還在本文中提供了一組評估模型偏差和毒性的基準評估標準,以顯示模型的局限性并支持研究人員在這一關(guān)鍵領(lǐng)域的進一步研究。
值得一提的是,Meta 在去年 5 月也曾推出過大型語言模型 OPT-175B。該項目同樣也是針對研究人員的,這構(gòu)成了其聊天機器人 blenterbot 新迭代的基礎(chǔ)。
后來,該公司還推出了一款名為“卡拉狄加”(Galactica) 的模型,據(jù)稱它可以撰寫科學(xué)文章和解決數(shù)學(xué)問題,但其演示版本后來被下架,因為它反復(fù)生成“聽起來很權(quán)威”的內(nèi)容。
網(wǎng)站首頁 |網(wǎng)站簡介 | 關(guān)于我們 | 廣告業(yè)務(wù) | 投稿信箱
Copyright © 2000-2020 m.netfop.cn All Rights Reserved.
中國網(wǎng)絡(luò)消費網(wǎng) 版權(quán)所有 未經(jīng)書面授權(quán) 不得復(fù)制或建立鏡像
聯(lián)系郵箱:920 891 263@qq.com