當(dāng)?shù)貢r(shí)間周一，科技媒體The Information援引一位Meta員工消息報(bào)道稱(chēng)，該公司計(jì)劃在下周推出兩個(gè)小型的Llama 3大語(yǔ)言模型（LLM），作為夏季推出正式版Llama 3的先行版本。
這兩個(gè)小模型的發(fā)布，預(yù)計(jì)將為L(zhǎng)lama 3的正式亮相進(jìn)行鋪墊。Meta在去年7月份發(fā)布了Llama 2，此后，包括谷歌、馬斯克旗下的xAI與Mistral等在內(nèi)的數(shù)家公司發(fā)布了開(kāi)源的大語(yǔ)言模型，競(jìng)爭(zhēng)十分激烈。
Llama 3直接對(duì)標(biāo)OpenAI的GPT-4，后者已經(jīng)成為一個(gè)強(qiáng)大的多模態(tài)模型，不僅能夠處理更長(zhǎng)的文本，還支持圖像輸入。
報(bào)道稱(chēng)，正式版Llama 3也將支持多模態(tài)處理，即同時(shí)理解和生成文本及圖片；而先行推出的兩個(gè)小版本則不具備這一能力。
一般而言，較小的模型成本更低，運(yùn)行更快，尤其在運(yùn)行大型模型成本高昂的當(dāng)下，其價(jià)值尤為凸顯。小型模型還便于開(kāi)發(fā)者在移動(dòng)設(shè)備上開(kāi)發(fā)人工智能軟件。
Meta此前已推出三個(gè)版本的Llama 2，其中最大的一個(gè)擁有700億個(gè)參數(shù)，另外兩個(gè)版本分別擁有130億和70億個(gè)參數(shù)。
據(jù)硬AI此前文章，Llama 3的最大版本可能會(huì)擁有超過(guò)1400億個(gè)參數(shù)。
Meta還將在Llama 3中改進(jìn)Llama 2在響應(yīng)爭(zhēng)議性話題時(shí)過(guò)于保守的問(wèn)題，研究人員計(jì)劃放松大模型在這一方面的限制，以便它更多地與用戶互動(dòng)，提供背景信息，而不僅僅是拒絕回答。
