每經(jīng)記者 楊卉 每經(jīng)編輯 魏官紅
6月19日，《每日經(jīng)濟(jì)新聞》記者從中國電信(5.760, 0.06, 1.05%)處獲悉，近日，中國電信人工智能研究院（TeleAI）聯(lián)合北京智源人工智能研究院發(fā)布了全球首個單體稠密萬億參數(shù)語義模型Tele-FLM-1T，成為國內(nèi)首批發(fā)布稠密萬億參數(shù)大模型的機(jī)構(gòu)。
《每日經(jīng)濟(jì)新聞》記者了解到，針對大模型訓(xùn)練算力消耗高的問題，TeleAI與智源基于模型生長和損失預(yù)測等關(guān)鍵技術(shù)聯(lián)合研發(fā)出的Tele-FLM系列模型，僅使用了業(yè)界普通訓(xùn)練方案9%的算力資源，基于112臺A800服務(wù)器，用時4個月完成了3個模型總計2.3T tokens的訓(xùn)練。
中國電信方面透露，Tele-FLM-1T版本即將開源，期望為社區(qū)訓(xùn)練萬億稠密模型提供技術(shù)參考，避免萬億模型訓(xùn)練收斂難等問題。
據(jù)悉，作為最早布局并首先開源大模型的央企機(jī)構(gòu)，TeleAI去年發(fā)布了千億參數(shù)“星辰”語義大模型；今年2月，TeleAI自主研發(fā)的星辰大模型首次通過了“境內(nèi)深度合成服務(wù)算法備案”。今年5月15日，根據(jù)北京市生成式人工智能服務(wù)備案信息公告，星辰大模型再次通過產(chǎn)品備案�！半p備案”標(biāo)志著星辰大模型可正式對外提供生成式人工智能服務(wù)。
開源方面，TeleAI已接連開源7B、12B、52B參數(shù)規(guī)模大模型。隨著TeleChat系列模型的發(fā)布，TeleAI還同步對多個大模型落地項目進(jìn)行了能力升級，如在某市民生訴求場景項目上，通過引入TeleChat-52B模型能力，整體應(yīng)用效果提升40%。
