飛象網(wǎng)訊 （一飛/文）在福建，瑕疵AI視覺(jué)檢測(cè)系統(tǒng)賦能紡織企業(yè)開(kāi)展AI視覺(jué)識(shí)別檢測(cè)，有效提升產(chǎn)品質(zhì)量和生產(chǎn)效率；在河南，精準(zhǔn)高效的農(nóng)業(yè)專用AI解決方案為農(nóng)戶提供便捷高效的農(nóng)業(yè)知識(shí)問(wèn)答服務(wù)；在黑龍江，龍江政務(wù)服務(wù)依托九天海算政務(wù)大模型，實(shí)現(xiàn)“一網(wǎng)通辦、一網(wǎng)統(tǒng)管、一網(wǎng)協(xié)同”……
“九天”人工智能基座的神秘面紗在數(shù)字中國(guó)建設(shè)峰會(huì)中國(guó)移動(dòng)人工智能大會(huì)上被揭開(kāi)，“九天”不僅是一個(gè)技術(shù)創(chuàng)新的里程碑，更是助推經(jīng)濟(jì)社會(huì)高質(zhì)量發(fā)展的強(qiáng)大引擎，由萬(wàn)卡級(jí)智算集群鑄就堅(jiān)實(shí)根基，千億多模態(tài)大模型構(gòu)建豐富內(nèi)涵，匯聚百大要素的生態(tài)平臺(tái)成就了其廣闊視野與無(wú)限可能，為數(shù)字經(jīng)濟(jì)的蓬勃發(fā)展注入了強(qiáng)大動(dòng)力。
“九天”亮劍，實(shí)現(xiàn)跨越式發(fā)展
“可上九天攬?jiān)�，可下五洋捉鱉”。中國(guó)移動(dòng)始終與國(guó)家的發(fā)展脈搏同頻共振，自2013年起便踏上了與人工智能深度融合的探索之路，打造了全力投身人工智能技術(shù)創(chuàng)新和產(chǎn)品研發(fā)的“九天”團(tuán)隊(duì)，致力于將人工智能技術(shù)融入其核心業(yè)務(wù)，推動(dòng)行業(yè)的智能化發(fā)展。
中國(guó)移動(dòng)“九天”團(tuán)隊(duì)從智能客服領(lǐng)域入手，助力10086客服成為全球交互量最大的智能客服系統(tǒng)；又在大數(shù)據(jù)智能領(lǐng)域深入攻關(guān)，助力多個(gè)省公司顯著提升了營(yíng)銷(xiāo)效益。
為進(jìn)一步加快人工智能的廣泛創(chuàng)新，中國(guó)移動(dòng)2017年正式上線了“九天”人工智能平臺(tái)。
該平臺(tái)是國(guó)內(nèi)首個(gè)運(yùn)營(yíng)商自主研發(fā)的人工智能平臺(tái)，可助力人工智能開(kāi)發(fā)者們充分利用中國(guó)移動(dòng)在算力、數(shù)據(jù)等技術(shù)資源的規(guī)�；瘍�(yōu)勢(shì)而敏捷、高效地實(shí)現(xiàn)豐富多樣的人工智能算法、應(yīng)用，并加速這些成果在中國(guó)移動(dòng)豐富的應(yīng)用場(chǎng)景中得到落地。
“面向通用人工智能的‘人工智能大平臺(tái)’，其能力底座是大模型�！本盘旎A(chǔ)大模型研發(fā)負(fù)責(zé)人表示，AI給整個(gè)行業(yè)帶來(lái)了革命性的變化，所有從事這個(gè)行業(yè)的人都會(huì)非常期待�！拔蚁嘈胖悄芑瘯�(huì)深入到生產(chǎn)生活、社會(huì)治理、科學(xué)研究等方方面面，我相信它一定會(huì)讓我們整個(gè)文明上升一個(gè)臺(tái)階。”
拾級(jí)而上，攻堅(jiān)難題鍛長(zhǎng)板
隨著科技的飛速發(fā)展，人工智能已成為引領(lǐng)數(shù)字化轉(zhuǎn)型的重要力量。2023年3月，中國(guó)移動(dòng)成立大模型研發(fā)團(tuán)隊(duì)，攻關(guān)通用人工智能技術(shù)，搶占科技制高點(diǎn)。
大模型的訓(xùn)推技術(shù)是一個(gè)新的方向，在全球任何一家公司都是核心機(jī)密，公開(kāi)的學(xué)術(shù)論文只能窺看到冰山之一角，但這些已經(jīng)是研發(fā)團(tuán)隊(duì)獲取訓(xùn)練技術(shù)的最佳途徑。
在九天基礎(chǔ)大模型研發(fā)工作中，研究人員很多時(shí)候要摸著石頭過(guò)河，甚至要勇闖技術(shù)“無(wú)人區(qū)”，日夜不輟地提煉技術(shù)要點(diǎn)，為大模型攻關(guān)積累了知識(shí)底座，結(jié)合訓(xùn)練過(guò)程，形成了完整的訓(xùn)練日志，成為了大模型攻關(guān)過(guò)程中最寶貴的知識(shí)財(cái)富。
“眾人拾柴火焰高”，沒(méi)有現(xiàn)成標(biāo)準(zhǔn)可遵循、沒(méi)有成熟經(jīng)驗(yàn)可借鑒，在這種情況下，研發(fā)團(tuán)隊(duì)在多方渠道收集了近500萬(wàn)億字符的原始文本數(shù)據(jù)，其規(guī)模近乎覆蓋了人類(lèi)有史以來(lái)全量的文本類(lèi)知識(shí)。他們對(duì)這些數(shù)據(jù)進(jìn)行一輪又一輪的精洗和去重，優(yōu)選的比例是100:1，打造出近5萬(wàn)億字符的高質(zhì)量訓(xùn)練數(shù)據(jù)集，為大模型訓(xùn)練奠定了數(shù)據(jù)基礎(chǔ)。
最開(kāi)始的半年時(shí)間里，算力不足、平臺(tái)的斷點(diǎn)續(xù)訓(xùn)功能也未開(kāi)發(fā)完成，研發(fā)團(tuán)隊(duì)24小時(shí)日夜監(jiān)控千卡集群的訓(xùn)練狀態(tài)，第一時(shí)間處理故障、恢復(fù)訓(xùn)練任務(wù)。但因?yàn)閷?duì)模型的超參數(shù)設(shè)置把握火候不夠，訓(xùn)練一次次歸零，一次次從頭再來(lái)。在挫折面前，他們展現(xiàn)出極強(qiáng)的韌性和抗壓能力，堅(jiān)守一線，直到模型最終收斂出完美的曲線。
新技術(shù)要敢于在實(shí)際的生產(chǎn)中錘煉。在大模型訓(xùn)練過(guò)程中，對(duì)于高性能算力資源面臨著嚴(yán)重的“卡脖子”問(wèn)題，相應(yīng)的框架、加速技術(shù)等也難以直接使用，亟需實(shí)現(xiàn)全鏈路高度自主可控的大模型訓(xùn)練。
現(xiàn)在九天語(yǔ)言大模型已實(shí)現(xiàn)在近萬(wàn)卡集群上進(jìn)行訓(xùn)練，速度達(dá)130T Flops，無(wú)故障訓(xùn)練時(shí)長(zhǎng)在同等規(guī)模芯片訓(xùn)練中達(dá)到國(guó)際領(lǐng)先水平，已與中石油、中航信、中化等央企建立合作，加速產(chǎn)業(yè)賦能。
積力所舉，則無(wú)不勝；眾智所為，則無(wú)不成。中國(guó)移動(dòng)將與產(chǎn)業(yè)一道，不斷建強(qiáng)“九天”人工智能基座，立足于在重點(diǎn)領(lǐng)域形成創(chuàng)新突破，推進(jìn)AI在通信服務(wù)領(lǐng)域的創(chuàng)新發(fā)展及落地應(yīng)用，帶動(dòng)我國(guó)大模型產(chǎn)業(yè)生態(tài)融通共贏。
