2024 vivo開發(fā)者大會(huì)于10月10日在廣東深圳正式召開，vivo發(fā)布自研大模型——全新藍(lán)心大模型矩陣，為用戶和開發(fā)者帶來諸多驚喜。在同日舉辦的人工智能會(huì)場(chǎng)上，vivo AI團(tuán)隊(duì)分享了在AI領(lǐng)域取得的最新成果，以前沿解決方案引領(lǐng)大模型創(chuàng)新與用戶體驗(yàn)升級(jí)，助力開發(fā)者高效創(chuàng)新。
全新藍(lán)心大模型矩陣
長期以來，vivo持續(xù)在AI領(lǐng)域深耕，緊跟前沿技術(shù)，不斷探索AI在終端設(shè)備上的用戶使用場(chǎng)景，致力于為用戶帶來更優(yōu)質(zhì)的用機(jī)體驗(yàn)。vivo AI算法技術(shù)總監(jiān)李方圓表示，隨著大模型技術(shù)日益成熟，vivo在語言、圖像、語音、多模態(tài)等全模態(tài)的AI技術(shù)上逐步升級(jí)為大模型能力，正從傳統(tǒng)的AI技術(shù)時(shí)代邁向大模型AI技術(shù)時(shí)代。
vivo AI算法技術(shù)總監(jiān)李方圓
全新藍(lán)心大模型帶來4項(xiàng)核心升級(jí)：
1、語言大模型升級(jí)：BlueLM-70B 2.0模型較1.0模型能力提升30%，新增多模態(tài)多輪指令理解、工具使用和代碼能力等亮點(diǎn)功能；
2、圖像大模型創(chuàng)新：推出中文原生文生圖大模型，突破文字可控生成技術(shù)難題；
3、全模態(tài)技術(shù)擴(kuò)展：新增語音和多模態(tài)理解大模型，實(shí)現(xiàn)全模態(tài)AI技術(shù)升級(jí)；
4、端側(cè)大模型發(fā)布：隆重推出3B端側(cè)大模型，能力更強(qiáng)、速度更快、更加安全和應(yīng)用更廣的4大特性。
全新語言大模型帶來3項(xiàng)核心升級(jí)：
1、云端語言大模型升級(jí)：BlueLM-70B 2.0新增學(xué)習(xí)了1億知識(shí)問答，500w篇的論文，以及1.2億代碼倉庫等高質(zhì)量數(shù)據(jù)，模型整體能力提升30%。新增了多模態(tài)多輪對(duì)話能力，支持400+手機(jī)系統(tǒng)工具和180+三方工具的調(diào)用，以及全面升級(jí)了大模型的代碼生成能力，能實(shí)現(xiàn)數(shù)理計(jì)算和Excel的數(shù)據(jù)分析能力。
2、重磅推出3B端側(cè)大模型：帶來手機(jī)終端黃金尺寸3B端側(cè)大模型，在模型能力領(lǐng)跑行業(yè)5B以下模型，在寫作對(duì)話、摘要總結(jié)、信息抽取等業(yè)務(wù)能力上，超越行業(yè)7B-9B模型。極致出詞速度達(dá)到80字/s，內(nèi)存占用僅1.4G，真正打破了“模型小、能力強(qiáng)、消耗低“的不可能三角定律”。
3、語言大模型新增圖像理解能力：通過將文本、圖像抽象成統(tǒng)一的token表示，vivo為語言大模型新增了看世界的“眼睛”，能夠理解手機(jī)上的文字和圖片多種模態(tài)的信息。BlueLM-V-3B模型，領(lǐng)跑行業(yè)4B及以下的多模態(tài)大模型。
語音大模型四大核心能力，讓智能語音交互更簡單、高效
語音技術(shù)在智能手機(jī)中的地位日益凸顯，廣泛應(yīng)用于出行、家居娛樂、辦公及無障礙功能等多個(gè)領(lǐng)域。vivo AI語音中心負(fù)責(zé)人陳彬彬指出，vivo自2017年起便致力于語音技術(shù)的研發(fā)，并將多項(xiàng)創(chuàng)新成果融入其產(chǎn)品中。為進(jìn)一步提升體驗(yàn)，vivo帶來了自研語音大模型。
vivo AI語音中心負(fù)責(zé)人陳彬彬
vivo自研語音大模型基于藍(lán)心文本大模型開發(fā)，通過離散化編碼結(jié)合文本大模型學(xué)習(xí)，實(shí)現(xiàn)更智能、豐富和簡單的語音交互。它具備四大核心能力：語音合成、音色復(fù)刻、語音翻譯和方言自由說。語音合成能將文本轉(zhuǎn)化為逼真擬人的語音，支持多語言及方言；音色復(fù)刻則只需用戶一句話即可復(fù)制音色；方言自由說功能不僅滿足用戶方言交流需求，還助力方言文化的保護(hù)與傳承；語音翻譯能力則能直接將語音轉(zhuǎn)化為目標(biāo)語言文本，提高翻譯效率。vivo將繼續(xù)深耕語音大模型在各場(chǎng)景的應(yīng)用，提升用戶體驗(yàn)，并期待與各界共同探索大模型技術(shù)的更多可能性，造福社會(huì)。未來，vivo計(jì)劃將語音大模型能力逐步開放至智能體平臺(tái)，以更廣泛地服務(wù)于用戶和開發(fā)者。
讓圖像生成技術(shù)觸手可及，實(shí)現(xiàn)AI普惠
隨著擴(kuò)散模型與AI架構(gòu)的深度融合，圖像生成技術(shù)迎來了指數(shù)級(jí)飛躍，其中文生圖技術(shù)尤為顯著。vivo AIGC圖像大模型技術(shù)總監(jiān)阮曉虎在論壇上介紹了vivo的文生圖大模型——藍(lán)心圖像大模型BlueLM-Art，該模型精通中文語境，融合了中國特色與東方美學(xué)，其在中文理解、中國文化詮釋、人物攝影美學(xué)及中文文字繪制等多個(gè)維度都取得了出色的效果，多次榮登SuperCLUE-Image基準(zhǔn)榜單中文領(lǐng)域榜首。
vivo AIGC圖像大模型技術(shù)總監(jiān)阮曉虎
通過在算法架構(gòu)、數(shù)據(jù)處理、工程以及算力上的全面優(yōu)化，使藍(lán)心圖像大模型BlueLM-Art擁有諸多特性，不僅精通中文，擁有出色的指令跟隨性，還能生成與圖文完美結(jié)合的中文字符，并提供藝術(shù)字繪制插件。同時(shí)，藍(lán)心圖像大模型BlueLM-Art在人物攝影美學(xué)方面有著卓越表現(xiàn)，能呈現(xiàn)美觀、真實(shí)、富有質(zhì)感的人物形象。最后，BlueLM-Art還擁有可控性生成能力，能在圖像創(chuàng)作中保持更高的主體一致性。
基于藍(lán)心圖像大模型BlueLM-Art，vivo在藍(lán)心小V中推出了圖像創(chuàng)作、AI消除、圖像風(fēng)格化、藝術(shù)字創(chuàng)作等一系列AI功能，并在PAD的原子筆記中加入了AI涂鴉美化功能，極大地提升了用戶的創(chuàng)作體驗(yàn)。后續(xù)vivo將繼續(xù)優(yōu)化文生圖大模型及其相關(guān)AIGC功能，為用戶提供更多創(chuàng)意資源，讓先進(jìn)的AI技術(shù)惠及更廣泛的用戶群體，持續(xù)推動(dòng)圖像生成技術(shù)的創(chuàng)新與發(fā)展。
大模型端側(cè)化，用戶體驗(yàn)持續(xù)升級(jí)
vivo AI端計(jì)算負(fù)責(zé)人魯晶分享了vivo在全模態(tài)大模型端側(cè)化的探索與成就。AI算法端側(cè)化作為平衡體驗(yàn)、安全與成本的解決方案，不僅保障了用戶在無網(wǎng)或弱網(wǎng)環(huán)境下的智能體驗(yàn)，還確保了個(gè)人數(shù)據(jù)安全，并有效降低了使用成本。
vivo AI端計(jì)算負(fù)責(zé)人魯晶
大模型時(shí)代，vivo持續(xù)推進(jìn)各模態(tài)大模型端側(cè)化能力建設(shè)，探索大模型在各業(yè)務(wù)場(chǎng)景端側(cè)產(chǎn)品落地，覆蓋“聽、說、讀、寫、畫”各應(yīng)用場(chǎng)景。在“聽”方面，vivo升級(jí)應(yīng)用語音識(shí)別大模型，讓語音操作隨時(shí)可用；在“說”方面，利用語音生成大模型生成超擬人音色，為故事講述賦予更鮮活的魅力；在“讀”方面，利用多模態(tài)大模型針對(duì)視障用戶打造圖像問答功能；在“寫”方面，將語言大模型在端側(cè)更廣泛的應(yīng)用，同時(shí)升級(jí)為3B端側(cè)大模型，給用戶更為優(yōu)質(zhì)的體驗(yàn)。此外，vivo還探索了圖像大模型端側(cè)化，為用戶帶來隨時(shí)可用的AI消除功能。。
針對(duì)全模態(tài)大模型端側(cè)化，vivo 從算法模型設(shè)計(jì)，到量化、性能瓶頸分析工具建設(shè)，再到底層運(yùn)行時(shí)異構(gòu)方案設(shè)計(jì)和業(yè)務(wù)框架層靈活的多業(yè)務(wù)部署架構(gòu)建設(shè)，提供了完整的解決方案。通過軟硬件協(xié)同，充分挖掘芯片潛力，確保大模型在端側(cè)運(yùn)行時(shí)的強(qiáng)悍性能。未來，vivo計(jì)劃開放成熟算法能力與端側(cè)加速能力，與行業(yè)開發(fā)者合作，共同打造創(chuàng)新、便利、智能的業(yè)務(wù)場(chǎng)景，為用戶提供更優(yōu)質(zhì)的智能化體驗(yàn)。
攻克AI三大挑戰(zhàn)，打造高效穩(wěn)定的大模型工程體系
vivo AI工程架構(gòu)專家陳崇沛分享了vivo在大規(guī)模高性能計(jì)算領(lǐng)域的探索與創(chuàng)新。他指出，大規(guī)模訓(xùn)練、高性能推理及海量算力治理是AI落地面臨的三大挑戰(zhàn)。為此，vivo構(gòu)建了大模型工程體系，解決了大規(guī)模訓(xùn)練的問題，讓模型能按天迭代；解決高性能推理的問題，能秒級(jí)生成圖片；搭建了堅(jiān)如磐石的萬卡集群，算力能持續(xù)穩(wěn)定輸出。這一體系全面支撐了vivo各模態(tài)、模型的訓(xùn)練與推理，廣泛應(yīng)用于vivo的AI產(chǎn)品中。
vivo AI工程架構(gòu)專家陳崇沛
展望未來，vivo要打造出強(qiáng)有力的個(gè)人化智能產(chǎn)品，就要具備o1這類強(qiáng)邏輯推斷能力的模型。而大模型工程的關(guān)鍵是性能和靈活性兼具的強(qiáng)化學(xué)習(xí)訓(xùn)練框架，這樣才能發(fā)揮出強(qiáng)化學(xué)習(xí)Scaling law的威力。為了實(shí)現(xiàn)這個(gè)目標(biāo)，vivo的思路是：以訓(xùn)推一體架構(gòu)為基礎(chǔ)，整合自研推理引擎和訓(xùn)練框架，滿足多模型訓(xùn)練推理協(xié)同的要求，支持高性能、高靈活性的自博弈強(qiáng)化學(xué)習(xí)。o1的技術(shù)路線目前只露出冰山一角，還有很大的探索空間，讓我們拭目以待。
vivo意圖框架，實(shí)現(xiàn)精準(zhǔn)服務(wù)分發(fā)與全場(chǎng)景智能化體驗(yàn)
如今AI改變了人機(jī)交互方式，在AI大模型的加持下，智能化體驗(yàn)有了較大升級(jí)，用戶可以通過對(duì)話等方式來替代傳統(tǒng)的交互方式，實(shí)現(xiàn)以AI為中心的交互模式變革。vivo AI系統(tǒng)技術(shù)總監(jiān)許勝華表示，智慧服務(wù)在體驗(yàn)升級(jí)的同時(shí)，也面臨全新的挑戰(zhàn)，vivo持續(xù)與生態(tài)伙伴探索高效精準(zhǔn)的服務(wù)分發(fā)模式，基于此vivo面向開發(fā)者提供了意圖框架解決方案。
vivo AI系統(tǒng)技術(shù)總監(jiān)許勝華
通過意圖框架，連接開發(fā)者和系統(tǒng)，結(jié)合AI能力理解用戶意圖，再通過系統(tǒng)入口將生態(tài)服務(wù)精準(zhǔn)分發(fā)至用戶，從而提供全場(chǎng)景、智能化的服務(wù)體驗(yàn)。在原系統(tǒng)5（Origin OS 5）上，意圖框架已經(jīng)跟系統(tǒng)的藍(lán)心小V、原子島、小V建議等交互入口全面打通，帶給用戶帶來便捷貼心的用機(jī)體驗(yàn)。目前vivo意圖框架已上線24個(gè)垂域，53個(gè)意圖標(biāo)準(zhǔn)，方便開發(fā)者接入使用。
藍(lán)心智能體開放平臺(tái)賦能，助力構(gòu)建智能體生態(tài)
vivo AI解決方案中心高級(jí)經(jīng)理蔡永超介紹了藍(lán)心智能體開放平臺(tái)，該平臺(tái)可以提升AI與人的協(xié)作體驗(yàn)�；谥悄荏w開放平臺(tái)，還支撐起vivo 1+X+N智能體協(xié)作體系的構(gòu)建，為用戶提供溫暖、智能的體驗(yàn)。
vivo AI解決方案中心高級(jí)經(jīng)理蔡永超
vivo為開發(fā)者提供一站式智能體開發(fā)、分發(fā)、運(yùn)營平臺(tái)，助力開發(fā)者高效、便捷地實(shí)現(xiàn)智能體的開發(fā)。在流量方面，vivo提供了包含鎖屏、息屏、通知、負(fù)一屏、全搜、藍(lán)心小V等入口在內(nèi)的多個(gè)分發(fā)入口，為開發(fā)者帶來億級(jí)流量曝光和轉(zhuǎn)化。
vivo藍(lán)心智能體的創(chuàng)建流程簡單快捷，只需創(chuàng)建、配置、調(diào)試、發(fā)布四個(gè)步驟即可快速搭建一個(gè)智能體。目前平臺(tái)已與支付寶AI健康管家、攜程、百度地圖、懂車帝、同程旅行等應(yīng)用合作，提供多種智能服務(wù)。
藍(lán)心智能體平臺(tái)將協(xié)同開發(fā)者共同構(gòu)建智能體生態(tài)，以大模型+智能體平臺(tái)為基座，以O(shè)S內(nèi)核+應(yīng)用為依托，服務(wù)用戶、開發(fā)者和行業(yè)伙伴。后續(xù)，藍(lán)心智能體開放平臺(tái)將逐步開放更多AI能力，基于智能體平臺(tái)開發(fā)的智能體應(yīng)用，經(jīng)過安全審核可以上線到藍(lán)心千詢APP及PC供廣大開發(fā)者使用，并支持發(fā)布到三方應(yīng)用。
未來，vivo將持續(xù)以用戶為中心，深化AI技術(shù)研發(fā)與應(yīng)用，攜手開發(fā)者與生態(tài)伙伴，共同推動(dòng)AI技術(shù)的普惠與發(fā)展，為用戶帶來更智能、更便捷、更安全的用機(jī)體驗(yàn)。
