11月8日，智譜推出新清影：10s時(shí)長(zhǎng)、4k、60幀超高清畫質(zhì)、任意尺寸，自帶音效，以及更好人體動(dòng)作和物理世界模擬。
3個(gè)月前，作為國(guó)內(nèi)首個(gè)面向公眾開放的視頻生成產(chǎn)品，清影上線清言App，只需一段指令或圖片，30秒就能生成AI視頻。為人類影視創(chuàng)作帶來(lái)了更多創(chuàng)新玩法，如廣告制作、短視頻、表情包梗圖等。
清影發(fā)布后不久，GLM技術(shù)團(tuán)隊(duì)先后開源了CogVideoX 2B和5B版本兩個(gè)模型，可在消費(fèi)級(jí)顯卡上流暢運(yùn)行，性能領(lǐng)先的CogVideoX-5B模型自開源以來(lái)受到廣泛的關(guān)注，并衍生出如CogVideoX-factory等大量的二次開發(fā)項(xiàng)目。
基于CogVideoX模型的最新技術(shù)進(jìn)展和智譜最新推出的音效模型CogSound，新清影在以下5個(gè)方面實(shí)現(xiàn)了提升。
· 模型能力全面提升：在圖生視頻的質(zhì)量、美學(xué)表現(xiàn)、運(yùn)動(dòng)合理性以及復(fù)雜提示詞語(yǔ)義理解方面能力明顯增強(qiáng)。
· 4K超高清分辨率：支持生成 10s、4K、60幀超高清視頻，視覺(jué)體驗(yàn)拉到極致，動(dòng)態(tài)畫面更加流暢。
· 可變比例：支持任意比例的圖像生成視頻，超寬畫幅也能輕松Hold住，從而適應(yīng)不同的播放需求。
· 多通道生成能力：同一指令/圖片可以一次性生成4個(gè)視頻。
· 帶聲效的AI視頻：新清影可以生成與畫面匹配的音效了。音效功能將很快在本月上線公測(cè)。
即日起，新清影在智譜清言App上線，為了支持廣大開發(fā)者，智譜同時(shí)將CogVideoX v1.5-5B、CogVideoX v1.5-5B-I2V進(jìn)行了開源。
生成視頻將為影視工作者、短視頻創(chuàng)作者提升產(chǎn)量、產(chǎn)能，在其生產(chǎn)流程中發(fā)揮重要作用。不到一年時(shí)間，生成視頻技術(shù)在視頻時(shí)長(zhǎng)、生成速度、分辨率、一致性等方面已經(jīng)顯示出長(zhǎng)足進(jìn)步。新清影往前又邁進(jìn)了一步，未來(lái)，智譜也將攜手視覺(jué)中國(guó)等合作伙伴，基于更豐富的視覺(jué)內(nèi)容，產(chǎn)出更好的AI生成視頻工具。
“默片 Sora”進(jìn)入“有聲電影時(shí)代”
智譜認(rèn)為真正的智能一定是多模態(tài)的，聽覺(jué)、視覺(jué)、觸覺(jué)等共同參與了人腦認(rèn)知能力的形成，因此，智譜希望包括文字、圖像、語(yǔ)音和視覺(jué)等模態(tài)在內(nèi)的智譜多模態(tài)大模型矩陣，能夠進(jìn)一步提高大模型的應(yīng)用和工具能力。
因此，GLM模型家族逐步從文字拓展至圖片、視頻、聲音，以及音效。今天，GLM家族加入了新成員——音效模型CogSound和音樂(lè)模型CogMusic。即將上線與大家見(jiàn)面的音效模型CogSound能根據(jù)視頻自動(dòng)生成音效、節(jié)奏等音樂(lè)元素，它是基于GLM-4V的視頻理解能力，能夠準(zhǔn)確識(shí)別并理解視頻背后的語(yǔ)義和情感，在此基礎(chǔ)上生成與之相匹配的音頻內(nèi)容，甚至生成復(fù)雜音效，如爆炸、水流、樂(lè)器、動(dòng)物叫聲、交通工具聲等。
音效模型的出現(xiàn)能夠?qū)崿F(xiàn)視頻與聲音的同步創(chuàng)作。同時(shí)該模型在電影行業(yè)也具有廣泛的應(yīng)用前景，比如可以生成電影中的大規(guī)模戰(zhàn)斗場(chǎng)景和災(zāi)難場(chǎng)景的聲音，大大縮短了制作周期，降低了制作成本。
「CogVideoX + CogSound」由清影生成畫面，音效模型配音
兩周前，智譜剛剛發(fā)布最新的GLM-4-Voice情感語(yǔ)音模型。今天，隨著音效模型的加入，GLM大模型在聲音模態(tài)領(lǐng)域?qū)崿F(xiàn)了人聲、音效、音樂(lè)的多鏈路布局，基于圖像、視頻和聲音的多模態(tài)模型矩陣由此更加完整，意味著智譜在多模態(tài)和工具兩個(gè)維度上都朝著AGI的目標(biāo)邁出了一小步。
音效模型將于本月上線清言App，與新清影一起生成有聲AI影片。智譜的理想狀態(tài)是，只需一個(gè)好的創(chuàng)意，剩下的事AI都能輔助搞定，輕松將一個(gè)idea、一張圖，變成一段自帶bgm的影片。相信這個(gè)組合能給創(chuàng)作者和用戶帶來(lái)AI生視頻的全新體驗(yàn)。
當(dāng)前，AI生成視頻用于影視創(chuàng)作仍需要多種不同的創(chuàng)作工具串聯(lián)使用。但基于智譜多模態(tài)的最新成果，實(shí)現(xiàn)這種一站式AI原生多模態(tài)工作流，這樣的前景無(wú)疑是激動(dòng)人心的。
