5 月 11 日消息，在 2023 I / O 開(kāi)發(fā)者大會(huì)上，谷歌宣布正在開(kāi)發(fā)一項(xiàng)名為 Universal Translator 的實(shí)驗(yàn)技術(shù)。
顧名思義，該工具旨在將視頻從一種語(yǔ)言翻譯成另一種語(yǔ)言，同時(shí)保留整體基調(diào)和氛圍。這意味著該技術(shù)不僅可以將音頻從一種語(yǔ)言翻譯成另一種語(yǔ)言，還可以模仿說(shuō)話(huà)者的聲音、語(yǔ)氣和面部表情，人物說(shuō)話(huà)視頻會(huì)根據(jù)目標(biāo)語(yǔ)言的發(fā)音同步改變口型。
如上圖所示，Universal Translator 首先檢測(cè)單詞并進(jìn)行翻譯。然后，它會(huì)檢查說(shuō)話(huà)者的語(yǔ)氣以及他們強(qiáng)調(diào)的內(nèi)容。結(jié)合這兩個(gè)方面后，它會(huì)生成目標(biāo)語(yǔ)言的語(yǔ)音。最后，它會(huì)根據(jù) AI 生成的語(yǔ)音的發(fā)音同步視頻中說(shuō)話(huà)者的口型。
考慮到此工具可能被濫用來(lái)創(chuàng)建虛假視頻，谷歌表示將限制對(duì) Universal Translator 的訪問(wèn)。因此，只有谷歌授權(quán)合作伙伴才能將其用于建設(shè)性項(xiàng)目，而普通用戶(hù)無(wú)法使用。
