隨著6G時代的到來，沉浸式內(nèi)容消費需求顯著增長，沉浸內(nèi)容的展現(xiàn)將直接影響用戶體驗。其中，網(wǎng)格模型作為一種主流的數(shù)據(jù)形式，網(wǎng)格模型質(zhì)量評價成為保障VR/AR、元宇宙等應用用戶體驗的關鍵。本報告系統(tǒng)分析了當前網(wǎng)格模型質(zhì)量評價的發(fā)展現(xiàn)狀與面臨的主要挑戰(zhàn)，包括數(shù)據(jù)集不足、動態(tài)/AIGC內(nèi)容質(zhì)量評價研究難點和缺少統(tǒng)一標準。針對這些問題，報告進一步探討了可行的發(fā)展建議，旨在推動沉浸內(nèi)容質(zhì)量評價技術的進步，促進沉浸式應用生態(tài)的健康發(fā)展。
網(wǎng)格模型質(zhì)量評價發(fā)展現(xiàn)狀
隨著6G時代的到來，沉浸式內(nèi)容消費需求顯著增長，虛擬現(xiàn)實（VR）、增強現(xiàn)實（AR）、元宇宙等業(yè)務迎來飛速發(fā)展。其中，以頂點、連接邊、連接面片為基礎描述三維物體的網(wǎng)格模型（Mesh）作為沉浸內(nèi)容中主流的數(shù)據(jù)表達形式，其質(zhì)量直接決定模型的呈現(xiàn)效果。
然而，由于網(wǎng)格模型數(shù)據(jù)的生成方式多樣（如3D掃描、算法重建、人工建模等），導致其數(shù)據(jù)質(zhì)量參差不齊，存在幾何結(jié)構(gòu)失真、紋理信息缺失或瑕疵、拓撲錯誤等問題，直接影響用戶的沉浸式體驗與感知質(zhì)量。
因此，建立一套系統(tǒng)化、客觀化的網(wǎng)格模型質(zhì)量評價（Mesh Quality Assessment，MQA）方法顯得尤為重要。具備客觀、精確的MQA能力，不僅有助于衡量網(wǎng)格模型的表現(xiàn)質(zhì)量，也為優(yōu)化內(nèi)容生產(chǎn)流程、提升用戶體驗提供了重要支撐。
目前，MQA的發(fā)展已經(jīng)歷多個階段，技術路線和研究重點不斷演進，具體如下：
階段一：幾何結(jié)構(gòu)質(zhì)量評價起步階段
在MQA發(fā)展的初期，評價重點主要集中于網(wǎng)格模型的幾何結(jié)構(gòu)質(zhì)量。此階段業(yè)內(nèi)構(gòu)建了點云或無紋理的網(wǎng)格模型數(shù)據(jù)質(zhì)量評價數(shù)據(jù)集[5]。評價方法包括基于頂點坐標、法線夾角等幾何參數(shù)，或借助神經(jīng)網(wǎng)絡計算模型的正交性、光滑性等物理屬性，從而量化其幾何結(jié)構(gòu)質(zhì)量。
階段二：彩色網(wǎng)格模型與渲染質(zhì)量評價階段
隨著帶紋理的彩色網(wǎng)格模型數(shù)據(jù)逐漸普及，業(yè)內(nèi)構(gòu)建了包含紋理信息的質(zhì)量評價數(shù)據(jù)集[4]，并發(fā)布了相關基準測試（benchmark）。在幾何質(zhì)量的基礎上，研究開始關注渲染圖像的主觀質(zhì)量評價。典型做法是將網(wǎng)格模型從多個視角渲染為圖像，并采用圖像質(zhì)量評價方法對渲染結(jié)果進行分析，以衡量模型整體表現(xiàn)。
階段三：有參考模型的失真評價階段
隨著網(wǎng)格模型數(shù)據(jù)在壓縮、傳輸?shù)葢脠鼍爸械膹V泛使用，該階段主要關注模型在處理過程中產(chǎn)生的失真。業(yè)內(nèi)通過對原始網(wǎng)格模型模型施加人為失真，構(gòu)建有參考的數(shù)據(jù)集[1][2]，并發(fā)布相關benchmark。評價方法主要包括從原始模型與失真模型中提取特征、計算其差異，并基于差值的量化結(jié)果判斷失真模型的質(zhì)量損失程度。
階段四：AIGC驅(qū)動下的新興評價需求階段
隨著AIGC技術的迅猛發(fā)展，出現(xiàn)了text-to-3D、image-to-3D等網(wǎng)格生成方法。復旦大學與上海人工智能實驗室等機構(gòu)已開源相關的文生3D工具用于數(shù)據(jù)生產(chǎn)。為應對AIGC生成數(shù)據(jù)的質(zhì)量評價挑戰(zhàn)，業(yè)內(nèi)構(gòu)建了AIGC產(chǎn)出的網(wǎng)格模型數(shù)據(jù)質(zhì)量評價數(shù)據(jù)集[3]。由于該類數(shù)據(jù)并非源自真實世界采樣，除了傳統(tǒng)的幾何結(jié)構(gòu)和渲染質(zhì)量評價外，還需額外考慮幾何合理性、幾何細節(jié)精度以及文本/圖像與3D模型之間的一致性等指標。目前，該方向的質(zhì)量評價技術尚處于起步階段，已有研究嘗試引入語義一致性等判斷依據(jù)，以提升評價的全面性和智能化水平。
此外，開源社區(qū)和標準化組織（如MPEG、IEEE）也日益關注MQA的發(fā)展，積極推動公開數(shù)據(jù)集的建設與評價協(xié)議的標準化制定。隨著更多機構(gòu)的參與，有望逐步形成行業(yè)共識，促進沉浸式內(nèi)容制作的規(guī)范化與標準化發(fā)展。
網(wǎng)格模型質(zhì)量評價挑戰(zhàn)
高質(zhì)量MQA數(shù)據(jù)集數(shù)量不足
與2D圖像和視頻數(shù)據(jù)相比，高質(zhì)量的MQA數(shù)據(jù)集仍較為稀缺。主要受限于三方面因素：首先，數(shù)據(jù)采集與建模成本高昂，需依賴高精度的3D掃描設備與專業(yè)建模軟件，硬件與人力投入巨大；其次，質(zhì)量評價涉及幾何結(jié)構(gòu)、紋理細節(jié)等多個維度，人工標注不僅耗時耗力，而且容易受主觀因素影響，不同評測人員之間存在明顯偏差；最后，現(xiàn)有主流開源數(shù)據(jù)集[1]~[5]主要集中在3D采集與建模技術，尚缺乏針對AIGC等AI生成內(nèi)容的數(shù)據(jù)資源，導致現(xiàn)有模型在跨領域任務中的泛化能力較弱、評價性能有限。
動態(tài)網(wǎng)格模型序列及AIGC內(nèi)容質(zhì)量評價方向難點尚未解決
當前，MQA的研究主要聚焦于靜態(tài)網(wǎng)格模型的檢測，而針對動態(tài)網(wǎng)格模型序列及AIGC生成內(nèi)容的質(zhì)量評價仍顯不足。在VR/AR、元宇宙、數(shù)字孿生等典型應用中，用戶接觸的3D內(nèi)容往往是動態(tài)變化的，且往往沒有可比對的現(xiàn)實參考。動態(tài)網(wǎng)格模型序列的質(zhì)量及AI生成的內(nèi)容質(zhì)量直接影響用戶體驗。
對于動態(tài)網(wǎng)格模型序列，其質(zhì)量評價除需考慮基本幾何結(jié)構(gòu)外，還存在評價模型運動的自然性、幀間過渡的連貫性、長期觀看時是否引發(fā)視覺疲勞等技術難點。目前尚無有效的研究成果及解決方法。
而針對AIGC生成的網(wǎng)格模型，AI生成導致生成的模型可能存在結(jié)構(gòu)不合理、語義不一致等潛在問題，傳統(tǒng)基于幾何、紋理的評價方法難以有效檢測這類質(zhì)量缺陷。亟需發(fā)展具備結(jié)構(gòu)合理性判斷、語義理解能力的新型評價方法。
缺少統(tǒng)一且覆蓋全面的標準
業(yè)內(nèi)當前缺乏統(tǒng)一的MQA行業(yè)標準。雖然MPEG已經(jīng)開始關注這一問題，并開展了針對動態(tài)網(wǎng)格模型數(shù)據(jù)壓縮與失真評價的標準制定工作，但相關方法主要依賴原始模型作為參考，采用PSNR等傳統(tǒng)指標計算質(zhì)量損失。這種“有參考”的評價方式存在明顯局限：依賴于原始模型作為參考，無法獨立評價網(wǎng)格模型本身的質(zhì)量，難以對模型的主觀感知質(zhì)量進行有效量化。
網(wǎng)格模型質(zhì)量評價發(fā)展建議
持續(xù)構(gòu)建專業(yè)的MQA數(shù)據(jù)集
針對MQA數(shù)據(jù)不足的問題，需持續(xù)構(gòu)建高質(zhì)量的MQA數(shù)據(jù)集。結(jié)合靜態(tài)、動態(tài)及AIGC各自特點，通過多元化的采集方式和系統(tǒng)化的標注流程來確保數(shù)據(jù)的全面性和可靠性。對于靜態(tài)內(nèi)容，可依托專業(yè)建模軟件或開源數(shù)據(jù)庫進行收集，覆蓋不同復雜度和應用場景；動態(tài)內(nèi)容則需要通過動作捕捉或4D掃描技術獲取包含各種運動模式的序列數(shù)據(jù)，并模擬實際應用中可能出現(xiàn)的時域失真（如幀間抖動、運動模糊等）以增強數(shù)據(jù)的代表性。對于AIGC內(nèi)容，在數(shù)據(jù)構(gòu)建過程中應確保生成參數(shù)的多樣性（提示詞/提示圖像類別、采樣步數(shù)、隨機種子設置等），提高數(shù)據(jù)分布的覆蓋范圍與評價的泛化能力。在數(shù)據(jù)標注環(huán)節(jié)，既要包含客觀的幾何精度、拓撲結(jié)構(gòu)等量化指標，也要通過專家評測或借助眾包平臺收集MOS及語意匹配度，以全面反映人類視覺感知。為提升數(shù)據(jù)集的實用性，還需要引入學術界和工業(yè)界的共同協(xié)作，打通行業(yè)偏差，方便不同研究團隊進行橫向使用。
動態(tài)網(wǎng)格模型序列及AIGC內(nèi)容質(zhì)量評價的可行思路
在對動態(tài)網(wǎng)格模型序列質(zhì)量評價時，可從時空一致性和人眼感知特性兩個維度建立進行評價。針對這兩個維度的問題，可以設立相關的質(zhì)量評價指標，如：檢測幀間過渡時平滑度識別模型拓撲結(jié)構(gòu)變化一致性、通過投影視頻質(zhì)量評價以實現(xiàn)對渲染呈現(xiàn)進行質(zhì)量評價等。
在對AIGC生成模型質(zhì)量評價時，可從模型與prompt之間的匹配度進行識別�？赏ㄟ^多視角描述得到一段文本，并與prompt文本匹配的方法在匹配度維度下進行質(zhì)量識別。此外，還可引入跨學科的方法，結(jié)合計算機圖形學、結(jié)構(gòu)力學、材料學和運動分析等領域的知識，輔助構(gòu)建準確實用的結(jié)構(gòu)合理性評價能力。
積極推進MQA標準化工作，形成統(tǒng)一標準
聯(lián)合業(yè)內(nèi)企業(yè)及高校積極推進標準化工作，針對AI生成3D內(nèi)容快速增長帶來的質(zhì)量評價需求，特別是在缺少原始參考模型的AIGC應用場景，推動建立一套標準化的質(zhì)量評價方法。相關研究重點包括：1）構(gòu)建多維度質(zhì)量評價指標體系；2）探索無參考條件下的質(zhì)量評價方案；3）研究動態(tài)網(wǎng)格模型序列的評價方法。標準化工作的推進將進一步完善AI生成3D內(nèi)容質(zhì)量評價方面的標準體系，為元宇宙、數(shù)字孿生等新興應用的健康發(fā)展提供技術參考，同時促進3D內(nèi)容產(chǎn)業(yè)的質(zhì)量規(guī)范化建設。
