線上通訊浪潮來臨，「即構科技」助力虛擬現實融合

一、線上通訊浪潮來臨，個性化需求增加

近些年隨著線上通訊需求的增加，關于線上社交、網課學習、在線娛樂等繁多的應用場景，對于通訊質量的要求不斷增加，除了音質、畫質、穩定等基本的技術硬實力外，越來越多個性化、精細化的需求加入到實時互動浪潮中來，例如，背景替換與虛擬背景。

以游戲主播為例，主播一邊共享自己的游戲畫面，另一邊開啟自己的攝像頭和觀眾互動已經成為當今的主流玩法，游戲直播的內容固然重要，但主播和觀眾良性的互動更能降低觀眾的流失率，然而游戲主播的直播地點大多都在自己的家中，對隱私保密有著一定要求，通過虛擬背景的更換，一方面可以很好的保護主播隱私，另一方面可以讓主播置身于虛擬游戲場景，或者電競場景，觀眾端的觀感體驗也會更加良好。

由此可見，線上通訊浪潮帶來需求的增加，提供個性化功能與服務是各平臺亟需補足的地方。

二、共享時空，即構發布主體分割能力

關于上述虛擬背景的更換，ZEGO 即構科技在本次實時互動 RTI 升級的視頻能力提升篇中，正式對外推出主體分割與主體傳輸能力 —— 使用 AI 能力將畫面中的主體從原視頻中分割出來，并在主體和完整視頻間填充透明 Alpha 通道，最后完成在 RTC 中的網絡傳輸。通過將獨立的、復雜的的背景進行處理，實現多人互動、場景替換，即構科技實現不同空間下的人或物，在同一畫面中的集合。

ZEGO 即構科技發布的主體分割能力均為客戶端主體分割，具體可以細分為兩種：實景分割、綠幕分割。

1、實景分割

實景分割是指將主體從實際場景中分割出來，這種實現方式對于主體所處的環境沒有太多的要求，用戶可隨時隨地使用。ZEGO 共選取了機場、客廳、辦公室、臥室、火車站、劇院等 40 種場景，共計 1 萬張室內室外圖像作為背景數據，從而避免算法過擬合。

因部署平臺對功耗、性能的限制，摳圖算法往往需要輕量化。而輕量化后的算法通常只包含極少的參數，泛化性能也會出現不同程度的下降，那么在對連續的視頻幀進行摳像時就會受到光照和編碼壓縮的影響，從而出現閃爍效應。即構采集了大量真實數據，制作了 10萬+ 規模數據量的大型視頻摳像數據集，包含了各種光照變化、各種碼率、各種分辨率的視頻數據，從而減少閃爍效應的發生。

即構科技使用了大量的視頻數據作為背景數據，在訓練過程中，隨機選擇背景和前景主題進行疊加，并進行隨機顏色偏移、隨機灰度化、隨機仿射變化、隨機高斯模糊、隨機噪聲進行數據增強，從而降低真實場景中動態對象對摳圖效果的影響。

即構科技在算法中參考了前后幀的幀間關系，將一連串的視頻時序關系嵌入到算法中，使用上一幀的隱式信息限制下一幀，最終達到主體的出現和消失都具備淡入淡出的效果，極大的提升了感官體驗。

2、綠幕分割

綠幕分割是指將主體從綠幕場景中分離出來。相較于實景分割，用戶需要先部署一套綠幕，并且綠幕分割有更好的邊緣處理效果。

在綠幕分割的過程中我們經常會遇到無法精確預測主體邊緣以及綠色溢出問題。綠色溢出可能是因為不合理的打光布置、主體的邊界難以處理干凈導致綠色殘留、主體大幅度快速移動產生運動模糊現象，使綠幕顏色和主體顏色進行疊加。

即構科技為了解決上述問題，采用 AI 的方式開發極輕量級的綠幕摳圖算法，該算法的模型大小只有 1kb，在驍龍 855 平臺上，CPU 耗時 2ms，GPU 耗時 1ms。

為了徹底解決綠色抑制問題，在算法內部插入了專門的綠色抑制模塊，動態學習不同綠色溢出顏色到正常顏色的映射關系。同時針對黃色和天藍色的難處理問題，ZEGO 在算法的訓練階段對圖像隨機貼上不同程度的這兩種顏色的色塊，強制算法對這些顏色進行保留。

基于以上策略，ZEGO 的綠幕摳圖算法徹底解決了綠色溢出，并對綠幕的打光和平整度有著非常高的容忍力，極大的降低了用戶的綠幕使用門檻和成本。

三、ZEGO 主體分割場景應用

即構科技對于主體分割技術的應用規劃了四個方向：虛擬背景、混合現實背景、多人在線同場景互動、在線教學。

1、虛擬背景：滿足用戶單人背景虛化、背景更換的需求;

2、混合現實場景：多人用戶在不同場景下的時空共享，面向企業需求，提升場景的沉浸感，例如：線上發布會、線上年會;

線上虛擬發布會同臺互動

3、多人同場景在線互動：面向個人，打破線上用戶的空間界限和距離感，提升實時互動的趣味性

主播同場景在線連麥

4、在線教學：企業/高校的培訓、線上學習，避免主講人的矩形視頻框遮擋屏幕共享的內容。

ZEGO 即構科技通過自研實景摳圖和綠幕算法，實現邊緣和色彩表現優異的主體分割處理，并將分割出的主體通過 RTC 網絡傳輸到遠端，遠端可以直接將多個主體如人像渲染進虛擬的背景或者場景中，實現多人同場景的實時互動，在 720p 的視頻上能達到毫秒級的處理速度，快速幫助用戶實現線上互動的共享時空!

來源：砍柴網

IT時代網(關注微信公眾號ITtime2000，定時推送，互動有福利驚喜)所有原創文章版權所有，未經授權，轉載必究。
創客100創投基金成立于2015年，直通硅谷，專注于TMT領域早期項目投資。LP均來自政府、互聯網IT、傳媒知名企業和個人。創客100創投基金對IT、通信、互聯網、IP等有著自己獨特眼光和豐富的資源。決策快、投資快是創客100基金最顯著的特點。

相關文章

線上通訊浪潮來臨，「即構科技」助力虛擬現實融合