“幀彩視界”是微幀科技以高清視覺體驗(yàn)為核心打造的一款視頻AI智能化產(chǎn)品。利用機(jī)器學(xué)習(xí)與深度學(xué)習(xí)技術(shù)，在畫質(zhì)增強(qiáng)、HDR、超高清處理等方向，打造了一系列解決方案�！皫�彩視界”可應(yīng)用于超高清視頻內(nèi)容從生產(chǎn)-加工-觀看的全鏈條過程，為用戶提供卓越的觀感體驗(yàn)。

本文將向大家分享在“幀彩視界”核心技術(shù)之一Pseudo HDR的背后，微幀是如何提高畫質(zhì)的。

HDR，這個(gè)概念在近幾年被炒的非常火熱，從2015年開始，HDR作為一種顯示標(biāo)準(zhǔn)，在電視行業(yè)開始迅速蔓延，并逐漸在中高端手機(jī)、平板電腦等移動(dòng)終端上應(yīng)用。

不是所有設(shè)備都支持HDR視頻解碼和顯示，因此，對(duì)于普通SDR設(shè)備用戶而言，要想獲得類似HDR的視覺效果，Pseudo HDR這項(xiàng)技術(shù)變得尤為重要。

大家所熟知的幾大TOP視頻平臺(tái)中的VIP尊享畫質(zhì)，便采用了類似技術(shù)。此類尊享畫質(zhì)視頻能夠呈現(xiàn)出令人驚艷的亮度、對(duì)比度和色彩，無論是高光還是黑暗處的細(xì)節(jié)都一覽無余，給人栩栩如生的感覺。

01、微幀幀彩視界之Pseudo HDR

在今年10月的Demuxed峰會(huì)中，微幀科技聯(lián)合創(chuàng)始人兼首席科學(xué)家Zoe Liu重點(diǎn)向大家介紹了Pseudo HDR技術(shù)的高效實(shí)現(xiàn)，此項(xiàng)技術(shù)目的是為那些不支持HDR播放的SDR設(shè)備，提供接近HDR效果的視覺體驗(yàn)。

隨著視頻拍攝/播放設(shè)備的不斷更新迭代，以及社交媒體平臺(tái)的極大普及，人們對(duì)追求更高清畫質(zhì)視頻的欲望日益強(qiáng)烈，各媒體平臺(tái)為了提升用戶體驗(yàn)質(zhì)量（QoE）也是大費(fèi)周章，除了通過高效編解碼等技術(shù)來保障畫質(zhì)清晰度及播放流暢度以外，畫面色彩的增強(qiáng)也成了重點(diǎn)關(guān)注的對(duì)象。

其中一項(xiàng)通過增強(qiáng)畫質(zhì)來提高QoE的方法是，在將視頻送入編碼器/轉(zhuǎn)碼器以進(jìn)一步分發(fā)之前，實(shí)行Pseudo HDR預(yù)處理，它能夠讓輸入的視頻保持相同的比特深度（比如8 bit），旨在優(yōu)化視頻中超暗或者超亮區(qū)域的細(xì)節(jié)，以生產(chǎn)更具視覺沖擊力的內(nèi)容，最終呈現(xiàn)在用戶端，而無需特殊渲染工具，例如支持HDR的設(shè)備。

Pseudo HDR技術(shù)背后的算法主要是基于限制對(duì)比度自適應(yīng)直方圖均衡（CL-AHE），對(duì)一個(gè)視頻幀中的不同區(qū)域推導(dǎo)出不同的直方圖均衡化轉(zhuǎn)換函數(shù)，以增強(qiáng)那些更亮和更暗區(qū)域的對(duì)比度，有了對(duì)比度的限制，可以防止噪音被放大。

現(xiàn)有的CL-AHE方法主要研究并應(yīng)用于靜止圖像，而微幀的目標(biāo)是開發(fā)一種適用于視頻的Pseudo HDR技術(shù)，以增強(qiáng)視頻用戶體驗(yàn)質(zhì)量。

目前，微幀采用了CL-AHE作為視頻轉(zhuǎn)碼前預(yù)處理的一部分，既充分利用轉(zhuǎn)碼服務(wù)端豐富的計(jì)算資源，又無需依賴最終渲染設(shè)備，達(dá)到用戶一致的視頻增強(qiáng)效果。

02.潛在挑戰(zhàn)

對(duì)視頻進(jìn)行Pseudo HDR預(yù)處理的潛在挑戰(zhàn)如下：

（1）

超亮或超暗區(qū)域呈現(xiàn)的噪聲，如壓縮偽影噪聲，很容易被AHE轉(zhuǎn)換放大，從而影響視覺效果。

（2）

保持視頻的時(shí)間一致性是非常關(guān)鍵的，因?yàn)橐曨l不是簡(jiǎn)單的靜態(tài)圖像，如果在對(duì)比度增強(qiáng)的像素變換中不考慮時(shí)域特征，跨幀閃爍等偽影，尤其是黑暗區(qū)域中的偽影就會(huì)變得非常明顯，從而降低整體視覺體驗(yàn)。對(duì)視頻來說，時(shí)域的平滑度和流動(dòng)性甚至比空間域的每幀視覺質(zhì)量更為重要。

（3）

轉(zhuǎn)換后的視頻可能會(huì)大很多，比如，源視頻黑暗區(qū)域的邊緣和精細(xì)紋理可以在原始SDR內(nèi)容中被壓縮，視頻質(zhì)量不會(huì)降低太多。但經(jīng)過Pseudo HDR處理后，會(huì)暴露出更多更精細(xì)的紋理，因此需要分配更多的bits才能獲得足夠好的視覺體驗(yàn)。

03.微幀Pseudo HDR技術(shù)優(yōu)勢(shì)

Pseudo HDR始終是微幀致力推動(dòng)的一個(gè)創(chuàng)新方向，為了解決上述問題，讓視頻用戶享受最佳的視覺體驗(yàn)，微幀實(shí)施了以下方法：

（1）

對(duì)于對(duì)比度變換后，超亮區(qū)域可能產(chǎn)生的更亮畫面結(jié)果，微幀開發(fā)了基于亮度級(jí)別的自適應(yīng)方法來抑制這種現(xiàn)象，同時(shí)保持其他區(qū)域的正常轉(zhuǎn)換。

（2）

AHE經(jīng)常導(dǎo)致皮膚區(qū)域的顏色失真，針對(duì)此現(xiàn)象，微幀研發(fā)了幾種方式進(jìn)行抑制，如快速人臉檢測(cè)、皮膚檢測(cè)和基于顏色的區(qū)域分割，從而促使Pseudo HDR將皮膚區(qū)域與其他區(qū)域區(qū)分開，并應(yīng)用特定的對(duì)比度變換來保持準(zhǔn)確的膚色。

（3）

相鄰幀間對(duì)比度變換后，更精細(xì)的紋理會(huì)被過度放大，因變換不一致導(dǎo)致的閃爍或閃爍偽影，在超暗區(qū)域中出現(xiàn)的頻率會(huì)更高。微幀針對(duì)這些區(qū)域進(jìn)行了精細(xì)化檢測(cè)，并應(yīng)用自適應(yīng)聯(lián)合空間和時(shí)間濾波來約束時(shí)域中的差異，提高了變換后相鄰幀之間的一致性。

（4）

應(yīng)用Pseudo HDR處理，很可能會(huì)導(dǎo)致碼率增加20%以上。除了更精細(xì)的紋理會(huì)被過度放大，還可能會(huì)出現(xiàn)條帶偽影，源視頻的現(xiàn)有壓縮偽影也可能會(huì)被夸大，這些都會(huì)讓編碼效率大打折扣。微幀在ROI檢測(cè)、去噪和去色帶（debanding）等方法的應(yīng)用下，不僅能改善Pseudo HDR處理后的視覺偽影，還可以衰減視頻中的高頻分量，從而大大降低碼率。

（5）

Pseudo HDR處理過程可能會(huì)增大計(jì)算復(fù)雜度、造成更多的延遲，因此，微幀在Pseudo HDR處理中開發(fā)了一系列的方法，以服務(wù)不同的用戶場(chǎng)景，其中每個(gè)預(yù)設(shè)對(duì)應(yīng)了一組算法參數(shù)，便于生成計(jì)算復(fù)雜度(延遲)、視覺質(zhì)量和碼率等多種聯(lián)合性能。當(dāng)然，Pseudo HDR的預(yù)處理模塊也可以與編碼器相融合，結(jié)合微幀的編碼優(yōu)勢(shì)，可以讓視頻畫質(zhì)更好，碼率更低。

不可否認(rèn)的是，視頻播放設(shè)備的迭代速度非常之快，但要實(shí)現(xiàn)HDR全民化的愿景，依然還有很長(zhǎng)的路要走。因此，Pseudo HDR仍然是目前非常值得關(guān)注與推崇的一項(xiàng)技術(shù)。微幀也將繼續(xù)專注于超高清解決方案“幀彩視界”的探索與研發(fā)，不斷增強(qiáng)處理效率，不斷擴(kuò)大可享用超高清視頻的用戶覆蓋面，讓更多用戶獲得更真實(shí)更極致的視覺體驗(yàn)！