近日，圖像修復領域最具影響力的國際頂級賽事——New Trends in Image Restoration and Enhancement（NTIRE）結果出爐，網易互娛AI Lab包攬了高動態范圍成像（HDR）任務全部2項冠軍。NTIRE比賽每年舉辦一次，目前已是第七屆，主要聚焦圖像修復和增強技術，代表相關領域的趨勢和發展，吸引了眾多來自工業界、學術界的關注者和參賽者，有著非常大的影響力。今年NTIRE比賽在計算機視覺領域的頂級會議CVPR 2022（Computer Vision and Pattern Recognition）上舉辦。
高動態范圍成像（HDR）任務的賽道1和賽道2分別有197個隊伍、168個隊伍報名參加，其中工業界的隊伍包括：騰訊、曠視、字節跳動、螞蟻、小米、快手、京東方、Tetras AI等，學術界的隊伍包括：清華大學、中科院、中國科學技術大學、上海交通大學、中山大學、愛丁堡大學、帝國理工、阿德萊德大學、新南威爾士大學、南丹麥大學等。網易互娛AI Lab從眾多的強隊中脫穎而出，一舉斬獲該任務的全部2項冠軍。這是網易互娛AI Lab奪得多項國際冠軍后，再次登頂國際AI競賽，展現了網易互娛AI Lab在人工智能領域的綜合實力。
圖1：NTIRE 2022比賽
高動態范圍成像（HDR）任務是從存在噪聲、過爆/欠曝區域等的多幀輸入圖像中，恢復一張HDR圖像。此次比賽的目標是探索高效的HDR模型和技術方案，以達到實用化的使用需求。總計有共兩個賽道：（1）保真度賽道：在限定模型的計算量（小于200G GMACs）的基礎上，盡可能取得更高的保真度，評價指標是PSNR-μ；（2）低復雜度賽道：在超過基線模型指標（PSNR-μ與PSNR）的基礎上，盡可能取得更低的計算量和更少的耗時，評價指標是GMACs。
由于任務的兩個賽道均要求訓練高效的HDR模型，網易互娛AI Lab團隊憑借以往對low-level視覺任務和輕量化網絡設計的經驗積累，在基線模型的基礎上，提出了一個Efficient HDR網絡，包括高效的多幀對齊和特征提取模塊兩個模塊，同時優化了模型的訓練方法。
（1）在多幀對齊模塊，采用Pixel Unshuffle操作在增大感受野的同時減少了特征圖的大小，大幅減少了后續的計算量。同時，采用深度可分離卷積替代對齊模塊中的普通卷積，大幅提高運算效率。
（2）在特征提取模塊，采用深度可分離卷積替代普通卷積，SiLU激活函數替代ReLU，設計了一個高效殘差特征蒸餾模塊（Efficient RFDB）。另外，探索了網絡深度與通道數目之間的關系，在限定計算量下層數更深且通道數少的特征提取網絡，可以獲得更高的評價指標。
（3）在訓練方法上，在常規的128x128圖片輸入L1 Loss訓練后，采用了256x256更大尺寸輸入+L2 Loss進行訓練調優。最后，使用基于SwinIR搭建的Transformer模型作為Teacher模型，對前述CNN模型進行蒸餾，結合CNN和Transformer各自的優勢進一步提升模型效果。
圖2：技術方案圖
賽道1中，網易互娛AI Lab（ALONG）提出的方法在PSNR-μ和PSNR上均是第一。如表1所示，主要評價指標PSNR-μ比第二名高出了0.172，而第二到第四的PSNR-μ差距僅為0.089，相比第五名之后的隊伍更是拉開了0.45以上的差距。
賽道2中，網易互娛AI Lab（ALONG）提出的方法取得了最低的計算量（GMACs）和最少的參數量（Param）。如表2所示，在超過基線方法PSNR和PSNR-μ的基礎上，減少了約40倍的計算量。相比第二名和第三名有較大領先，僅使用了約一半的計算量。
表1：賽道1（保真度賽道）結果排名
表2：賽道2（低復雜度賽道）結果排名
此前，網易互娛AI Lab已經將比賽中相關技術的應用于游戲貼圖資源升級中，實現對游戲貼圖、UI等資源的精度和細節的提升，目前已應用于多個游戲項目當中，為美術節省了大量制作時間。此外，網易互娛AI Lab研發了一套智能的游戲貼圖資源升級工具——iPixel，用戶輸入一張待處理的貼圖資源，便可以針對性的對圖片進行無損放大和增強，iPixel還可以消除噪點并恢復圖像中的細節，讓圖片看起來更加清晰。同時，該工具所提供自定義全圖和局部處理功能，可以更好的幫助使用者優化細節，以滿足不同貼圖不同程度的優化需求。
網易互娛AI Lab成立于2017年，隸屬于網易互動娛樂事業群，是游戲行業領先的人工智能實驗室。目前所研發的技術已應用于網易互娛旗下多款熱門游戲，如《夢幻西游》、《哈利波特—魔法覺醒》、《陰陽師》、《大話西游》、《荒野行動》、《明日之后》等等。
【免責聲明】本文僅代表第三方觀點，不代表和訊網立場。投資者據此操作，風險請自擔。
最新評論