譯介丨4K DLSS理論上真的能在下一代Nintendo Switch實現嗎？-3樓貓

原文作者：Alex Battaglia

原文鏈接

Switch Pro，Switch 2，Super Switch，Switch Model S——我們目前完全不清楚下一代Switch會叫什麼，或者什麼時候會到來，但是關於下一代產品會使用Nvidia DLSS（deep-learning super-sampling，機器學習超採樣）技術的傳言一直沒有停歇過。這項技術將傳統的超採樣技術與機器學習相結合，可以大幅度提高遊戲畫面的分辨率，在PC上已經取得了非常不錯的效果。現在全新的Switch有可能搭載DLSS，將原有為掌機模式設計的720p分辨率畫面一舉提高到大屏4K分辨率。這僅僅是理論上的可能性，那麼DLSS到底能不能在一個手持設備上起作用呢？我們決定親自計算一下。

首先我們需要確定一下適合在移動平臺上跑DLSS算法的芯片。還好，這樣的芯片是存在的。Nvidia代號名為Orin的SoC（System on Chip，集成了CPU、內存、GPU等一系列零部件的封裝芯片）是Tegra系列最新的型號，該SoC基於最新的Ampere圖形架構，主要是為了汽車行業設計的，這也引出了我們的第一個問題，該芯片的功耗為45W，不過目前已發售的Switch整機最大功率也才15W，分配到主處理器的也只有10 - 11W（掌機模式可能只有這個數字的一半）。不過Orin系列有一個究極省電的型號，默認功耗只有5W，當插入底座進行額外供電的話這個數字可以輕易拉高，帶來更高的性能輸出。

Orin產品線

儘管如此，在將Tensor核心整合進SoC來實現DLSS之後，這個功耗設定實在太小了，畢竟AI提升畫面分辨率也需要消耗計算資源，所以接下來我們就將通過試驗計算一下DLSS算法所需要的實際消耗。

你可以在視頻（視頻在原文中）裡面看到我們是如何來進行這項計算的，但實際上算法非常簡明易懂。我們用《DOOM：永恆》作為測試遊戲，使用一塊RTX 2060來計算DLSS算法生成畫面的時間，並與之和原生渲染方式生成畫面的時間做對比，我們最後得到的結果是渲染時間相差1.9ms。RTX 2060機器學習性能大概是10W功耗下Orin的5.5倍，所以我們將這個差值按線性比例放大，Switch Pro要實現PC版的DLSS效果大概要10.5ms的渲染時間。《DOOM：永恆》目標渲染時間為16.7ms（60fps），這對於Switch Pro來說有點太高了，因為進行DLSS算法增加了超過62.8%的渲染時間，但是如果我們把幀數要求減少一半，30fps的幀數，渲染目標時間為33.3ms的話，這就顯得非常可行了。

我們要提醒一下給位，我們對於DLSS算法開銷的計算基於輸入與輸出的時間差，因為我們並不知道DLSS內部的實際工作機制與計算方法，但這也能讓我們大概明白在移動平臺上使用這項技術的可行性。我們還需要考慮更多額外的因素，比如我們假設輸出的遊戲畫面分辨率為4K，但遊戲開發者們完全可以將720p的畫面利用DLSS增強到1440p，再通過GPU處理完成最後的4K輸出。如果是這樣的處理模式，DLSS在Nvidia移動芯片上所需要的10.5ms就會直接變成5.2ms，這樣做的話會有明顯的畫質損失，當然了，可能有些不是很在意畫面質量的遊戲可以這麼幹。

我們以上所有的推論都是基於PC平臺的DLSS算法實現，而Nvidia完全有能力針對主機平臺做一些特殊優化，例如專門為Switch開發了很多底層圖形API方便開發者發掘硬件的全部潛力。這體現了Nvidia對主機平臺的態度。不過我們說了這麼多理論上的東西，還有一件事情非常重要，甚至是最重要的：DLSS真的能把720p的畫面提升到不錯的4K畫面嗎？

希望這些截圖能精確地展示為什麼DLSS對於下一代Switch Pro來說是一項革命性的技術，而且720p渲染的畫面可以變成在客廳裡沙發上看起來完全能夠接受的樣子。DLSS不僅僅提升畫面分辨率，還會在處理圖像的過程中進行抗鋸齒操作，一石二鳥。DLSS算法通過結合前一幀的畫面信息與像素可能的移動趨勢，進行機器學習，最後得到的結果可謂翻天覆地。

那4K DLSS圖像和原生4K相比誰更好一些？從PC的角度來說，DLSS performance模式以原生1080p分辨率為基礎來做提升，quality模式則是以1440p為基礎。如果用以720p為底子，這中間能夠作為參考的數據就少得多了，意味著最後輸出的畫面有更多的失真與瑕疵。但實際上下一代Switch並不需要輸出可以媲美原生4K的畫面。因為PC和主機的使用場景完全不一樣，人們在用PC的時候會坐的很近，而用電視玩主機的時候則相對更遠。所以新Switch不需要輸出十分精美準確的4K畫面，只要能夠在客廳4K大電視上帶來一個不錯的視覺體驗就完成目標了。

除開DLSS本身，本文還假設了很多的東西，比如為什麼我們認定了任天堂會繼續在下一代Switch上使用720p的屏幕？從我們的角度來看，這個分辨率達到了GPU功耗與像素密度的完美平衡，並且Valve在它的Steam Deck上也採用了一塊近似的800p屏幕。從720p提升到1080p意味著Switch的繼任者會在更多的像素上花費更多性能，而不是更好的畫質。

我們做出的另外一個大的假設就是任天堂還會繼續和Nvidia合作推出下一代Switch（目前來看基本是板上釘釘的事了，畢竟兼容性是個很大的問題），而且會實際使用上文提到的Orin芯片，或者是某一個衍生型號。如果是Orin的衍生款，那kopite7kimi（twi: @kopite7kimi）的洩露就顯得非常可信了。就算是這樣，我們所有DLSS的計算都基於新Switch只有10W這個功耗上限，但任天堂完全可以通過升級散熱手段來提高這個數字。

這個試驗的意義主要有兩點：

第一是探尋一塊基於Nvidia最新圖形架構的移動芯片能不能跑DLSS，答案是可以。但是我們必須清楚一點，儘管DLSS是基於Tensor核心的硬件加速算法，它還是會有計算開銷的。那麼問題的關鍵就在於這個開銷能不能通過插入底座後提高的提高功耗、芯片頻率來抵消掉，理論上DLSS在下一代Switch上是可行的。

第二，關於最終畫面的質量。就算只有720p的畫面作為基礎，DLSS還是能夠產出看起來還行的4K輸出，儘管還是比不上原生4K，但是當你放在一起對比的時候，效果還是非常驚人的。但是這項技術（還有AMD的super resolution）的應用從一開始就引發了很多口水戰，不僅僅針對任天堂的主機。機器學習的應用，包括超採樣技術對於未來的PS5和XSX的Pro版本也有很強的可行性，前提是Sony和微軟願意朝這個方向前進的話。