译介丨4K DLSS理论上真的能在下一代Nintendo Switch实现吗？-3楼猫

原文作者：Alex Battaglia

原文链接

Switch Pro，Switch 2，Super Switch，Switch Model S——我们目前完全不清楚下一代Switch会叫什么，或者什么时候会到来，但是关于下一代产品会使用Nvidia DLSS（deep-learning super-sampling，机器学习超采样）技术的传言一直没有停歇过。这项技术将传统的超采样技术与机器学习相结合，可以大幅度提高游戏画面的分辨率，在PC上已经取得了非常不错的效果。现在全新的Switch有可能搭载DLSS，将原有为掌机模式设计的720p分辨率画面一举提高到大屏4K分辨率。这仅仅是理论上的可能性，那么DLSS到底能不能在一个手持设备上起作用呢？我们决定亲自计算一下。

首先我们需要确定一下适合在移动平台上跑DLSS算法的芯片。还好，这样的芯片是存在的。Nvidia代号名为Orin的SoC（System on Chip，集成了CPU、内存、GPU等一系列零部件的封装芯片）是Tegra系列最新的型号，该SoC基于最新的Ampere图形架构，主要是为了汽车行业设计的，这也引出了我们的第一个问题，该芯片的功耗为45W，不过目前已发售的Switch整机最大功率也才15W，分配到主处理器的也只有10 - 11W（掌机模式可能只有这个数字的一半）。不过Orin系列有一个究极省电的型号，默认功耗只有5W，当插入底座进行额外供电的话这个数字可以轻易拉高，带来更高的性能输出。

Orin产品线

尽管如此，在将Tensor核心整合进SoC来实现DLSS之后，这个功耗设定实在太小了，毕竟AI提升画面分辨率也需要消耗计算资源，所以接下来我们就将通过试验计算一下DLSS算法所需要的实际消耗。

你可以在视频（视频在原文中）里面看到我们是如何来进行这项计算的，但实际上算法非常简明易懂。我们用《DOOM：永恒》作为测试游戏，使用一块RTX 2060来计算DLSS算法生成画面的时间，并与之和原生渲染方式生成画面的时间做对比，我们最后得到的结果是渲染时间相差1.9ms。RTX 2060机器学习性能大概是10W功耗下Orin的5.5倍，所以我们将这个差值按线性比例放大，Switch Pro要实现PC版的DLSS效果大概要10.5ms的渲染时间。《DOOM：永恒》目标渲染时间为16.7ms（60fps），这对于Switch Pro来说有点太高了，因为进行DLSS算法增加了超过62.8%的渲染时间，但是如果我们把帧数要求减少一半，30fps的帧数，渲染目标时间为33.3ms的话，这就显得非常可行了。

我们要提醒一下给位，我们对于DLSS算法开销的计算基于输入与输出的时间差，因为我们并不知道DLSS内部的实际工作机制与计算方法，但这也能让我们大概明白在移动平台上使用这项技术的可行性。我们还需要考虑更多额外的因素，比如我们假设输出的游戏画面分辨率为4K，但游戏开发者们完全可以将720p的画面利用DLSS增强到1440p，再通过GPU处理完成最后的4K输出。如果是这样的处理模式，DLSS在Nvidia移动芯片上所需要的10.5ms就会直接变成5.2ms，这样做的话会有明显的画质损失，当然了，可能有些不是很在意画面质量的游戏可以这么干。

我们以上所有的推论都是基于PC平台的DLSS算法实现，而Nvidia完全有能力针对主机平台做一些特殊优化，例如专门为Switch开发了很多底层图形API方便开发者发掘硬件的全部潜力。这体现了Nvidia对主机平台的态度。不过我们说了这么多理论上的东西，还有一件事情非常重要，甚至是最重要的：DLSS真的能把720p的画面提升到不错的4K画面吗？

希望这些截图能精确地展示为什么DLSS对于下一代Switch Pro来说是一项革命性的技术，而且720p渲染的画面可以变成在客厅里沙发上看起来完全能够接受的样子。DLSS不仅仅提升画面分辨率，还会在处理图像的过程中进行抗锯齿操作，一石二鸟。DLSS算法通过结合前一帧的画面信息与像素可能的移动趋势，进行机器学习，最后得到的结果可谓翻天覆地。

那4K DLSS图像和原生4K相比谁更好一些？从PC的角度来说，DLSS performance模式以原生1080p分辨率为基础来做提升，quality模式则是以1440p为基础。如果用以720p为底子，这中间能够作为参考的数据就少得多了，意味着最后输出的画面有更多的失真与瑕疵。但实际上下一代Switch并不需要输出可以媲美原生4K的画面。因为PC和主机的使用场景完全不一样，人们在用PC的时候会坐的很近，而用电视玩主机的时候则相对更远。所以新Switch不需要输出十分精美准确的4K画面，只要能够在客厅4K大电视上带来一个不错的视觉体验就完成目标了。

除开DLSS本身，本文还假设了很多的东西，比如为什么我们认定了任天堂会继续在下一代Switch上使用720p的屏幕？从我们的角度来看，这个分辨率达到了GPU功耗与像素密度的完美平衡，并且Valve在它的Steam Deck上也采用了一块近似的800p屏幕。从720p提升到1080p意味着Switch的继任者会在更多的像素上花费更多性能，而不是更好的画质。

我们做出的另外一个大的假设就是任天堂还会继续和Nvidia合作推出下一代Switch（目前来看基本是板上钉钉的事了，毕竟兼容性是个很大的问题），而且会实际使用上文提到的Orin芯片，或者是某一个衍生型号。如果是Orin的衍生款，那kopite7kimi（twi: @kopite7kimi）的泄露就显得非常可信了。就算是这样，我们所有DLSS的计算都基于新Switch只有10W这个功耗上限，但任天堂完全可以通过升级散热手段来提高这个数字。

这个试验的意义主要有两点：

第一是探寻一块基于Nvidia最新图形架构的移动芯片能不能跑DLSS，答案是可以。但是我们必须清楚一点，尽管DLSS是基于Tensor核心的硬件加速算法，它还是会有计算开销的。那么问题的关键就在于这个开销能不能通过插入底座后提高的提高功耗、芯片频率来抵消掉，理论上DLSS在下一代Switch上是可行的。

第二，关于最终画面的质量。就算只有720p的画面作为基础，DLSS还是能够产出看起来还行的4K输出，尽管还是比不上原生4K，但是当你放在一起对比的时候，效果还是非常惊人的。但是这项技术（还有AMD的super resolution）的应用从一开始就引发了很多口水战，不仅仅针对任天堂的主机。机器学习的应用，包括超采样技术对于未来的PS5和XSX的Pro版本也有很强的可行性，前提是Sony和微软愿意朝这个方向前进的话。