英特尔居然用英伟达显卡，给gta5做了个画质增强补丁？
没错，画面亿点点接近真实世界的那种：
有点意思。
更有意思的是，据英特尔表示，这个补丁在geforce rtx 3090 gpu上，完成一次画质增强推理，只需要半秒钟的时间。
效果也确实不错，看起来就像是自家行车记录仪拍的：
就连增强后的草地和沥青路面（右侧），看起来也更真实了：
简直就像是在洛杉矶（gta5取景地）实地飙车一样，而且丝毫不拥堵！
网友表示，这简直是个巨大的飞跃，而且研究不是出自英伟达或者amd，竟然是来自英特尔！
不过，英特尔怎么想起来搞计算机图形学方面的研究了？
毕竟，去年11月份，英特尔正式宣布推出他们的iris xe max独立显卡，研究已经在进行中了。
这波啊，这波英特尔在大气层。（手动狗头）
所以，这个画质增强补丁，究竟给gta5的画面“施了什么魔法”？
不用光追，3点改变让图像更真实
通常来说，用gan就能实现类似的逼真图像，例如将一匹马转换成斑马。
△用gan生成的斑马
然而，用gan会产生一个问题。
如果只用图片作为输入，生成的图像虽然逼真，却不可避免地会出现伪影等现象（图中闪烁、斑马身上不时出现棕色浅影）。
通常来说，伪影产生的原因之一，是生成器在将低分辨率图像转换成高分辨率图像时，需要进行反卷积，这容易出现不均匀重叠、产生某些抽象部分，并出现某些色块漂移的情况。
为了解决这一问题，研究人员将图片作为输入的同时，还给它加上了更多的限定信息——
这些信息，是gta5游戏引擎在渲染场景时，产生的一组中间缓冲区（g-buffer），里面包含了几何形状、物体材质和光照等物理信息。
将这些物理信息与图像一起输入模型，就能避免网络在改变图像风格时，连着物理信息也一块改变了。
这样，既能增加图像真实性、又能减缓伪影出现的情况。
输入指标有了保障，就可以放心开始生成图像了。
整体来看，这个模型分为两部分：用图像增强网络生成图像，并以感知鉴别器和lpips指标，来判断生成图像的真实性、相似性。
首先，来看生成部分。
研究人员发现，要想让gta5中的图像看起来更真实，有3点特征可以改变：
增加汽车的光泽
改善植被的整体外观
让沥青路面看起来更光滑
为此，图像增强网络（架构基于hrnetv2）本身，采用了kitti、cityscapes和mapillary vistas三个数据集进行训练，分别学习这些特征。
△图像增强网络
其中，采用kitti数据集训练网络，以增强gta5中的汽车光泽（传说中的抛光）：
再采用cityscapes训练，模拟出更接近真实世界的气候情况（这里模拟了德国气候）：
最后，用mapillary vistas数据集进行训练，以模拟出更光滑的沥青路面：
这样，相比于gta5中的动画场景，生成的图像车子会反光、植被更丰富、路面也更平坦了，看起来更接近真实世界。
然后，就是鉴别部分了。
这部分包括感知鉴别器、和一个名为lpips（learned perceptual image patch similarity）的指标，分别评估生成图像的真实性、以及与输入图像之间的相似性。
鉴别器包含分割网络和vgg-16两部分，用来对生成图像和现实场景中的图像进行对比，并给生成图像进行打分，越真实分数越高。
至于lpips，则是一个指标，用来评估生成图像与最初输入的图像之间的“感知相似度”。
与其他模型相比，效果如何？
论文将intel的模型，与colortransfer、spade、wct2、cut、tsit等模型进行了对比。
从视频中来看，intel的模型生成的结果，基本都能保持与gta5原始图像一致的结构。
但其他模型却暴露了一些不足，其中效果最糟糕的是spade，根本无法生成相应的场景布局。
再比如，colortransfer无法修改纹理，因此欠缺了一些真实感：
wct2在很大程度上，要受到参考图像质量的限制，生成效果不稳定：
在tsit和munit中，模型生成了额外的树木，甚至还有无法去除的伪影：
比起使用感知损失的其他方法，cycada使用了更明确的语义信息，效果更好。
但是类似地，在cut和cycada中，也出现了车标伪影的情况，cut中的一些整体场景不堪忍睹：
这些树木、车标等伪影，在一定程度上是由于统一采样和较大的图块导致的。
而intel研究团队以较小的图块进行采样，减少了源数据集和目标数据集之间的不匹配。
从感知效果上来看，这些模型生成的图像，都比gta要更“真实”。
从各项指标来看，intel的模型综合表现也是最优的（数值越低，效果越好）。
不过，新模型也有不太完美的地方，进行增强后的路人效果还是一般，看起来不太真实。
当然，这也和采用的训练数据集有关，intel模型所用的数据集，并不过多地涉及行人，主要还是用于增强天空、沥青路、汽车光泽等真实感。
网友：比路径追踪便宜多了！
对于这次模型展现的效果，网友们的评价也是褒贬不一。
有网友迫不及待地想要用上了：搞起！
还有网友表示，这将是未来gta-5这类游戏的发展方向——更接近真实世界。
而且，这项技术相比于路径追踪，不知道要便宜多少。
最重要的是，技术所用的神经网络，还修复了物体上那些不真实的纹理。
当然，也有网友调侃：
视频是用便宜的行车记录仪来拍的？（这个视频只有720p）
嗯，所以这就是《黑客帝国》色调呈绿色的原因。
还有一些网友不太喜欢这种类型的“写实风”：
这，这只是把加州变成‘德国风’吧？
这不是又回到gta 4了？
△gta 4宣传片段
这些网友认为，gta 5不该追求写实主义，更需要的是具有美感和娱乐性。
游戏开发者并不是没有能力，显然，他们是刻意选择了风格化和超现实主义，因为它看上去比真实的东西更具吸引力。
对此，有网友解释说，研究人员和游戏开发者的出发点不同。
这是一个巨大的飞跃！
纹理和光照是cgi中两个非常棘手的问题，使用光线追踪呈现逼真的光泽，需要计算大量表面之间的光线反射。
应用ml可以巧妙地跳过最困难的部分。这项技术可以用来制作游戏、电影或电视剧。
你希望游戏用上这样的图像增强引擎吗？
– the end –