本篇文章1709字，读完约4分钟
量子比特报道|公众号qbitai
这样的东京街景，不是有点像日系纪录片动画的地方吗？
现在人类画师不需要一帧一帧地画，只要把你拍的视频给ai，就可以把现实世界在分钟内降到二维世界。
集:
美食:
甚至复仇者队也能瞬间打破电影宇宙和漫画宇宙的边界。
这项研究被称为white-box-cartoonization，来自字节跳动、东京大学和style2paints研究所。
论文收录在cvpr中。
白色箱子的动画显示
这种ai的“魔法”的关键还是生成对互联网( gan )。
另外，研究者提出了分别表现平滑表面、结构、纹理的3个白色箱子的表示方法。
表面显示:表示动画图像的光滑表面。
使用引导过滤器解决图像，在保持图像边缘的同时平滑图像，去除图像纹理和详细新闻。
结构显示:获取全局结构新闻和稀疏颜色块。
首先使用felzenszwalb算法将图像分割成不同的区域。
因为超像素算法只考虑像素的相似性而忽略语义新闻，所以研究者进一步引入选择性搜索整合分割区域，提取稀疏分割图。
另外，标准的超像素算法会降低全局对应度，使图像变暗。
因此，提出了提高图像对应度，降低模糊效果的自适应着色算法。
然后，提取在事先训练的vgg16互联网上生成器生成的图像和提取的结构所表示的高度特征，限制空间结构。
纹理显示:反映漫画图像的高频纹理、轮廓和细节。
研究者提出了一种从彩色图像中提取单通道纹理表示的随机颜色偏移算法，保存了高频纹理，降低了颜色和亮度的影响。
整个gan框架包括一个生成器g、两个判别器ds和dt。 其中，ds的目的是区分模型输出的表面表示和真正的动画图像。 dt用于区分模型输出的纹理表示和真正的动画图像。
具体来说，发电机网络是u-net这样的全卷积网络。
研究者使用stride=2的卷积层进行了缩减取样，以双线插值层为上取样，没有国际象棋棋盘式伪影。
该互联网仅由卷积层、leaky relu(lrelu )和双线性调整层三层组成。 由此，该网络可以简单地组装到手机等边缘设备中。
判别器互联网基于patchgan进行调整，其最终层是卷积层。
输出特征图中的每个像素对应于输入图像中的一个斑块，用于评价图像块属于真正的动画图像还是属于生成图像。
在训练数据集上，风景图像取自新海诚、宫崎骏、细田守的动画作品，人物图像取自京都动画和pa works。 所有影片都被剪辑到帧中，以256×256的大小随机剪辑。
实验结果
所以，这种图像动画化方法的效果到底会怎么样呢？
定量实验表明，ai提取的标识成功愚弄了训练有素的分类器。
分类器与原图像相比，在3个提取出的漫画表现中精度都很低。
另外，计算出的fid指标也表明漫画表现有助于缩小现实世界照片和漫画图像的差异。
让我们看看另一组直观的对象。
△(f)-(g )是cartoongan
与传统做法相比，白盒框有助于生成更清晰的边界轮廓，并保持颜色的协调。
例如，图中( f)-(g )所示的cartoongan的几种样式有颜色失真的问题，白色箱子的框架的颜色更自然。
此外，白色盒子框架也有效减少了伪影，具有超过cartoongan的效果。
网友:惊喜
这样的效果被很多网民称为“惊喜”，在reddit中达到了500+的热度。
据一位网友透露，如果有这样的黑色技术，未来也许只有创造性才能创作出好的作品。 市场准入的门槛由此下降。
也有网友认为颜艺和卖萌这种现实中不存在的画面还是依靠动画制作者的创作。 但是，这样的ai将来一定能减少动画制作者的工作量。
现在研究者还发表了网上演示。 如果有兴趣的话，请自己试试~
最后，左边是人笔，右边是ai大作，你的拾取是哪个？
传输门
github地址:
github/systemerrorwang/white-box-cartoon ization
在线演示:
cartoon ize-lkq ov 62 dia-de.a.run.app/cartoon ize
结束了
本文是网易信息网易号特色复制激励计划账户【量子位】原始复制，未经账户授权，禁止擅自转载。
原标题:“ai新海诚在下面，不来玩”
阅读原文。
