用TensorFlow.js在浏览器中构建了一个使用任意图像进行风格化的demo

一位日本小哥用TensorFlow.js在浏览器中构建了一个使用任意图像进行风格化的demo，只使用了一个单一的模型。demo效果相当不错，并且也开源了代码。

用一个模型就能实现所有类型的风格转换！一个名为Arbitrary Image Stylization in the Browser的项目最近火起来。

作者是日本小哥Reiichiro Nakano，他用TensorFlow.js在浏览器中构建了一个使用任意图像进行风格化的demo。

不像以前的快速风格转换算法那样需要每种风格都有一个单独的网络，在这个demo中，所有风格图像只使用一个单一的模型。并且，你可以自由混合不同的风格。

使用也非常简单，你只需要选择一张内容图像（content image）和一张风格图像（style image），然后点击“Stylize”，静候片刻，一张风格化的图像就处理好了。

如图所示，我们在“内容图像”选择一张芝加哥城市风景图，“风格图像”选择一张港口的版画风格图像，风格化后得到一张版画风格的芝加哥风景图。

其中，内容图像和风格图像都可以自定义，也就是说，你可以上传任意图像。风格化的强度也可以调整。

作者还提供了混合两种风格的效果。

总结而言，这个风格网络被训练并用于为任意绘画风格生成一个100-D的风格向量（style vector）。然后，将该向量与内容图像一起馈送到一个的转换网络，进行实际的风格转换。

这个100D的向量基本上是一个“style”的潜在空间。我们可以利用这个“潜在空间”做一些有趣的事情。

我们可以通过对风格图像和内容图像的风格向量进行加权平均，来控制风格化的强度。作者发现，这对于风格特别鲜明的内容图像很有用。

我们还可以通过在它们的风格向量之间插值，来组合不同的风格，并让网络猜测这两幅图像之间的风格是什么样子的。

将模型移植到浏览器上的最大问题是模型大小。风格网络基于Inception-v3，它的权重> 97MB。作者使用distillation，能够用9.6MB的MobileNet-v2替换它，尺寸缩小了10倍。所以作者认为distillation这种技术被低估了，它可以为浏览器带来一些很酷的ML功能，因为很多模型由于太大而无法在资源有限的环境中进行部署。

这个demo建立在谷歌大脑和蒙特利尔大学合作的论文Exploring the structure of a real-time, arbitrary neural artistic stylization network之上，这是图像风格化的经典论文之一。作者开源了代码。

下面我们简要介绍一下论文的主要思想。

模型和方法

这篇论文的核心是通过构建一个风格学习网络来实现快速的风格迁移。

论文提出了一种将艺术风格神经算法的灵活性和快速风格迁移网络的速度相结合的方法，允许使用任何内容/风格图像进行实时的风格化。

这个模型成功地用大约80000幅画作的数据库进行了训练，并能够推广到以前未见过的画作。

论文的主要贡献包括：

1、介绍了一种新的算法，用于快速、任意的艺术风格迁移；在80000幅画作上训练，并能对未观察过的画作实时运行。

2、在紧凑的嵌入空间中呈现左右绘画风格，捕捉绘画的语义特征。

3、证明用大量画作进行训练之后，模型能够预测以前从未观察过的风格。

4、嵌入空间允许对艺术家的艺术范围进行新的探索。

图1：网络在大量的绘画和纹理上训练生成的造型

图2：模型架构图示

如图2所示，整个网络架构由风格学习网络P和风格转换网络T组成，学习的目的是style loss和content loss。风格学习网络P预测来自输入风格图像的嵌入向量S，为风格转换网络提供一组归一化常数。风格转换网络将照片转换为风格化的表示。Content loss和style loss来源于VGG图像分类网络的表征空间距离。风格学习网络主要遵循Inception-v3架构。