用生成对抗网络大规模定制医疗产品

通常说道GANs，我们会想到图像生成、真假图片判断等应用，但是没有一款真正的实体应用用到这项技术。现在，UC Berkeley和Glidewell牙科实验室的研究人员用GAN技术构建了一款模型，能够生成媲美人类医生的牙冠（假牙），既具备必要的功能，又十分美观，可以说是GAN的首次落地应用。

近几年，计算机视觉发展得非常迅速，许多重要技术，例如目标物体识别、检测、语义分割等，都已经广泛应用于实际中。在这篇论文中，我们提出了另一种令人激动的成果——用生成对抗网络大规模定制医疗产品，例如牙冠（dental crown）。

在牙齿修复的过程中，牙医首先会清除掉受到损坏的部分牙齿，然后手动或用3D扫描仪对需要补的地方以及周围的结构进行大致重建。捕捉到的数据会生成一个完整的牙套或需要镶嵌的牙齿。由于牙齿修复的需求巨大，对其效果主要有三点要求：

牙冠必须完美适合患者的口腔；

牙冠必须能进行咀嚼功能；

看起来要美观。

过去十年，计算机辅助设计（CAD）技术在牙科领域大显身手，能够满足上述三种要求。但是在目前的条件下，仍然需要人类的协助才能完成。牙科CAD通常基于预先设定好的模板上，是为最理想的牙齿模型设计的。该模型被固定在准备修复的地方，然后根据患者的情况进行调整。图一展示了牙齿修复的过程，设计者需要计算牙套的尺寸，然后进行手动调节。

图一

为了构建一款自动牙科CAD系统，我们需要将人类专家的技能融合到软件中。其中一种方法是建立一系列规则，涵盖了所有牙科专家所了解的技能，将其编码成机器可以理解的语言。这项工作非常复杂，并且只有当规则明确时这一方法才可行。另一种方法就是搭建一套系统，不借助外部规则，可以自己从大量案例中进行学习。

受第二种方法的启发，我们用数据驱动的深度学习方法，将牙齿修复任务看作是有条件的图像预测问题。我们将3D扫描看作一张2D的深度图像，需要修复的牙齿的深度图像当做输入条件，而经过专业人员设计的填补图像就是标准的输出结果。也就是说，我们可以用深度网络捕捉人类专家的设计，从而将一种图像转换成另一种。

然而，想要达到上述目的，技术人员除了试错法，没有其他更好地解决方法，即如何在牙齿表面设计自然的凹槽、如何设计合适的连接点从而能让牙齿自如地咬合咀嚼。

我们的工作很好地解决了这一问题，我们通过大数据学习，找到了能超越人类牙医的牙齿修复方案。我们提出了一项软硬结合的针对理想牙套制作的解决方法：前者负责硬件是否合适，牙套与对面牙齿合并起来时不能有缝隙。后者负责捕捉能允许咬合和咀嚼的最佳自然空间缝隙的数据。我们用一个生成对抗网络模型完成了这一图像预测任务，最终得到的结果优于人类专家。

▌我们的方法

设计牙套的过程如上图一所示，我们首先创建了需要修复的颌骨及另一面颌骨的2D扫描图像，以及两个颌骨之间空隙的3D扫描模型。我们提出的生成模型如图二所示：

图二

研究人员将生成的2D牙套表面图像用CAD转换成3D模型，如果生成的3D模型通过了所有空间限制，那么就可以开始生产了。

理想状态下，牙冠与另一方牙齿之间不应有过大缝隙，同时接触的部分必须能撕开或咬碎食物。所以我们提出了一种功能性损失函数来解决这一问题。

▌条件生成对抗模型/pix2pix模型

最近提出的pix2pix模型在图像到图像的转化中前景非常广阔。它的思想就是用有条件的生成对抗网络帮助调整生成器，从而产出看起来真实的结果。

空间信息条件

根据周围的牙齿设计一个合适的牙冠并不能满足牙冠需要的所有功能。同样的，我们需要考虑牙冠是如何与对面牙齿接触的。也就是说，要想创造一款功能完美的牙冠，我们还需要对面牙齿的相关信息以及上下颌骨之间空隙的数据。

▌实验

最后，我们进行了实验测试提出的方法。所用的数据集中含有1500个训练样本，1570个验证样本以及243个测试样本。每个样本都有对应的扫描之后的颌骨、与之相对的颌骨以及二者之间的距离，同时还有手工制作的牙冠作为训练和验证的标准。

网络架构方面，我们遵循标准的pix2pix架构。对于生成器G，我们用U-Net架构，其中蕴含了一个编码-解码器结构，同时还有对称的skip connections。之前的实验已经证明，当输入和输出之间有空间相对性时，这种架构能生成强大的结果。

训练设置

我们在六种不同的设置上进行了实验，如表一所示：

表一

Cond1表示在原始的pix2pix上进行实验，并且输入的只有待修复的颌骨。其中仅仅使用了回归和对抗损失。

Cond3表示pix2pix模型在额外的空间信息上进行的实验。同样仅仅使用了回归和对抗损失。

HistU表示实验中加入了直方图损失和统一的权重，超参数λH设置为0.001，并且用到了回归、对抗和功能（直方图）损失。

为了决定直方图中各柱子的权重，我们计算缝隙距离最小为5%的值，最高达到0.5毫米，这也是实际中非常重要的一个标准。

根据分析，我们认为不同的权重分配如下。负数柱形权重为2，0至0.5的权重为1，0.5至1.0的为0.5，其余为0。超参数λH为0.002。这一实验就被标记为HistW。

Hist2nd表示更换了直方图函数之后的实验，参数和权重与HistW相同。

质量评估

我们对比了模型生成的牙冠与人类专家设计的牙冠之间的差别，我们证明我们的结果能与理想设计相媲美。图三显示了牙冠的预测结果3D效果图，图像表明我们生成的牙冠与标准结果相似度很高。

图三

然而，我们考虑到咬合与咀嚼，所以模型生成了更加复杂的表面。例如上图中的#1、#3、#4中的牙冠在Hist2nd情况中，与另一边牙接触的一面有更多的褶皱。而在不具备空间信息的情况下，#2和#5的牙冠就“生长过度”了。

渗透评估

接着我们评估了不同方法下在验证和测试集上的渗透情况。如果牙冠会插入到对面牙齿中，那么该产品是不合格的，需要人类手动调整。所以我们需要将穿透率控制在最小水平。表二表示了不同设置情况下穿透率的水平。

表二

同时我们将这一数据进行了可视化处理：

图四：红点表示牙冠上的穿透点（距离用负数表示）

接触点分析

图五

图五表现了测试集上接触点的分布。牙冠上绿色的点表示可以用于咬动和咀嚼的地方。

▌结语

研究人员通过大量数据创造出的“牙冠生成器”不仅能达到人类医生的水平，还具备更多功能性。这项工作可以说是第一个成功用GANs解决实际问题的成果，希望未来能有更多这样的技术落地。