利用进化后的反向传播算法实现快速、高效的训练

利用进化后的反向传播算法实现快速、高效的训练

在最新的机器学习自动搜寻方法的推动下，一些谷歌研究人员提出了一种自动生成反向传播方程的方法。

新方法的工作原理:研究人员尝试修改反向计算（流程）图，并实现了一种搜索方法：找到更好的公式，生成全新的传播规则。他们使用进化后算法来寻找可能的更新方程。进化控制端在每次迭代中向研究人员群发送一组修改后的更新方程以进行评估。然后，每位研究人员使用接收到的变异方程来训练一个固定的神经网络结构，并向控制端报告所达到的精准度。

潜在应用及影响

研究人员发现一些变异可以像传统的反向传播方法一样有效。这些变化可以在短的训练周期内实现更高的准确性，因此可以用于改进基于准确性的决策算法。

由于反向传播是深度神经网络的基础，利用这种新发现的变异可以用来增强对各种神经网络的训练。

原文：

https://arxiv.org/pdf/1808.02822.pdf

端对端的目标跟踪结构

研究人员提出了一种离线型端到端训练的鉴别目标跟踪方法。在Python中可以使用PyTorch实现，新方法是通过迭代优化从具有辨别性的学习损失中衍生得出的。它构成卷积层的权重以及输出目标分类得分。而且它还实现了一个预测模型，其中包括一个初始化网络，以便仅使用外观（特征），就能有效地提供模型权重的初始估计。

然后由优化模块处理权重，同时考虑目标和背景样本。优化功能是特地设计的，只包括一些可学习的参数，以避免在离线训练期间过度拟合。在使用时，预测模型就能够泛化为不可见的目标，这在常规目标跟踪中是至关重要的。

整个跟踪模型，包括目标分类、边界框预估和Backbone模块，都可以在跟踪数据集上进行离线训练。在评估方面，它在6个跟踪基准上都达到了最新的技术水平，在运行速度超过40FPS的情况下，在VOT2018（Visual Object Tracking Challenge全球目标追踪领域中最高水平赛事）上获得了EAO得分：0.440（Expect Average Overlap Rate,追踪算法评价标准之一）。

在单块Nvidia GTX 1080 GPU上，新模型在使用ResNet-18为主时，跟踪速度为57 FPS，对于ResNet-50则为43FPS。训练及推导过程请见☟

https://github.com/visionml/pytracking

潜在应用与影响

现在我们有了一种辨别性的目标跟踪方法，而且这种方法是离线训练的，只需几个优化步骤就可以进行稳健型的预测。结合这一方法以及其他最近的目标跟踪方法，我们即将迎来下一代目标跟踪（方法）的进步。

阅读更多：

https://arxiv.org/abs/1904.07220v1

3.DG-Net：增强行人身份再识别（Re-Identification）

为了提高行人的再识别能力，研究人员最近提出了DG- Net，这是一个结合再识别学习和端到端数据生成的联合学习框架。为此，DG-Net包含一个生成模块，该模块将特定的人分别编译为外观代码和结构代码。它还集成了与生成模块共享外观编码器的判别模块。

因此，DG-Net中的生成模块可以生成高质量的交叉id合成图像，然后在线将图像反馈给外观编码器，通过切换外观代码或结构代码来改进模型的判别模块。在包括Market-1501、dukemtc - reid和MSMT17在内的标准基准数据集上对DG-Net进行了评估，结果显示，与传统模型相比，DG-Net在图像生成质量和再识别精度方面都有显著的改进。

将新方法与LSGAN[29],PG2-GAN[28],FD-GAN[10]，PN-GAN[31]通过基于Market-1501而产生的真实图像进行对比，放大后可以更清楚地看到图片的表层和深层。

潜在应用与影响

从GANs被发现到最近的研究进展，判别和生成网络在图像构建和生成任务中不断证明自己。DG-Net是另一个当代的方法，将会显著和持续地提高再识别的准确性。这项研究表明，人工智能领域还可以继续更深入地研究GANs，以便找到更好的方法，来运用生成的数据完成更多稳健的基于图像任务。

原文：

https://arxiv.org/abs/1904.07223v1

4 .实现CNNs端到端培训时间减少31%

通过着重关注加速训练，一组研究人员提出了PruneTrain，一种新的经济有效的方法，可以缓慢但稳定地降低CNN的训练成本。与传统的CNN训练方法不同，PruneTrain在训练过程中通过稀疏化过程实现了模型剪枝方法scratch。模型剪枝主要是在稠密模型中减少权值或参数的数量，从而在保持原有模型精度的同时降低内存和推理成本。

PruneTrain非常实用，它使CNN的端到端训练成本降低了约31%。总体而言，它减少了大约一半的计算成本——对于大数据集和小数据集，它分别减少了37%到40%之间的计算成本，实现了31%和28%的成本降低。总的来说，这是由于计算延迟减少了37%，内存占用减少了35%，加速器间通信减少了54%。

潜在用途及影响

在机器学习社区中，谁不认为这是一个好消息?人工智能研究人员和行业从业人员现在都可以期待使用PruneTrain进行成本更低的CNN训练，并且PruneTrain将CNN架构重构为更节省成本的形式，同时仍然保留一个密集的结构。为了更快地进行推理，这样的模型剪枝是值得深入研究的!

详情请见：

https://arxiv.org/abs/1901.09290v3

5 . 自主微型机器人的合成神经视觉系统

一种新的基于嵌入式视觉系统的自主微机器人方法被提出，用于识别动态机器人场景中的运动模式。该方法将基本的运动模式分为隐现(接近)、衰退、平移等运动。该系统由两个协调子系统组成，其中包括蝗虫巨叶状体运动探测器(LGMD1和LGMD2)，它有四个突起神经元，用于感知若隐若现和衰退。另一类是用于平动运动提取的果蝇定向选择神经元(DSN-R和DSN-L)。

通过对开关函数和决策机制的时空计算，图像被转换为峰值，从而在动态机器人场景中唤起适当的避碰、跟踪和漫游行为。对多机器人的评估证实了系统在识别运动特征以进行碰撞检测的有效性，与现有方法相比有显著改进。

潜在用途及影响

为了在动态场景中应用合适的机器人行为，毫无疑问，更多的研究工作和行业实践是必要的。所提出的人工神经视觉系统能够较好地识别运动规律。研究人员呼吁在系统中继续加入其他视觉神经元，提取更多的运动特征，以丰富运动模式，使机器人的视觉系统更加高效。