Facebook推出ReAgent AI强化学习工具包

据外媒报道，Facebook近日推出ReAgent强化学习（reinforcement learning）工具包，首次通过收集离线反馈（offline feedback）来实现策略评估（policy evaluation）。

目前ReAgent已与Microsoft Azure顶尖AI平台实现合作。

一、“1+1+1”

Facebook AI Research近日推出了ReAgent，这是一种强化学习工具包，用于构建可以接收反馈的决策AI（decision-making AI）。ReAgent可以给用户行为评分，并将用户的输入行为（例如单击推荐内容）作为训练数据。

ReAgent是一个小型C ++库，可从GitHub下载，并在任何应用程序中嵌入。该工具包包含一组入门的决策AI模型，一个用于模型性能评估的离线模块，以及一个使用TorchScript库将AI部署到生产中的平台。

Horizon是一个强化学习平台，曾用于Facebook 2018年11月的开源生产中，现已成为ReAgent的一部分。

二、建立大规模实时决策AI模块变得简单

应用研究负责人Srinivas Narayanan近日在Facebook的@Scale会议上说，ReAgent现在每天要将数十亿个Facebook上的决定个性化（personalized），例如Facebook和Instagram上的用户通知。

Facebook曾在博客中提到：“ReAgent是各类创建AI推理系统（AI-based reasoning systems）的开源平台中最全面和模块化的，并且是第一个通过收集离线反馈来实现策略评估，从而改进模型的。”

“ReAgent让建立大规模的实时决策模块变得简单，同时也让创建和评估研究项目以及生产应用中的策略变得平民化（democratized）。

三、与Microsoft Azure合作

为了继续改进ReAgent，Facebook发布了将其应用在Microsoft Azure等云服务中的文档。Microsoft Azure今年年初推出了自己的强化学习服务。

▲图片来源：Microsoft，图中为Microsoft Azure的全球服务地区

在今年夏天Transform会议上的一次对话中，OpenAI首席技术官Greg Brockman和首席科学家Ilya Sutskever认为，未来AI发展的核心就是推理（ reasoning）和可解释性（explainability）。

结语：开源是好事，也是大势所趋

谷歌和微软作为AI两大巨头，均有自己的开源AI开发平台，如谷歌的Google Cloud Prediction API和微软的Microsoft Azure Machine Learning。

如今Facebook也发布了自己的开源AI工具包。AI领域的研发门槛在不断降低，一些中小创企得以加入这场竞赛，也让这个领域不断注入新鲜的血液，充满活力。

充分竞争，交流融合，才会有更多灵感的迸发。