ChatGPT处理文本分段任务的能力如何

作为一个兼具分析&生成能力的AI，ChatGPT最近一段时间热度都非常高，它的确颠覆了很多人的认知，它的出现一定程度上是强人工智能的出现。ChatGPT似乎已经无所不能，文本分类，信息抽取，文本生成，代码生成...通通都可以。

之前跟师兄师姐和老师他们聚会时，饭桌上大家聊了一会儿ChatGPT，那会儿我的直观感受是既然ChatGPT啥都能干了，某种程度上几乎把NLP所有方向都统一了，那我们这些NLP算法工程师，NLP算法研究员以后的路在哪里，重点都在业务理解了吗，公众号还有必要再去发一些有关NLP细分方向的任务的论文解读等文章吗？

前几周，小喵才刚开始试用ChatGPT（ 算是赶热度比较晚的了）。试用后虽然对ChatGPT的能力感到惊叹，但也发现ChatGPT也不是万能的，还有很多NLP任务目前还做的不太好。当然ChatGPT每天都在根据用户数据学习更新完善自己，它一定会越来越强。此外，考虑到学习重要的是学习别人提出问题、解决问题的思想，从这一点出发，小喵决定后续也会继续分享NLP细分方向的文章。

1. 文本分段

之前公众号正在介绍文本分段（文本分割）任务，所以这次小喵也测试了下ChatGPT处理文本分段任务的能力：

显然，ChatGPT没有正确地意识到我的意图。ChatGPT对指令（Instruction）比较敏感，也就是说指令会影响结果，那我们再换个说法：

还是不行，那再具体一点：

好像稍微好点，但是仍然离用户意图比较远。也就是说，ChatGPT在文本分割上效果还有待提升，当然我们也可以多给它一些范例，让它理解“分段”指令指的是什么，应当如何应对这个指令，这样也许会获得稍好一些的结果。

2. 实体识别

小喵也对实体识别这个基础任务进行了测试，在这个任务上也存在意图理解问题，提取结果精度也有待提升：

 

3. 热点话题

ChatGPT是在2021年训练的，那么它学到的就是2021年之前相关语料里的知识，也就是说不能太寄希望于它来回答一些当下的知识。

4. 文本生成之写新闻

在文本生成上，ChatGPT可能生成偏离事实的文本，比如这里我给出的“威斯布鲁克”是指从湖人队交易到爵士队的“威少”。

就算我将“威斯布鲁克”改成了“威少”（无争议性，就是曾经的雷霆三少之威少），ChatGPT依然写出了非事实“雪人队“。我们知道ChatGPT是在2021年训练的，但2021年威少是在奇才队，而不是什么雪人队，或者雄鹿队。

也就是说2021年的知识ChatGPT也不一定完全学到了。这一点可能是因为虽然ChatGPT基于人工反馈的强化学习优化了模型，想要让模型生成有用无害又真实的文本，但人力能够给予的反馈毕竟有限，模型被纠正的不多，来自网络的数据中的噪声依然可能误导模型。

总结

首先，即使是最先进的 NLP 模型，例如 ChatGPT，也不能完全覆盖 NLP 方向的所有任务。自然语言处理是一个非常广泛的领域，其中有很多不同的任务需要被解决，我们依然必要继续研究 NLP 方向的其他任务，以推动 NLP 领域的进一步发展。

此外，考虑到学习重要的是学习别人提出问题、解决问题的思想，从以上两点出发，小喵决定继续分享NLP细分方向的文章。

最后，技术的发展不应该被看作是一种竞争，而是一种合作，无论中国还是美国都应该以“共同推动 NLP 技术的进一步发展”为核心，互相学习共同进步。

编辑：黄飞