0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于句嵌入进行无监督文本总结的经验

zhKF_jqr_AI 来源:lq 2018-12-03 09:02 次阅读

编者按:Kushal Chauhan分享了他在Jatana.ai的NLP研究实习期间基于句嵌入进行无监督文本总结的经验。

什么是文本总结?

文本总结是从一个或多个来源提取最重要的信息,生成一个针对某个或某群特定读者或任务的简化版本的过程。——Advances in Automatic Text Summarization, 1999, 第1页

一般来说,人类相当擅长这一任务,因为我们具有理解文档含义,使用自己的语言总结要点的能力。然而,由于当今世界信息过载,缺乏人力和时间解读数据,自动文本总结技术十分关键。自动文本总结的价值在于:

减少阅读时间。

简化研究的筛选过程。

提高索引的有效性。

问答系统中,个性化总结提供了个性化信息。

自动总结系统或半自动总结系统的应用让商业摘要服务提高了处理文档的吞吐量。

文本总结方法的类型

根据不同的标准,文本总结方法可以分为不同类型。

基于输入类型

单文档许多早期的总结系统只能处理单文档。

多文档支持任意数量的文档作为输入。

基于目的

通用模型对要总结的文本内容的领域不作任何假定,并将所有输入作为同构文本处理。文本总结领域的大部分工作都属于这类。

领域特定模型使用领域特定知识以形成更精确的总结。例如,总结特定领域的研究论文,生物医学文档,等等。

基于查询总结仅仅包括回答关于输入文本的自然语言提问的信息。

基于输出类型

提取从输入文本中选取最重要的句子,组成总结。现在大多数总结方法本质上都是提取式的。

摘要模型用自己的词组和句子提供一份更连贯的总结,类似人类所做的总结。这类方法无疑更有吸引力,但比提取式总结要困难得多。

我的任务

我的任务是在电子邮件上应用文本总结,邮件以英语、丹麦语、法语等多种语言撰写。大多数公开的文本总结数据集面向的是长文档和文章。由于长文档和文章的结构和短邮件有很大的不同,以监督方法训练的模型可能在领域自适应方面表现很差。因此,我选择探索无监督方法,期望得到总结的无偏预测。

现在,让我们尝试了解构成模型流程的多个步骤。

文本总结模型流程

我所用的文本总结方法借鉴了Aishwarya Padmakumar和Akanksha Saran的论文Unsupervised Text Summarization Using Sentence Embeddings。这一方法可以分解为以下步骤:

第一步:清洗邮件

让我们先来看下典型的邮件看起来是什么样的:

英文邮件样本:

HiJane,

Thank you for keeping me updated on this issue. I'm happy to hear that the issue got resolved after all and you can now use the app in its full functionality again.

Also many thanks for your suggestions. We hope to improve this feature in the future.

In case you experience any further problems with the app, please don't hesitate to contact me again.

Best regards,

JohnDoe

CustomerSupport

1600AmphitheatreParkway

MountainView, CA

UnitedStates

挪威语邮件样本:

Hei

Grunnet manglende dekning på deres kort for månedlig trekk, blir dere nå overført til årlig fakturering.

I morgen vil dere motta faktura for hosting og drift av nettbutikk for perioden 05.03.2018-05.03.2019.

Ta gjerne kontakt om dere har spørsmål.

Med vennlig hilsen

JohnDoe - SomeCompany.no

04756 | johndoe@somecompany.no

Husk å sjekk vårt hjelpesenter, kanskje du finner svar der: https://support.somecompany.no/

意大利语邮件样本:

CiaoJohn,

Grazie mille per averci contattato! Apprezziamo molto che abbiate trovato il tempo per inviarci i vostri commenti e siamo lieti che vi piaccia l'App.

Sentitevi liberi di parlare di con i vostri amici o di sostenerci lasciando una recensione nell'AppStore!

Cordiali saluti,

JaneDoe

CustomerSupport

OneInfiniteLoop

Cupertino

CA 95014

如你所见,邮件开头的称呼语和末尾的签名对总结生成任务毫无贡献。所以,有必要从邮件中移除这些应该不会影响总结的行。这简化了输入,使模型表现可以更佳。

由于不同邮件和不同语言的称呼语和签名不一样,移除它们需要使用正则表达式匹配。如果只处理英文邮件,那么我们可以直接使用Mailgun的talon库:

from talon.signature.bruteforce import extract_signature

cleaned_email, _ = extract_signature(email)

不过我需要处理多种语言的邮件,所以我修改了extract_signature函数,以支持英语之外的其他语言。我还顺便移除了换行符。

上面三个邮件样本经过清洗后,是这样的:

清洗过的英语邮件:

Thank you for keeping me updated on this issue. I'm happy to hear that the issue got resolved after all and you can now use the app in its full functionality again. Also many thanks for your suggestions. We hope to improve this feature in the future. In case you experience any further problems with the app, please don't hesitate to contact me again.

清洗过的挪威语邮件:

Grunnet manglende dekning på deres kort for månedlig trekk, blir dere nå overført til årlig fakturering. I morgen vil dere motta faktura for hosting og drift av nettbutikk for perioden 05.03.2018-05.03.2019.Ta gjerne kontakt om dere har spørsmål.

清洗过的意大利语邮件:

Grazie mille per averci contattato! Apprezziamo molto che abbiate trovato il tempo per inviarci i vostri commenti e siamo lieti che vi piaccia l'App. Sentitevi liberi di parlare di con i vostri amici o di sostenerci lasciando una recensione nell'AppStore.

完成这一预处理步骤之后,我们可以进一步探索总结流程剩下的部分。

第二步:检测语言

由于要总结的邮件可能使用任何语言,我们首先需要做的就是判定邮件的语言。有很多使用机器学习技术识别文本语言的Python库,例如polyglot、langdetect、textblob。我使用了langdetect,它支持55种不同的语言。只需一个简单的函数调用就可以检测语言:

from langdetect import detect

lang = detect(cleaned_email) # 如果是英语邮件,那么lang = 'en'

第三步:句子分割

识别了每封邮件的语言后,我们就可以根据不同语言的规则(标点符号)将邮件分割成句子。我们将使用NLTK:

from nltk.tokenize import sent_tokenize

sentences = sent_tokenize(email, language = lang)

第四步:Skip-Thought编码器

我们需要找到一种方式,为邮件中的每句话生成固定长度的向量表示。该表示应当编码句子的内在语义和含义。知名的Skip-Gram Word2Vec词嵌入生成方法可以为模型词汇表收录的词提供词嵌入(FastText这样更酷炫的方法能够基于子词信息为模型词汇表外的单词生成嵌入)。

有了词嵌入,只需对每句话包含的词嵌入进行加权求和,即可得到句嵌入。之所以要加权,是因为“and”、“to”、“the”等一些频繁出现的单词完全没有或几乎没有提供任何关于句子的信息。而只在个别句子中出现的一些罕见词,代表性要高很多。因此,权重的取值和词频逆相关。具体细节可以参考Sanjeev Arora等的论文(ICLR17/SyK00v5xx)

然而,这样的无监督方法没有考虑句子中单词的顺序。这可能对模型的表现造成不利影响。所以我选择在维基百科数据上训练一个Skip-Thought句编码器。Skip-Thoughts模型包括两部分:

编码器网络:编码器通常是一个GRU循环神经网络,为输入中的每个句子Si生成固定长度的向量表示hi。将GRU单元的最终隐藏状态(即,在它见过整个句子之后得到的隐藏状态)传给多个密集层,得到编码表示hi。

解码器网络:解码器网络接受向量表示hi作为输入,并尝试生成两个句子——Si-1和Si+1,分别为可能出现在输入句子之前和之后的句子。生成前句和后句的是独立的解码器,均为GRU循环神经网络。向量表示hi作为解码器网络GRU的初始隐藏状态。

给定包含句子序列的数据集,解码器的目标是逐词生成前句和后句。训练编码器-解码器网络以最小化句子的重建损失,在此过程中,编码器学习生成能为解码器编码足够信息的向量表示,以便解码器生成相邻句子。这些学习到的表示满足语义上相似的句子在向量空间中的嵌入互相接近,因此适合用于聚类。在我们的例子中,邮件中的句子作为编码器网络的输入,以得到所需向量表示。获得句嵌入的Skip-Thoughts方法的细节请参考原论文(arXiv:1506.06726)。

给定一个句子(灰点),模型尝试预测前句(红点)和后句(绿点)

至于实现,我使用了论文作者开源的代码。该实现基于Theano,可以通过GitHub仓库ryankiros/skip-thoughts获取。这个实现很容易使用,只需几行代码就可以获取一封邮件的句嵌入:

import skipthoughts

# 你首先需要下载预训练模型

model = skipthoughts.load_model()

encoder = skipthoughts.Encoder(model)

encoded = encoder.encode(sentences)

第五步:聚类

为邮件中的每个句子生成句嵌入后,我们将这些高维向量空间中的嵌入聚类为数量预定义的一组聚类。聚类的数目将等于总结所需的句数。我为总结选择的句数等于邮件总句数的平方根。另一种可能的方案是等于总句数的某个百分比,比如30%. 下面是聚类的代码:

import numpy as np

from sklearn.cluster importKMeans

n_clusters = np.ceil(len(encoded)**0.5)

kmeans = KMeans(n_clusters=n_clusters)

kmeans = kmeans.fit(encoded)

第六步:总结

句嵌入的每个聚类可以看成一组语义上相似的句子,其含义可以通过其中的一个候选句子表达。我们选取向量表示最接近聚类中心的句子作为候选句子。每个聚类选出的候选句子经过排序构成邮件总结。总结中候选句子的顺序取决于其所在聚类中的句子在原邮件中的位置。例如,如果某个候选句子所在聚类中的大多数句子出现在邮件开始,那么该句就被选为总结的第一句。下面几行代码实现了这一算法

from sklearn.metrics import pairwise_distances_argmin_min

avg = []

for j in range(n_clusters):

idx = np.where(kmeans.labels_ == j)[0]

avg.append(np.mean(idx))

closest, _ = pairwise_distances_argmin_min(kmeans.cluster_centers_, encoded)

ordering = sorted(range(n_clusters), key=lambda k: avg[k])

summary = ' '.join([email[closest[idx]] for idx in ordering])

由于这一方法本质上是从文本中提取一些候选句子以形成总结,因此属于提取式总结。

之前我们列出的邮件样本,最终提取出的总结为:

英语邮件:

I'm happy to hear that the issue got resolved after all and you can now use the app in its full functionality again. Also many thanks for your suggestions. In case you experience any further problems with the app, please don't hesitate to contact me again.

挪威语邮件:

Grunnet manglende dekning på deres kort for månedlig trekk, blir dere nå overført til årlig fakturering. I morgen vil dere motta faktura for hosting og drift av nettbutikk for perioden 05.03.2018-05.03.2019.Ta gjerne kontakt om dere har spørsmål.

意大利语邮件:

Apprezziamo molto che abbiate trovato il tempo per inviarci i vostri commenti e siamo lieti che vi piaccia l'App. Sentitevi liberi di parlare di con i vostri amici o di sostenerci lasciando una recensione nell'AppStore.

训练

前面提到的Skip-Thought的代码仓库已经提供了针对英语的预训练模型。其他一些语言需要自行训练。我们使用了维基百科作为语料,从维基媒体基金会网站下载了.bz2压缩文件,解压缩得到.xml文件。接着解析.xml文件,去除html标记,只剩下纯文本。有很多解析维基百科文件的工具,没有一个是完美的。取决于使用的解析方法,解析可能要花大量时间。我使用的是GitHub上的attardi/wikiextractor,不算最好的,不过是免费的,而且可以在合理的时间内完成解析任务。我还对得到的纯文本进行了一些简单的预处理,比如移除换行符。这样我就得到了大量的训练数据,可以让Skip-Thoughts模型慢慢训练了。

Skip-Thoughts的训练过程还要用到预训练的词向量,我使用了Facebook的FastText预训练词嵌入。由于这些词嵌入也是在维基百科上训练的,所以极少遇到词汇表外的单词。

实现细节

我把实现的模型的一个简化版本放到了GitHub上(jatana-research/email-summarization)。这一简化版只支持英语邮件,但是实现了上面提及的所有步骤,效果也很不错。

结果

你也许已经注意到了,模型在只包含三两句话的邮件上表现要差不少。例如,只包含3句话的邮件的总结会有2句话,而原本的3句话可能各自表达完全不同的事情,漏掉任何一句都是不可接受的。这正是为什么通常情况下在短输入上不使用提取式方法进行总结的原因。序列到序列的监督模型更适合这一任务。不过在我们的例子中,邮件一般没有这么短,所以提取式方法的效果惊人得好。

使用Skip-Thoughts向量的一个劣势是模型需要花很多时间训练。尽管2-3天的训练之后就可以得到可接受的结果,但为了得到较好的结果,我还是训练了大约一周。由于损失被句长归一化了,在迭代过程中损失波动得很厉害。

我们可以看下数据集中最相似的句对,看看Skip-Thoughts模型表现得有多好:

I can assure you that our developers are already aware of the issue and are trying to solve it as soon as possible.

AND

I have already forwarded your problem report to our developers and they will now investigate this issue with the login page in further detail in order to detect the source of this problem.

--------------------------------------------------------------------I am very sorry to hear that.

AND

We sincerely apologize for the inconvenience caused.

--------------------------------------------------------------------Therefore, I would kindly ask you to tell me which operating system you are using the app on.

AND

Can you specify which device you are usingas well as the Androidor iOS version it currently has installed?

从上面的句子来看,这个模型的效果惊人地好,可以找出相似的句子,即使这些句子的长度很不一样,使用的词汇也大不相同。

可能的改进

本文介绍的方法效果相当不错,但还不够完美。通过增加模型复杂度,有很多可以改进的地方:

Quick-Thought向量,Skip-Thoughts的改进版,可能降低训练时间,提升表现。

Skip-Thoughts编码表示的维度为4800。由于维度诅咒,这样的高维向量不是很适合聚类。我们也许可以使用自动编码器或LSTM自动编码器在聚类前降低这些向量的维度。

我们不一定要使用提取式方法。我们可以训练一个解码器网络,让它转换聚类中心的编码表示为自然语言句子,从而实现摘要式总结。Skip-Thoughts编码器生成的数据可以用来训练这一解码器。然而,如果我们希望解码器生成看上去合理的、语法正确的句子,那么需要非常小心地调整超参数和设计架构。

机器配置

所有这些试验都是在一个n1-highmem-8的Google云主机上进行的:十核Intel Xeon CPU,Nvidia Tesla K80 GPU,52GB 内存。

特别感谢我的指导者Rahul Kumar全程给出的意见和建议,没有他我不可能完成这一切。我也很感激Jatana.ai给我提供机会和资源完成这项工作。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 编码器
    +关注

    关注

    45

    文章

    3641

    浏览量

    134470
  • 数据集
    +关注

    关注

    4

    文章

    1208

    浏览量

    24696

原文标题:基于句嵌入的无监督文本总结

文章出处:【微信号:jqr_AI,微信公众号:论智】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    C嵌入式程序项目经验总结相关资料分享

    C嵌入式程序项目经验总结这里总结一些项目经验,比如程序调试经验,代码设计模式经验,代码风格
    发表于 12-21 06:04

    PCB板绘制经验总结

    PCB板的绘制经验总结:(1):画原理图的时候管脚的标注一定要用网络 NET不要用文本TEXT否则导PCB设计的时候会出问题(2):画完原理图的时候一
    发表于 09-19 23:52 3787次阅读

    线圈天线设计经验总结

    线圈天线设计经验总结
    发表于 09-12 17:21 224次下载

    PCB布线经验技巧总结

    PCB布线经验技巧总结,好东西,喜欢的朋友可以下载来学习。
    发表于 01-20 15:20 0次下载

    指针经验总结

    指针经验总结
    发表于 10-27 15:44 19次下载
    指针<b class='flag-5'>经验总结</b>

    一种创新的监督文本规范化系统

    推特文本中包含着大量的非标准词,这些非标准词是由人们有意或无意而创造的。对很多自然语言处理的任务而言,预先对推特文本进行规范化处理是很有必要的。针对已有的规范化系统性能较差的问题,提出一种创新的
    发表于 12-15 14:12 0次下载
    一种创新的<b class='flag-5'>无</b><b class='flag-5'>监督</b><b class='flag-5'>文本</b>规范化系统

    采用监督学习的方法,用深度摘要网络总结视频

    中科院和英国伦敦大学玛丽女王学院的研究人员就生成视频摘要提出了一种新方法,采用监督学习的方法,用深度摘要网络(Deep Summarization Network,DSN)总结视频。
    的头像 发表于 01-15 10:49 7144次阅读
    采用<b class='flag-5'>无</b><b class='flag-5'>监督</b>学习的方法,用深度摘要网络<b class='flag-5'>总结</b>视频

    嵌入式系统开发学习心得体会_经验总结

    本文主要介绍的是嵌入式系统开发学习心得体会及经验总结,首先介绍了嵌入式系统开发的三大关键点,其次推荐了嵌入式系统开发必读的书籍,最后介绍了学习嵌入
    的头像 发表于 05-18 10:24 3.1w次阅读

    你想要的机器学习课程笔记在这:主要讨论监督学习和监督学习

    with experience E(一个程序从经验E中学习解决任务T进行某一任务量度P,通过P测量在T的表现而提高经验E(另一种定义:机器学习是用数据或以往的经验,以此优化计算机程序
    发表于 12-03 17:12 553次阅读

    如何用Python进行监督学习

    监督学习是一种用于在数据中查找模式的机器学习技术。监督算法给出的数据不带标记,只给出输入变量(X),没有相应的输出变量。在
    的头像 发表于 01-21 17:23 4254次阅读

    监督机器学习如何保护金融

    监督机器学习是近年才发展起来的反欺诈手法。目前国内反欺诈金融服务主要是应用黑白名单、有监督学习和监督机器学习的方法来实现。
    发表于 05-01 22:11 1011次阅读

    机器学习算法中有监督监督学习的区别

    监督学习的好处之一是,它不需要监督学习必须经历的费力的数据标记过程。但是,要权衡的是,评估其性能的有效性也非常困难。相反,通过将监督学习算法的输出与测试数据的实际标签
    的头像 发表于 07-07 10:18 5761次阅读

    EMI整改经验总结

    EMI整改经验总结
    发表于 12-20 15:55 45次下载

    嵌入式C语言知识点总结

    导读:怎么做好嵌入式?相信这个问题无论问谁你都会得到一学好C语言!今天推荐一篇大佬写的嵌入式C语言知识点总结,非常值得一读。
    的头像 发表于 04-13 11:12 2713次阅读

    结合句子间差异的监督句子嵌入对比学习方法-DiffCSE

    向量表征技术目前已经通过对比学习获取了很好的效果。而对比学习的宗旨就是拉近相似数据,推开不相似数据,有效地学习数据表征。SimCSE方法采用dropout技术,对原始文本进行数据增强,构造出正样本,
    的头像 发表于 05-05 11:35 1231次阅读