0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

刷SOTA一般通用的trick

深度学习自然语言处理 来源:包包算法笔记 作者:包包闭关修炼 2022-09-07 15:10 次阅读

一般通用的trick都被写进论文和代码库里了

像优秀的优化器,学习率调度方法,数据增强,dropout,初始化,BN,LN,确实是调参大师的宝贵经验,大家平常用的也很多。

这里主要有几个,我们分成三部分,稳定有用型trick,场景受限型trick,性能加速型trick。

稳定有用型trick

0.模型融合

懂得都懂,打比赛必备,做文章没卵用的人人皆知trick,早年模型小的时候还用stacking,直接概率融合效果也不错。

对抗训练

对抗训练就是在输入的层次增加扰动,根据扰动产生的样本,来做一次反向传播。以FGM为例,在NLP上,扰动作用于embedding层。给个即插即用代码片段吧,引用了知乎id:Nicolas的代码,写的不错,带着看原理很容易就明白了。

#初始化
fgm=FGM(model)
forbatch_input,batch_labelindata:
#正常训练
loss=model(batch_input,batch_label)
loss.backward()#反向传播,得到正常的grad
#对抗训练
fgm.attack()#在embedding上添加对抗扰动
loss_adv=model(batch_input,batch_label)
loss_adv.backward()#反向传播,并在正常的grad基础上,累加对抗训练的梯度
fgm.restore()#恢复embedding参数
#梯度下降,更新参数
optimizer.step()
model.zero_grad()

具体FGM的实现

importtorch
classFGM():
def__init__(self,model):
self.model=model
self.backup={}

defattack(self,epsilon=1.,emb_name='emb.'):
#emb_name这个参数要换成你模型中embedding的参数名
forname,paraminself.model.named_parameters():
ifparam.requires_gradandemb_nameinname:
self.backup[name]=param.data.clone()
norm=torch.norm(param.grad)
ifnorm!=0andnottorch.isnan(norm):
r_at=epsilon*param.grad/norm
param.data.add_(r_at)

defrestore(self,emb_name='emb.'):
#emb_name这个参数要换成你模型中embedding的参数名
forname,paraminself.model.named_parameters():
ifparam.requires_gradandemb_nameinname:
assertnameinself.backup
param.data=self.backup[name]
self.backup={}

2.EMA/SWA

移动平均,保存历史的一份参数,在一定训练阶段后,拿历史的参数给目前学习的参数做一次平滑。这个东西,我之前在earhian的祖传代码里看到的。他喜欢这东西+衰减学习率。确实每次都有用。

#初始化
ema=EMA(model,0.999)
ema.register()

#训练过程中,更新完参数后,同步updateshadowweights
deftrain():
optimizer.step()
ema.update()

# eval前,apply shadow weights;eval之后,恢复原来模型的参数
defevaluate():
ema.apply_shadow()
#evaluate
ema.restore()

具体EMA实现,即插即用:

classEMA():
def__init__(self,model,decay):
self.model=model
self.decay=decay
self.shadow={}
self.backup={}

defregister(self):
forname,paraminself.model.named_parameters():
ifparam.requires_grad:
self.shadow[name]=param.data.clone()

defupdate(self):
forname,paraminself.model.named_parameters():
ifparam.requires_grad:
assertnameinself.shadow
new_average=(1.0-self.decay)*param.data+self.decay*self.shadow[name]
self.shadow[name]=new_average.clone()

defapply_shadow(self):
forname,paraminself.model.named_parameters():
ifparam.requires_grad:
assertnameinself.shadow
self.backup[name]=param.data
param.data=self.shadow[name]

defrestore(self):
forname,paraminself.model.named_parameters():
ifparam.requires_grad:
assertnameinself.backup
param.data=self.backup[name]
self.backup={}

这两个方法的问题就是跑起来会变慢,并且提分点都在前分位,不过可以是即插即用类型

3.Rdrop等对比学习方法

有点用,不会变差,实现起来也很简单

#训练过程上下文
ce=CrossEntropyLoss(reduction='none')
kld=nn.KLDivLoss(reduction='none')
logits1=model(input)
logits2=model(input)
#下面是训练过程中对比学习的核心实现!!!!
kl_weight=0.5#对比loss权重
ce_loss=(ce(logits1,target)+ce(logits2,target))/2
kl_1=kld(F.log_softmax(logits1,dim=-1),F.softmax(logits2,dim=-1)).sum(-1)
kl_2=kld(F.log_softmax(logits2,dim=-1),F.softmax(logits1,dim=-1)).sum(-1)
loss=ce_loss+kl_weight*(kl_1+kl_2)/2

大家都知道,在训练阶段。dropout是开启的,你多次推断dropout是有随机性的。

模型如果鲁棒的话,你同一个样本,即使推断时候,开着dropout,结果也应该差不多。好了,那么它的原理也呼之欲出了。用一张图来形容就是:

5d5ce4a6-2e61-11ed-ba43-dac502259ad0.gif

随便你怎么踹(dropout),本AI稳如老狗。

KLD loss是衡量两个分布的距离的,所以说他就是在原始的loss上,加了一个loss,这个loss刻画了模型经过两次推断,抵抗因dropout造成扰动的能力。

4.TTA

这个一句话说明白,测试时候构造靠谱的数据增强,简单一点的数据增强方式比较好,然后把预测结果加起来算个平均。

5.伪标签

代码和原理实现也不难,代价也是训练变慢,毕竟多了一些数据一句话说明白,就是用训练的模型,把测试数据,或者没有标签的数据,推断一遍。构成伪标签,然后拿回去训练。注意不要leak。

听起来挺离谱的,我们把步骤用伪代码实现一下。

model1.fit(train_set,label,val=validation_set)#step1
pseudo_label=model.pridict(test_set)#step2
new_label=concat(pseudo_label,label)#step3
new_train_set=concat(test_set,train_set)#step3
model2.fit(new_train_set,new_label,val=validation_set)#step4
final_predict=model2.predict(test_set)#step5

用网上一个经典的图来说就是。

5e04879c-2e61-11ed-ba43-dac502259ad0.jpg

6.神经网络自动填空值

表数据在NN上的trick,快被tabnet 集大成了,这个方法是把缺失值的位置之外的地方mask,本身当成1这样可以学习出一个参数,再加回这个feature的输入上。可以看看他文章的实现。

场景受限型trick

有用但场景受限或者不稳定

1.PET或者其他prompt的方案

在一些特定场景上有用,比如zeroshot,或者小样本的监督训练,在数据量充足情况下拿来做模型融合有点用,单模型不一定干的过硬怼。

2.Focalloss

偶尔有用,大部分时候用处不大,看指标,在一些对长尾,和稀有类别特别关注的任务和指标上有所作为。

3.mixup/cutmix等数据增强

挑数据,大部分数据和任务用处不大,局部特征比较敏感的任务有用,比如音频分类等

4人脸等一些改动softmax的方式

在数据量偏少的时候有用,在工业界数据量巨大的情况下用处不大

5.领域后预训练

把自己的数据集,在Bert base上用MLM任务再过一遍,代价也是变慢,得益于huggingface可用性极高的代码,实现起来也非常简单,适用于和预训练预料差别比较大的一些场景,比如中药,ai4code等,在一些普通的新闻文本分类数据集上用处不大。

6.分类变检索

这算是小样本分类问题的标准解法了,类似于人脸领域的baseline,在这上面有很多围绕类间可分,类内聚集的loss改进,像aa-softmax,arcface,am-softmax等

在文本分类,图像分类上效果都不错。

突破性能型trick

1.混合精度训练

AMP即插即用,立竿见影。

2.梯度累积

在优化器更新参数之前,用相同的模型参数进行几次前后向传播。在每次反向传播时计算的梯度被累积(加总)。不过这种方法会影响BN的计算,可以用来突破batchsize上限。

3.Queue或者memery bank

可以让batchsize突破天际,可以参考MoCo用来做对比学习的那个实现方式

4.非必要不同步

多卡ddp训练的时候,用到梯度累积时,可以使用no_sync减少不必要的梯度同步,加快速度。




审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • PET
    PET
    +关注

    关注

    1

    文章

    43

    浏览量

    18684
  • 电源优化器
    +关注

    关注

    0

    文章

    11

    浏览量

    5406
收藏 人收藏

    评论

    相关推荐

    变电站接地网的使用寿命一般是多久

    变电站接地网的使用寿命一般是多久 
    发表于 11-13 16:31 0次下载

    PGA2311P和PGA2311PA主要区别体现在哪里?一般情况运用下能通用吗?

    PGA2311P和PGA2311PA主要区别体现在哪里,一般情况运用下能通用吗,感谢!!!
    发表于 10-31 07:13

    铠装光缆和一般光缆区别

    铠装光缆和一般光缆在结构、用途、性能以及价格等方面都存在显著差异。以下是对这两者的详细对比: 、结构差异 铠装光缆: 基本构造包括光纤、加强件、护套等。 光纤被包裹在个坚固的金属层(称为铠装)中
    的头像 发表于 10-25 10:26 174次阅读

    退耦电容一般用多大

    退耦电容的容量选择并不是成不变的,而是需要根据具体的电路设计需求和工作条件来确定。以下是对退耦电容容量选择的一般原则和考虑因素: 一般
    的头像 发表于 09-26 11:28 335次阅读

    关于\"OPA615\"的SOTA的跨导大小的疑问求解

    关于OPA615的SOTA部分,看datasheet的page9的figure22,我们可以知道跨导大小大概是35mA/V左右,并且可以知道其Chold输出一般在5mA以内,但是我从社区里面找到
    发表于 09-13 06:25

    一般继电器需要多少电流才能驱动

    一般继电器所需的驱动电流会根据其型号、规格和额定工作电压等因素有所不同。通常,继电器需要定的电流来驱动其线圈产生磁场,从而使触点闭合或断开。以下是对继电器驱动电流的一般性说明:
    的头像 发表于 09-05 15:18 2280次阅读

    Arinc 429 发送数据一般是什么

    Arinc 429 发送数据一般是什么
    发表于 07-23 09:46

    工控机寿命一般几年

    工控机,作为工业控制的核心设备,其使用寿命受到多种因素的影响。一般来说,工控机的正常使用寿命通常在 5 年到 10 年之间 12。但这范围并非绝对,具体的使用寿命还会受到以下几个关键因素的影响:
    的头像 发表于 06-25 10:00 754次阅读

    NB81是否支持OneNet SOTA功能?应该如何激活SOTA

    NB81是否支持OneNet SOTA功能? 可以支持,应该如何激活SOTA
    发表于 06-04 06:14

    PLC的工作电源一般是多少

    在工业自动化领域中,PLC(Programmable Logic Controller,可编程逻辑控制器)扮演着至关重要的角色。PLC作为工业自动化系统的核心控制设备,其工作电源的稳定性和适应性直接关系到整个系统的正常运行。本文将深入探讨PLC的工作电源一般是多少,并从多个角度进行详细的阐述和解释。
    的头像 发表于 05-28 16:41 3610次阅读

    旋变位置不变的情况下,当使能SOTA功能与关闭SOTA功能时,APP中DSADC采样得到的旋变sin和cos两者值不样,为什么?

    旋变位置不变的情况下,当使能SOTA功能与关闭SOTA功能时,APP中DSADC采样得到的旋变sin和cos两者值不样,用示波器采的输入到MCU端的差分电压是样的,难道是
    发表于 05-17 08:13

    表面安装设计和地面图案标准的一般要求

    电子发烧友网站提供《表面安装设计和地面图案标准的一般要求.pdf》资料免费下载
    发表于 02-21 09:24 2次下载

    车载UPS与一般UPS区别在哪里?车载有哪些优势特点?

    车载UPS与一般UPS区别在哪里?车载有哪些优势特点? 车载UPS是种特殊的不间断电源系统,专门设计用于车辆上使用的电子设备。与一般的UPS相比,车载UPS有些独特的特点和优势。下
    的头像 发表于 01-11 14:43 1237次阅读

    伺服电机效率一般是多少?

    伺服电机效率一般是多少?选型时也得考虑到这个问题吧? 变频电机一般都标功率因素,指的就是电机实际的输出功率吧? 异步伺服效率 88%; 同步伺服效率 100%,采用绝对值编码器时效率下降10%-20%.
    发表于 12-28 06:46

    pcb设计一般流程步骤

    pcb设计一般流程步骤
    的头像 发表于 12-13 17:30 3879次阅读