0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

不用写一行就带就可以参加 Kaggle,这个真香!

WpOh_rgznai100 来源:lq 2019-07-18 10:59 次阅读

【导读】给大家分享一些 Kaggle 上的资源,如 Kaggle 开放的数据集,也会分享一些好的竞赛方案或有意义的竞赛经验,帮助大家成长。今天,我们要给大家介绍的这个工具特别推荐给以往只能仰望别人的,缺乏竞赛技能和经验的朋友,你不需要写一行代码就可以参与 Kaggle 竞赛,甚至连安装环境都免了。是不是很神奇?下面我们一起 get 一下这个“真香”的工具!

参赛项目

Freesound Audio Tagging 2019

Kaggel 的竞赛项目 Freesound Audio Tagging 2019,同时也是 DCASE 2019 挑战赛的任务之一(Task 2),今天不对这个竞赛做过多介绍,感兴趣的朋友们可以通过我们下面给出的链接访问。

Freesound Audio Tagging 2019 是由 Freesound(MTG — Universitat Pompeu Fabra)和 Google 机器感知组举办的,数据通过 Freesound Annotator 收集,比赛参考论文:

(1)《Audio tagging with noisy labels and minimal supervision》

https://arxiv.org/pdf/1906.02975.pdf

(2)《FREESOUND DATASETS: A PLATFORM FOR THE CREATION OF OPEN AUDIO DATASETS》

https://ismir2017.smcnus.org/wp-content/uploads/2017/10/161_Paper.pdf

随着 AI 技术的不断发展与落地,有越来越多的平台和工具可供大家使用,这些平台针对不同领域、不同层次的开发者和学习者,只要你想学就有办法。但问题是,对于刚入门,没有多少经验,对 TensorFlow、PyTorch 等工具和框架也不熟悉的人,能参加这样的竞赛吗?

不会写代码,也不会 TensorFlow、PyTorch,怎么训练模型?

Peltarion 平台 你值得拥有,训练你的模型只需 5 步!

Peltarion是怎样的一个平台?它部署在云端,在平台上你只需要简单的“拖拉拽”就可以从0到1完成一个 AI 模型的创建到部署。平台给初始者提供了免费使用50 小时、共有50 GB的 GPU存储容量。

AI科技大本营也注册了一个账号,准备利用一下免费资源把模型跑起来。注册账号很简单,先用一个邮箱在平台上注册账号,然后在邮箱中完成验证,最后设置一个密码——done。接下来就可以开始进入“正餐”环节,为了能让大家使用该平台,原作者和 Kaggle 竞赛联合起来,让大家可以边学边用。

具体步骤示例

0、获取数据集

模型预训练中要使用的数据集是 FSDKaggle 2019,已经在 Peltarion 平台经过预处理,所以音频文件经过转化,与 index.csv 一起保存为 Numpy 文件格式,所以,大家直接下载 dataset.zip 即可。

下载地址:

https://www.kaggle.com/carlthome/preprocess-freesound-data-to-train-with-peltarion/output

1、Project:一键创建

直接 New 一键即可建立一个新 project,可以保存为“project v1”。

2、数据集:Upload 或者 Import

新建的 project v1 在左侧就可以看到,点击 Datasets → New dataset 就可以上传数据集。然后选择刚刚下载的数据集,等待上传,最后命名保存为“Audio”。

默认 80%的数据集作为训练集,其余20% 用于测试集。在顶部的 New feature set进行捆绑,除 fname 外所有的功能,保存为“Lable”。右上角保存 version 后,就可以进一步建模了。

3、Modeling:一键创建深度学习项目

New Experiment 后进入 Modeling 界面,你可以在右侧看到“Build”和“Settings”两个工具选项帮助进行编译模型。在这个示例中,训练的是如下图所示的声谱图,以完成图片分类任务。

在该任务中,我们可以选择 CNN 网络模型,比如 ResNetv2 large 50。(右侧 Build-Snippets 中,有一些不同任务的模型可供选择。)

接下来几个步骤中,我们就在右侧栏中设定模型的关键配置:

(1)在 Blocks 中添加 Input,Feature 选择为 fname;

(2)添加 Batch normalization,勾选 Trainable;

(3)添加 Reshape,设置 Target Shape 为(256,256,1);

(4)在 Snippets 中添加 ResNetv2 large 50;

(5)单击并删除 ResNetv2 large 50 顶部“Input” 模块;

(6)将 BN 块连接到 ResNetv2 large 50 上

(7)更改 Dense 块 中 Activation 为 ReLU,ReLU 经常在模型中被选为激活函数;

(8)在 Target 块 之前再添加一个 Dense 块,节点设置为 80,激活 sigmoid;

(9)将 Target块 的 Feature 改为 Lable,Loss 为 Binary crossentropy;

(10)跳转到 Settings 选项卡,配置模型的步长、epoch、优化器等;Batch 设为 28,适合 GPU 内存、epoch 设为 30,模型足以收敛、Optimizer 选为 Adam,这是一个很常用的标准优化器;

(11)上面的配置都完成后,点击 RUN 就可以让模型跑起来了。

4、Evaluating

模型训练后,我们还需要对模型进行评估,在 Evaluating 界面,可以看到模型训练的实时数据,我们关注的指标是 Precision 和 Recall。模型训练完成后,可以直接下载,如果训练了多个模型,记得下载模型精度最高的。

5、提交模型

首先,进入竞赛页面。点击 New Kernel 连接到 Notebook,将下载的模型 H5 文件作为数据集添加。温馨提示:要使用正确的 H5 文件路径,添加下面这行代码到 Kaggle notebook 中运行,此处注意保存路径,后面会用到。

!find../input-name'*.h5'

下面这段代码可以直接复制-粘贴到 Kaggle notebook 中;将模型变量路径更改为前面保存的路径,最后点击 Commit,完成。

import numpy as npimport pandas as pdimport librosa as lrimport tensorflow as tffrom tqdm import tqdmmodel = tf.keras.models.load_model('../input/freesound-audio-tagging-2019-model/resnet50.h5', compile=False) ##Changedf = pd.read_csv('../input/freesound-audio-tagging-2019/sample_submission.csv', index_col='fname') ##Changedef preprocess(wavfile): # Load roughly 8 seconds of audio. samples = 512*256 - 1 samplerate = 16000 waveform = lr.load(wavfile, samplerate, duration=samples/samplerate)[0] # Loop too short audio clips. if len(waveform) < samples: waveform = np.pad(waveform, (0, samples - len(waveform)), mode='wrap') # Convert audio to log-mel spectrogram. spectrogram = lr.feature.melspectrogram(waveform, samplerate, n_mels=256) spectrogram = lr.power_to_db(spectrogram) spectrogram = spectrogram.astype(np.float32) return spectrogramfor fname, scores in tqdm(df.iterrows(), total=len(df), desc='Predicting'): spectrogram = preprocess('../input/freesound-audio-tagging-2019/test/' + fname) scores = model.predict_on_batch(spectrogram[None, ...])[0] df.loc[fname] = scoresdf.to_csv('submission.csv')

竞赛地址:

https://www.kaggle.com/c/freesound-audio-tagging-2019

通过上面的示例,大家也发现了,训练模型的每一个步骤都在平台上内置好了,大家只需要托拉拽,勾勾选选的操作就可以训练你的模型了,另外还有一些免费的 GPU 资源、内存使用。对于代码不会写,框架不会写的你们来说简直不要太好用!营长的模型要准备跑起来了,你们的呢?

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30994

    浏览量

    269282
  • 数据集
    +关注

    关注

    4

    文章

    1208

    浏览量

    24719
  • 训练模型
    +关注

    关注

    1

    文章

    36

    浏览量

    3854

原文标题:不写一行代码,也能玩转Kaggle竞赛?

文章出处:【微信号:rgznai100,微信公众号:rgznai100】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    中碳登一行到访中汽中心

    近日,中国碳排放权注册登记结算有限责任公司(以下简称“中碳登”)党委副书记、副董事长朱国辉一行到访中汽中心,与中汽中心党委书记、董事长安铁成围绕全面深化合作进行深入交流,中汽中心副总经理龚进峰参加交流。
    的头像 发表于 12-31 11:50 172次阅读

    TFP401AMP第一行丢失4个像素是什么原因导致的?

    PC送出来的HDMI信号通过TFP401AMP转RGB后送到LCD,发现图片第一行会有4个像素丢失,经过逻辑分析仪抓取HS信号发现:HS在DE信号low的时间段里周期为31.774
    发表于 12-30 08:39

    ADS5404EVM 和TSW1400EVM起使用就可以开发吗?

    ADS5404EVM 和TSW1400EVM起使用就可以开发吗? 这个开发板起使用的时候还需要购买其他互联电缆不? 开发套件中有没有包含信号和时钟的输入同轴电缆? 三个问题。
    发表于 12-30 08:30

    泰国国家石油一行到访商汤科技

    近日,泰国国家石油有限公司董事长Chatchai Phromlert先生,首席执行官兼总裁Kongkrapan Intarajang先生率董事会到访商汤科技,商汤科技副总裁、亚太业务事业群总裁史军、亚太业务事业群副总裁邹春慧等热情接待了董事会一行
    的头像 发表于 12-19 09:15 283次阅读

    中国中车与中国电信一行座谈交流

    近日,中国中车集团党委书记、董事长孙永才在中车总部会见中国电信集团党组书记、董事长柯瑞文一行并进行座谈交流。中国电信集团有限公司党组成员、副总经理唐珂,中国中车集团首席科学家王军参加会谈。
    的头像 发表于 11-11 14:03 317次阅读

    TAS5782用三线的IIC. LRCK/FS,SCLK,SDIN是否就可以不用接入MCLK实现倍频?

    我请教下。TAS5782的 MCLK频率在12.8M,内部再倍频,会有干扰收音的问题。我想请教下,不用MCLK pin。用三线的IIC.LRCK/FS,SCLK,SDIN.是否就可以
    发表于 10-23 06:06

    软通动力领导一行访问福州大学

    软通动力高级副总裁王晓良、杨念农,软通教育总裁林涛及福建新东湖集团有限公司董事长陈国平一行来访福州大学。校党委陈国龙书记在行政南楼会见了客人并座谈交流,郭文忠副校长陪同会见。
    的头像 发表于 10-10 10:43 462次阅读

    RIMAC与IMD一行来访声扬科技,共话AI语音赋能产业升级

    科技联合创始人、CTO陈东鹏博士等展开深入交流,共同探讨AI语音技术在保险行业的创新应用。RIMAC与IMD一行来访声扬科技来访中,RIMAC与IMD一行贵宾深入
    的头像 发表于 09-30 10:56 720次阅读
    RIMAC与IMD<b class='flag-5'>一行</b>来访声扬科技,共话AI语音赋能产业升级

    PGA308线串口四线制通讯读写寄存器,为什么会读写不出数据?

    3.27V电压后,第一行ZDAC就可以读出数据了,VS与VREF电压是什么对应关系,这个怎么会影响1W通信的读写,是否1W时序上有问题?
    发表于 08-22 08:04

    石景山区委副书记、区长李新一行调研谷东科技

    近日,石景山区委副书记、区长李新一行赴谷东科技有限公司进行调研和座谈。石景山区副区长李文化、首钢基金领导及相关部门负责人随行。区领导一行参观了谷东科技展厅、体验前沿光波导和AR+AI软硬件产品,并
    的头像 发表于 08-13 09:48 652次阅读

    清华PE产投汇一行赴谷东科技考察与交流

    日前,PE产投汇一行赴国家级专精特新小巨人校友企业——谷东科技北京公司进行考察与交流。
    的头像 发表于 08-13 09:45 617次阅读

    在VSCODE终端make时遇到错误要一行一行看然后定位,可以直接跳转点击或者VSCODE定位错误吗?

    每次在VSCODE终端make时遇到错误要一行一行看然后定位,可以直接跳转点击或者VSCODE直接定位错误吗?能给个指引链接吗?谢谢!
    发表于 06-25 07:37

    甘肃考察团一行莅临拓维信息参观调研

    4月12至13日,甘肃考察团一行莅临拓维信息调研,深入
    的头像 发表于 04-18 08:14 678次阅读
    甘肃考察团<b class='flag-5'>一行</b>莅临拓维信息参观调研

    CYT2B7使用SDL库,设置GPIO时只用设置outVal/driveMode/hsiom就可以了吗?

    再请问大家下,CYT2B7使用SDL库,设置GPIO时只用设置outVal/driveMode/hsiom就可以了吗 还有怎么读取GPIO引脚电平,要用哪个函数来读取, 还有就是,是否能单独
    发表于 02-02 07:02

    LabVIEW怎样读取TXT某一行

    LabVIEW是款面向数据采集、分析和控制的图形化编程环境。通过使用LabVIEW,用户可以编写程序,实现自动化控制、数据可视化和报告生成等功能。读取TXT文件的某一行在LabVIEW中可以
    的头像 发表于 01-04 11:28 2838次阅读