0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

在云计算成功使用AI所需的五种机器学习技能

如意 来源:企业网D1Net 作者:Dan Sullivan 2020-11-10 14:14 次阅读

机器学习人工智能将会继续深入IT服务领域,并为软件工程师开发的应用程序提供补充。如果IT团队想跟上发展步伐,就需要提高他们的机器学习技能。

云计算服务为构建和部署人工智能和机器学习应用程序所需的一系列功能提供支持。在许多方面,人工智能系统的管理方式与IT专业人士在云平台中熟悉的其他软件非常相似。但只是因为可以部署应用程序,并不意味着可以成功地部署机器学习模型。

虽然这些共同点可能会促进过渡,但也存在着显著的差异。除了软件工程技能之外,组织的IT团队成员还需要拥有特定的机器学习和人工智能知识。除了技术专长之外,他们还需要了解目前可用的云计算工具来支持他们团队的计划。

IT专业人士需要探索在云端成功使用人工智能所需的五种机器学习技能,并了解亚马逊、微软和谷歌提供支持这些技能的产品。虽然这些技能有一些重叠,但不会有全能的技能。通过培养具有这些技能的团队成员,可以让组织获得利用基于云计算的机器学习的优势。

1. 数据工程

如果IT专业人员想在云平台实施任何类型的人工智能策略,都需要了解数据工程。数据工程包含一系列要求数据整理和工作流开发的技能,以及一些软件架构的知识。

IT专业知识的不同领域可以分解为IT专业人员应该完成的不同任务。例如,数据整理通常涉及数据源标识、数据提取、数据质量评估、数据集成和管道开发,以在生产环境中执行这些操作。

数据工程师应该能够轻松地使用关系数据库、NoSQL数据库和对象存储系统。Python是一种流行的编程语言,可以与批处理和流处理平台(如apachebeam)和分布式计算平台(如apachespark)一起使用。即使IT人员不是精通Python程序的专家,掌握一些Python语言的知识将使其能够从大量的开源工具中获取数据工程和机器学习。

数据工程在所有主要云平台中都得到了很好的支持。AWS公司提供了全面的服务来支持数据工程,例如AWS Glue,适用于Apache Kafka的Amazon Managed Streaming(MSK)和各种Amazon Kinesis服务。AWS Glue是数据目录以及提取、转换和加载(ETL)服务,其中包括对计划作业的支持。MSK是数据工程管道的有用构建块,而Kinesis服务对于部署可扩展流处理管道特别有用。

谷歌云平台提供了Cloud Dataflow,这是一项托管的Apache Beam服务,可以支持批处理和Steam处理。对于ETL流程,谷歌云平台提供了基于Hadoop的数据集成服务。

Microsoft Azure也提供了几种托管数据工具,例如Azure Cosmos DB、Data Catalog和Data Lake Analytics等。

2. 建立模型

机器学习是一门正在不断发展和进步的学科,IT人员可以通过研究和开发机器学习算法来从事自己的职业。

IT团队使用工程师提供的数据来构建模型和创建可以提出建议,预测值和对项目进行分类的软件。重要的是要了解机器学习的基础知识,即使许多模型构建过程都是在云中自动完成的。

作为模型构建者,需要了解数据和业务目标,制定问题的解决方案,并了解如何将其与现有系统集成的工作。

市场上的一些产品包括谷歌公司的Cloud AutoML,这是可以帮助组织使用结构化数据以及图像、视频和自然语言来构建自定义模型的服务,而无需对机器学习有更多的了解。 微软Azure在Visual Studio中提供了ML.NET模型构建器,该模型构建器提供了用于构建、训练和部署模型的界面。Amazon SageMaker是另一项托管服务,用于在云中构建和部署机器学习模型。

这些工具可以选择算法,确定数据中哪些特征或属性最有用,并使用称之为超参数调整的过程优化模型。这些服务扩展了机器学习和人工智能策略的潜在用途。正如人们驾驶汽车不必成为汽车机械工程师一样,IT专业人员也不需要获得机器学习的研究生学位来构建有效的模型。

3. 公平与偏差检测

算法做出的决策直接而显著地影响个人。例如,金融服务使用人工智能来做出有关信贷的决策,这可能会无意中对特定人群产生偏见。这不仅可能有拒绝信贷对个人带来的影响,而且还会使金融机构面临违反《平等信贷机会法》等法规的风险。

这些看似艰巨的任务对于人工智能和机器学习模型是必不可少的。检测模型中的偏差可能需要具有统计和机器学习技能,但是与模型构建一样,某些繁重的工作可以由机器完成。

FairML是用于审核预测模型的开源工具,可帮助开发人员识别工作中的偏见。检测模型偏差的经验还可以为数据工程和模型构建过程提供帮助。谷歌云的公平性工具在市场上领先,其中包括假设分析工具、公平性指标和可解释的人工智能服务。

4. 模型性能评估

模型构建过程的一部分是评估机器学习模型的性能。例如,根据准确性和召回率对分类器进行评估。回归模型(例如那些预测房屋出售价格的模型)是通过测量平均误差率来评估的。

如今表现良好的模型将来可能会表现不佳。问题不在于该模型是否以某种方式被破坏,而是该模型是根据不再反映其使用环境的数据进行训练的。即使没有突然的重大事件,也会发生数据漂移。重要的是评估模型并在生产中继续对其进行监视。

Amazon SageMaker、Azure Machine Learning Studio和Google Cloud AutoML等服务包括一系列模型性能评估工具。

5. 领域知识

领域知识并不是一种特定的机器学习技能,但它是成功的机器学习策略中最重要的部分之一。

每个行业都有一定的知识体系,必须以某种能力进行研究,尤其对于构建算法的决策者。机器学习模型受到约束以反映用于训练它们的数据。具有领域知识的IT人员对于知道在哪里应用人工智能,并评估其有效性至关重要。
责编AJX

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 云计算
    +关注

    关注

    39

    文章

    7774

    浏览量

    137356
  • 人工智能
    +关注

    关注

    1791

    文章

    47203

    浏览量

    238272
  • 机器学习
    +关注

    关注

    66

    文章

    8408

    浏览量

    132568
收藏 人收藏

    评论

    相关推荐

    2018及以后的项热门尖端技能

    未来四到年内实现显着增长。这意味着该领域的技能可能会受到高度追捧。  多云架构  在过去几年中扰乱了企业网络领域的最大技术趋势之一是计算服务的广泛采用。实际上,许多企业已经对
    发表于 09-03 15:04

    基于Python的GUI界面设计的AI学习

    Python之GUI:基于Python的GUI界面设计的一套AI课程学习(机器学习、深度学习、大数据、
    发表于 12-28 10:08

    【瑞芯微RK1808计算棒试用申请】基于机器学习的视觉机械臂研究与设计

    的视觉控制系统,自由度的机械臂进行建模推导与控制设计实现。项目计划①根据文档,对RK1808人工智能计算AI加速器快速入门②通过学习R
    发表于 09-23 15:39

    最值得学习机器学习编程语言

    选择最能满足个人需求,以及保证自己将来能够 AI机器学习领域顺利发展的编程语言。本文中,我们将介绍最值得
    发表于 03-02 06:22

    2021年最受工程师欢迎的技能:Python第一

    将成为2020年最受欢迎的技术技能……AI将影响越来越多的工作岗位报告显示,60%以上的公司/组织受到了AI的影响,并对其雇员进行了技能
    发表于 06-30 10:13

    高性能的机器学习让边缘计算更给力

    科技日新月异的当今社会,人工智能 (AI) 的研究工作已取得惊人进展,计算机的用途也不断拓宽。机器
    发表于 10-15 13:58

    什么是机器学习? 机器学习基础入门

    大规模工作负载的计算事实上,这个领域已经如此专注于桌面和基于计算的应用,以至于许多嵌入式工程师没有太多考虑机器
    发表于 06-21 11:06

    机器学习适合计算运维吗

    计算服务团队提供机器学习功能的系统不仅是一个错误,而且也是危险的。
    发表于 04-06 22:58 526次阅读

    Udemy发现职场对AI和数据科学技能的强劲需求

    ·Python、React(web)、Angular、机器学习和Docker将成为2020年最流行的技术技能。TensorFlow、Op
    的头像 发表于 07-25 10:24 2343次阅读

    IT团队提升机器学习技能分享

    机器学习AI继续深入IT服务中,并补充软件工程师开发的应用程序。如果IT团队想跟上这种步伐,必须提高他们的机器学习
    发表于 11-02 10:18 582次阅读

    为了AI机器学习领域站稳脚跟,你需要学习语言

    Python 是 AI机器学习领域中首屈一指的语言。由于其简单性,Python 已成为 AI 的首选语言。与其他编程语言相比,Python 能够快速上手,且极大的减少了开发
    的头像 发表于 03-10 15:03 1868次阅读

    最实用的的机器学习算法

    最实用的机器学习算法Top5 demi 周一, 04/01/2019 - 10:35 提交 本文将推荐
    的头像 发表于 03-24 16:14 6542次阅读

    没有机器学习技能的情况下实施预测性维护

    如今,工程师们越来越意识到,预测性维护现在几乎是人工智能 (AI) 技术的专有领域,他们首先需要学习机器学习 (ML) 和神经网络技能来实现此类应用程序。MathWorks 高级产品营
    的头像 发表于 07-15 08:17 1074次阅读
    <b class='flag-5'>在</b>没有<b class='flag-5'>机器</b><b class='flag-5'>学习</b><b class='flag-5'>技能</b>的情况下实施预测性维护

    机器学习算法的5基本算子

    自主决策的方法和插件,其中包含了一系列常用的基本算子。本文中,我们将会介绍机器学习算法的基本算子。 一、 求值算子 求值算子是常用的
    的头像 发表于 08-17 16:11 1788次阅读

    AI服务器:开启智能计算新时代

    一、AI服务器的定义与特点 AI服务器的定义 AI服务器是一
    的头像 发表于 08-09 16:08 857次阅读