人工智能改变世界,这一观点已经被越来越多的人所认可。
过去的两三年里,在各种 AI 行业会议中,总能看到一些管理者抱着极大的疑惑和焦虑心态来学习 AI 新技术,他们对公司的痛点往往认知清晰,隐约觉得 AI 能帮助他们提升企业运营效率。很多时候,AI 仿佛成了一根救命稻草。
而在提供 AI 解决方案的企业口中,AI 就是一剂万能解药。精心包装好的成功企业案例和优雅简洁的代码演示,都极力证明算法模型的优越性。最终,一些企业为 AI 解决方案付费,可效果并没有当初承诺的那么好,甚至出现业务倒退现象,这到底是怎么回事?
“悄悄死亡的模型”
本文提供一个案例供大家参考。
这是一家线上购物公司,有着一个简单却高效的技术团队:一位前端工程师和一位后端工程师。他们所搭建的网站在过去几年里,为公司积累了大量的用户数据。
如何开发这个数据“金矿”呢?公司领导近几年被“大数据”和“机器学习”等热点概念不断轰炸,决定在网站中搭建一个由数据和机器学习驱动的推荐系统来优化用户的购物体验,进而提高业务量。经过一番研究,公司领导聘请了一位数据科学家。
训练模型需要干净的被标注数据,所以数据科学家首先花了两个月时间清理日志中的数据,接下来,又花了三个月时间开发和测试不同类型的算法,终于找到了一个效果惊人的推荐系统,并且是最新的深度学习算法:使用图形卷积网络的半监督分类模型。在历史数据集中,这一模型实现了高达 97%的准确率。
接下来,就是将训练好的模型整合到网站中。数据科学家表示,他在部署方面的经验有限。但后端工程师十分靠谱,主动帮助数据科学家将模型部署到生产网络。
实际上,DL 模型部署是一个相当复杂的过程。最好的办法是模型构建者亲自部署,可绝大多数来自数学或物理背景的数据科学家并没有接受过这方面的培训。
不过,推荐系统模型在两人的努力下终于部署好了。这个平平无奇的购物网站已经进化为“由大数据驱动的购物网站了”!
这时,公司的前端工程师表示受不了“996”了,他要逃离北上广。没事,公司分分钟又招到一名新的前端工程师。
这是一位非常有想法的人,他主动提出了网站更改建议,比如针对不同市场呈现不同外观,并且把用户购买时需要填的表单进行优化,提高用户体验。
几个月后,新网站上线,页面非常漂亮,访客很喜欢,领导也很高兴。
但是在统计业务量时,却发现没有任何提升。用户的点击量很高,做的几次营销活动也非常成功,但最终的交易量为什么没有变化呢?
最终,数据科学家用一个测量脚本发现,推荐系统的准确率只有 40%,与预期的 97% 相差甚远。
数据不规范,模型两行泪
推荐系统是数据科学家用历史日志数据训练的。而这些日志文件又是按照上一位前端工程师和后端工程师的设计生成的。他们通常不必担心数据结构,只保证记录数据和可检索即可。
毕竟,在全栈开发环境下,日志一般是为了记录错误而非提供用户趋势。这也是为什么数据科学家一开始需要花大量时间去清理数据。
而新的前端开发者在更改用户表单时,将字段名称从“email”更改为“user_email”。此更改会影响数据预处理流程。还将 2 个输入字段“first name”和“last name”合并为“user_name”,删除了模型所依赖的输入字段。最后,他还引入了一个新的测量单元,在美国市场提供“lbs”(英制的磅),在其他国家提供“kg”(公制的公斤)。导致模型收到的重量从 1.0 变为 2.20462。
这就是整个过程中没有人犯错,但最后的结果却令人失望的原因。
由于推荐系统的数据预处理系统没能正确处理上述更改,这些“坏数据”被保存在数据库里并被输入推荐系统,导致它输出错误的推荐。而这些错误的推荐则会通过后端系统被展示给网站的用户,严重影响用户体验。
可以想象一下,一名刚和男朋友分手的女性在浏览网站时,网站竟然给她推荐孕妇装,会是怎样一种尴尬。
那,该怎么办?
这个案例展现了目前 AI 的能力与限制。
应该说,虽然 AI 取得了前所未有的进展,但在行业运用还处于早期阶段。
尤其是,在开发和部署机器学习应用时并没有最佳实践指南。这导致了 AI 技术团队在面对具体行业中问题时,很容易暴露出部署经验不足,缺乏领域知识,将现实问题简单化,盲目崇信机器学习模型,最终导致业务转型失败。
需要注意的是,失败的模型并不会立马表现出来,往往需要几个月的时间验证才会凸显出问题。这时候,传统企业已经投入巨大的资源和精力,如果没有足够的业务能力支撑运转,很容易瘫痪。
在大多数情况下,很难预测模型是否按预期运行。如果考虑成为一家数据驱动型公司,前期最好聘请一位数据工程师,而不仅仅是科学家,必须保证数据预处理、传输和存储始终正确。
其次,机器学习模型在投入使用后没有即时的反馈循环,所以整个技术团队需要时刻了解数据性质、流程、属性、用途等。处于数据流路径中的每个人,包括前端开发人员、后端开发人员、数据工程师、数据科学家、云架构师和软件工程师等都必须有明确的沟通和记录。
最后,要时刻监控数据,尤其是机器学习模型集成前后的关键点,注意异常值和异常数据,保持数据的平均值并注意偏差较大的数据。前端开发人员必须对输入数据进行单元测试。
再次,我们由衷地希望每一家传统企业在智能时代都能转型成功。
-
AI
+关注
关注
87文章
30172浏览量
268433 -
企业
+关注
关注
0文章
215浏览量
22819
原文标题:钱花了,事没办:传统企业在AI转型中可能遇到的坑
文章出处:【微信号:deeptechchina,微信公众号:deeptechchina】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论