ITPub博客

首页 > 人工智能 > 机器学习 > Auto ML的冲击下,现在大量ML算法人员是否会在前者成熟后失业?

Auto ML的冲击下,现在大量ML算法人员是否会在前者成熟后失业?

机器学习 作者:AIBigbull2050 时间:2020-07-06 12:57:22 1 删除 编辑

没有任何冲击,不会真觉得算法工程师的日常就是调参吧。。。那这种算法工程师就算不被AutoML替代,也是会被别人替代的。

就算代替日常调参,参数空间得设计吧,现在的论文一言不合就是各种奇怪的网络结构,参数空间是不是也有的调,这不就是换了个参去调么。

这都不是关键,哪来这么多GPU去搞AutoML啊,平时随便训点东西,稍微调调参,每个人十把个GPU是日常操作。你还想AutoML,那不得几十上百个?

其实这也不是问题,如果这么多GPU能创造出超过GPU价格+电费+机器的价值,也是可以的。但你忙了半天就涨了那么几个点,那就划不来了,有这个钱能多标多少数据了?我直接借鉴论文里人家发表的NAS不是也可以,那可是纯免费的。



作者:刘斯坦
链接:
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。




-------------------------------------------------------------------------------------------------------------



作者:纳米酱
链接:
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

既然说到失业,那么,这显然是一个商业和社会范畴的问题,而不是科学技术范畴的问题,所以我只能从商业角度回答。

我的观点是不会,但是从业者会越发焦虑。

其实,人在意识到某个技术并没啥太大升值空间的时候,会提早脱离这个行业,并不会等到发生大规模裁员以后才做准备。剩下跑不掉被裁的,其实你做啥并没啥太大关系,可能单纯是年纪大了,熬夜熬不动。所以,社会学角度来看,ML 从业者并不会失业,但是,每天上班如上坟,进而产生大规模劝退。

这里,我想澄清一个理解,Auto 的概念,我的理解就是,帮你把很烦恼的事情解决了,而不是帮你把重要的活和决策都做了。

这就才叫做 auto,google 放出他们的 kubernets 时候,已经在内部跑了很长时间自己的容器管理系统,并不是搞一个自动“云”来让世界每个人都能进Google 装逼,啥都不用干就能产出,码农还是要写点脚本,搞点配置啥的,逻辑还是要自己写。产生容器管理的重要痛点是,码农不喜欢配环境,不喜欢自己琢磨服务发布,不喜欢到处找机器和人家争抢计算资源,这个是在长期的工作环境,自然而然出现的技术痛点,反正你做我做都一样,导致大家都觉得这种活没有去重复做的必要,这时候,会有一批牛人,把这种需求沉淀下来,成为一个通用的轮子,也就是广义的 auto。

我再重申一点:auto 的目的是解决你很烦很不想做的事情,而不是取代你想做而且很爽的事情,商业角度才有失业的概念,科学角度没有失业的概念。

但是机器学习不完全是这样的,重要的原因是奖惩机制和合作机制,ml 模型的设计到产出,从我的角度来看,是个高度各自为政的行业,自己单干更加爽,不是一个让码农觉得烦的事情,而是带有赌#博性质的“爽” (当然风险也高,所以大家容易焦虑),因为这种活做好,往往是纳入公司绩效里面的 ,做不好也不指望 auto 能比人强。我想说的是,做模型并不是负担,互联网是轻资产行业,从来不会因为工具成本而开发 auto 类型的工具,这个是学术界意淫的故事,公司只有当人力成本和业务复杂性达一定程度,才迫使他们开发 auto 的工具,或者也叫平台化组件。

其实我一直觉得,按照早期工业界的演化,真正让工业界算法工程师烦的事情是部署,这个才是 auto ml 发挥的最强入手点,反正无论如何部署,最终都是一样的结果,但是算法模型越往后,都会和公司业务强烈耦合,你做和我做出来的公式说不定都不一样,灵活性非常高,经常一个厉害的人干完很多重要事情,用不着很多人合作搞。

尤其带过算法工程师的基层 leader,都知道,要管算法工程师,相比开发管理来看,痛苦指数高好几个数量级,经常被算法和数据细节怼的不想管他们,他们爱咋设计咋设计,人和人之间都没有交集,互相不信任对方的指标,各自为政自己单干,单干有时候还比合作产出快,没有合作,就没有复杂性和因为复杂性带来的成本,从而,auto ml 在算法层面,容易失去基本的商业价值。



-------------------------------------------------------------------------------------------------------------



作者:包大人
链接:
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

如果说,比起AutoML能让ML算法人员失业的论断,我更相信,NAS能让热衷于排列组合的NN模型结构研究者失业。

让我们从AutoML 解决问题的分类角度来分析一下这个问题。

1、狭义超参搜索:算不上automl吧,一个子问题,比如决策树用多大的列采样,行采样。 此类初级AutoML不会让工程师失业,经验丰富的ML工程师没有太大的搜索空间去试,闭着眼睛设置的参数都能搞定。并且这些参数也不是那么重要,远比数据和特征的带来的收益小。

2、NAS(神经架构搜索): 也是现在大家研究比较多的广义的超参搜索, 此类AutoML会让热衷于排列组合的NN算法研究者失业,不信你看efb系列模型,现在还有人质疑NAS搞出来的东西不能泛化吗,efb已经有战胜resnet的苗头...各位热衷于设计一个新的结构的模型,怕是手动挡再也打不过机器了。

3、AutoTable 宽表上的automl: 这是各大创业公司的pr的主战场,特点就是别管技术深度怎么样,先把牛吹出来。此类AutoML不会让算法工程师失业,谷歌,第四范式,H20, charlen等国内外知名公司都有落地的产品可以使用。不过话说回来,AutoTable其实是反NN潮流的,NN热衷于从隐式特征工程出发,相比起来,autoTable大概就NN眼中的皇帝用金锄头种地吧。 大规模稀疏数据上,这类算法的发挥作用空间不大,提升有限,典型的场景如广告,推荐等。不稀疏的数据呢,如银行等,特点就是追求可解释性,此类算法搞出来的三阶四阶特征别人也不敢用,所以十分尴尬。  这类问题最难的是自动特征工程+特征筛选, 神经网络听到这个就笑了。这就是为啥autoTable是NN眼中的皇帝用金锄头种地。

但是,第三类automl不是完全没作用的,只要你放弃让他用金锄头种地,别想着一步到位搞定所有的问题。 退一步来讲,打通数据和常用的EDA,做一些常用业务上的成熟特征工程封装,做一个不追求搞定NP难的特征筛选算法,做一个好用的算法部署平台,岂不是能极大减轻ML工程师的工作量,这个产品非常适合做2b算法的厂子。

这三类里面学术研究价值最大的是1,2 以及3中的部分问题。商业价值最大的是3。


总结起来:优秀的AutoML将会成为算法工程师的发挥更大价值工具,比如NAS把模型研究者的排列组合工作转化成搜索空间设计,和更好的meta结构的设计。AutoTable把算法工程师从 ETL,画图,梭#哈特征,部署中解脱出来,更专注于业务问题的算法抽象和定义,探索算法的商业价值。




-------------------------------------------------------------------------------------------------------------


非常肯定地说: 不会!原因有三:

  1. AutoML的理论上的优化难题解决的还不到位,搜索空间还要 专家来定义,注意真的是专家才能定义好;
  2. AutoML还有很多功能没有探索完,单说NAS这一个坑,不同的任务不同的数据集 需要思考的东西差异性很大。比如底层视觉和目标检测,loss的设计,评价方法的选择都不一样;
  3. AutoML本身自己还有 很多参数需要尝试,做不到真正的一键解决所有问题。

所以,无论是做项目的同事还是科研人员,都Dark不必过分焦虑,还有很多路要走。 那现在paper这么多,开源就是歌很有意义的事情了。

华为诺亚方舟实验室昨天就 开源了自研的Automl算法集VEGA,囊括了三年内实验室大量的算法相关同事的工作和心血( 20+ CVPR NIPS ICCV AAAI KDD等),欢迎大家试用,祝Automl早日可以真正的auto起来~



作者:王云鹤
链接:
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。



-------------------------------------------------------------------------------------------------------------


在真正的通用人工智能出现前,人在算法设计中的作用都是不可替代的。

模型需要什么样的特征?要靠人来设计和采集。

建模的目标是什么?需要算法工程师根据业务目标来设计。

你以为算法工程师只是建模吗?不是的,在一家小气的公司,算法工程师还要负责很多和数学有关的工作,比如设计优化算法,包括但不限于线性,非线性规划,遗传算法。

你以为模型只要有深度神经网络就够了?扯淡吧。神经网络只适合有大量样本且先验知识不足的过程。实际过程中样本少,但是先验知识多的情况多的是,你需要用自己设计的结构去充分利用这些先验。

你以为会算法就够了?你好歹有点数据统计分析能力。一般的相关性分析,交叉分析,因果分析,统计推断等等,也得会啊

总之,现在的模型,还需要人来辅助进行目标确定,原理分析,特征工程等,这些都是当前人工智能的盲区。



作者:市民梁先生
链接:
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。









来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69946223/viewspace-2702670/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
爱好旅游和摄影的资深IT大虾

注册时间:2019-08-22

  • 博文量
    1590
  • 访问量
    877932