关注并标星 3分钟秒懂大数据

每天1次，打卡阅读

获取AI大数据技术、面经、内推信息

Hello 大家好，我是土哥，目前组内专注于Flink和AB融合技术的研究。说起AB融合技术，大家可能有些陌生，但是对大数据、人工智能领域却是很熟悉，所以在这给大家科普一下，什么是AB融合技术？

所谓的AB融合，就是将"AI" 和 "Bigdata"进行无缝对接，使用大数据的分布式思维对人工智能领域的深度学习、机器学习进行分布式计算，缩短模型的训练、推理、评估时长。

为什么需要AB融合技术？

问题一：

搞算法的朋友应该都清楚，要想训练出好的模型，最重要的是特征的提取，但是在特征提取中，特征工程阶段会耗费大量的人力物力，而且还需要人手工处理，虽然市面上有一些自动化特征处理工具，但是也只能将一些复杂数据进行简单化，无法达到训练使用的标准数据。

问题二：

就算第一步特征工程处理好后，如果一个深度学习网络层数达到上千层，参数包含上亿个，就算你使用GPU进行加速训练，那训练时长又能缩短多快呢？一个好的模型的训练时长花费几周、甚至个把月都不为过。并且还是在单机的情况下进行模型训练，而且还是离线训练。

问题三：

前面两步解决了，但是训练好的模型如何实时更新呢，如果新到的一批数据使用之前训练的模型进行评估，效果很差，这时候如何快速替换旧模型，更新新模型呢？

问题四：

在大数据领域中，我们可以根据一批数据进行实时的计算，并且快速得到计算结果，那AI领域是否可以持续训练模型？

AB融合技术如何设计？

上述我们谈了那么多问题点，特征工程如何由人工变自动化处理？、模型训练如何由单节点变持续分布式训练？，模型如何实时更新？

解决思路一（特征工程）：

特征值由离线变实时，直接从HDFS或者文件系统读取变成从消息系统Kafka中读取。使用流批一体的分布式计算引擎对数据进行数据清洗，特征值处理、OneHot编码等操作。

解决思路二（模型训练）：

将计算的数据放入一个内存对象中，然后使用一个引擎实时从内存对象中进行读取，并且这个引擎支持实时的分布式训练，同时可以加载机器学习、深度学习算法等。

解决思路三（模型更新）：

将训练的模型发入kafka topic中，同时另一个topic中读取测试数据流，设计一个实时推理的算子，根据训练的模型和读取的测试数据进行实时推理，根据推理结果进行实时评估，若评估结果小于训练模型的AUC结果，重新训练模型，大于则持续推理数据。

以上就是AB融合的介绍，下篇，我将介绍如何设计AB融合的架构，以及架构设计思路。

End

最近整理了一份计算机类的书籍，包含python、java、大数据、人工智能、算法等，种类特别齐全。

获取方式：关注公众号：3分钟秒懂大数据，回复：福利，就可以获得这份超级大礼！，小伙伴们快来领取吧。

点个在看你最好看

往期推荐

ITPub博客

为什么AB融合技术在大厂如此火热？