ITPub博客

近日，阿里云机器学习平台PAI与香港大学吴川教授团队合作的论文”Efficient Pipeline Planning for Expedited Distributed DNN Training”入选INFOCOM（IEEE International Conference on Computer Communications） 2022，论文提出了一个支持任意网络拓扑的同步流水线并行训练算法，有效减少大规模神经网络的训练时间。

开源Elasticsearch是一个基于Lucene的实时分布式的搜索与分析引擎，是遵从Apache开源条款的一款开源产品，是当前主流的企业级搜索引擎。

EasyNLP背后的技术框架如何设计？未来有哪些规划？今天一起来深入了解。

EasyCV背后的算法框架如何设计？开发者可以怎么使用？未来有哪些规划？今天一起来深入了解。

本期我们将带来Hologres高性能分析引擎加速查询云数据湖DLF的技术原理解析。

近日，阿里云发布《中国云原生数据湖应用洞察白皮书》。在数字经济的背景下，互联网行业及传统企业加速云化转型，中国整体云服务市场的规模逐年扩增，云成为新一代IT基础设施已经成为不争的事实。

阿里巴巴云原生大数据运维平台 SREWorks，沉淀了团队近10年经过内部业务锤炼的 SRE 工程实践，今天正式对外开源，秉承“数据化、智能化”运维思想，帮助运维行业更多的从业者采用“数智”思想做好高效运维。

经历6年时间，在各团队的努力下，阿里巴巴集团大规模稀疏模型训练/预测引擎DeepRec正式对外开源，助力开发者提升稀疏模型训练性能和效果。

本文介绍的是阿里在2019年发表的多任务学习算法。该模型显示地建模目标间的贝叶斯网络因果关系，整合建模了特征和多个目标之间的复杂因果关系网络，省去了一般MTL模型中较强的独立假设。由于不对目标分布做任何特定假设，使得它能够比较自然地推广到任意形式的目标上。

最近阿里云机器学习PAI平台和达摩院智能计算实验室一起发布“低碳版”巨模型M6-10T，模型参数已经从万亿跃迁到10万亿，规模远超业界此前发布的万亿级模型，成为当前全球最大的AI预训练模型。同时做到了业内极致的低碳高效，使用512 GPU在10天内即训练出具有可用水平的10万亿模型

零售行业是对社会变化感受最深的⾏业之⼀，随着⼀⼆线⽣活成本的攀⾼，“⼩镇⻘年”代表了⼀股新的消费⼒量异军突起。从“进⼝好货”到“国潮当⽴”到“原产地”，从“线下⻔店”到“线上平台”到“零售OMO（Online Merge Offline）”，零售渠道从传统的⼤卖场⼤超市、⼩超市、便利店分布模式，转向线上平台和线下渠道相融合的新零售模式，以满⾜消费者随时随地购买的需求。

机器学题平台PAI论文入选国际顶会KDD-构建端到端的大规模AI工程能力一、顶会概览KDD 2021上，阿里云机器学习平台PAI参与的论文入选，大规模可扩展文本分类框架MeLL、大规模推荐模型推理系统FleetRec、自动特征生成的方法FIVES分别被录取。 KDD大会至今连续举办26届，是世界数据挖掘最高级别的学术会议之一，有数据挖掘领域“世界杯”之称，每年吸引了大量数据挖掘、机器学习

VLDB 2021上，阿里云计算平台MaxCompute参与的论文入选，核心分布式调度执行引擎Fangorn、基于TVR Cost模型的通用增量计算优化器框架Tempura等分别被Industry Track、Research Track录取。

PyFlink 作为 Flink 的 Python 语言入口，其 Python 语言的确很简单易学，但是 PyFlink 的开发环境却不容易搭建，稍有不慎，PyFlink 环境就会乱掉，而且很难排查原因。今天给大家介绍一款能够帮你解决这些问题的 PyFlink 开发环境利器：Zeppelin Notebook。主要内容为： 准备工作 搭建 PyFlink 环境 总结与未来

本文整理自快手数据技术专家李天朔在 5 月 22 日北京站 Flink Meetup 分享的议题《快手基于 Flink 构建实时数仓场景化实践》，内容包括： 快手实时计算场景 快手实时数仓架构及保障措施 快手场景问题及解决方案 未来规划

在当下的商业环境中，正确的数据治理策略对于数据增值是非常重要的。据统计，企业的数据一直都在以每年50%的速度增长，因此企业数据治理与整合的难度就不断加大了。 DataWorks一直以来都致力于成为用户更方便、更快捷地进行数据开发与数据治理的好帮手。此次发布的数据建模，是对已有数据治理领域能力的补齐，为用户带来了在数据开发前，实施事前治理的能力。

本文是《飞天大数据产品价值解读系列》之《PAI:一站式云原生AI平台》的视频分享精华总结，主要由阿里云机器学习PAI团队的产品经理高慧玲(花名：玲汐)向大家介绍了阿里巴巴整体的AI情况以及一站式云原生的AI平台PAI，并且做了简单的DEMO演示。 以下是视频内容精华整理，主要包括以下三个部分：1.阿里巴巴整体AI介绍；2.PAI：一站式云原生AI平台；3.快速上手演示案例。一、阿里巴巴整

作为业界少有的EB级数据分布式平台，MaxCompute每天支撑上千万个分布式作业的运行。这些作业特点各异，既有包含数十万计算节点的超大型作业，也有中小规模的分布式作业。DAG作为MaxCompute执行引擎的核心技术之一，在提供了底层统一的动态执行框架的同时，实现了一个在离线混合的执行模式(Bubble Execution)，达到了平衡极致性能以及高效的资源利用率的目的。

“AI行业接下来可能有哪些发展？” “一线从业者如何看待其中的机会？”知乎合伙人、CTO李大海与阿里巴巴副总裁、阿里云智能高级研究员贾扬清亮相知乎直播，与网友分享了他们对AI时代下行业趋势、技术应用、个人成长等多个层面的洞察和思考。

本文由 T3 出行大数据平台负责人杨华和资深大数据平台开发工程师王祥虎介绍 Flink、Kylin 和 Hudi 湖仓一体的大数据生态体系以及在 T3 的相关应用场景，内容包括： 湖仓一体的架构 Flink/Hudi/Kylin 介绍与融合 T3 出行结合湖仓一体的实践