ITPub博客

阿里云研究员、阿里云人工智能平台 PAI 技术负责人--林伟在GTC 2024 大会 China AI Day 线上中文演讲专场上介绍了TorchAcc，这是一个基于 PyTorch/XLA 的大模型分布式训练框架。

大模型出现伊始，我们就在SREWorks开源社区征集相关的实验案例。玦离同学提供了面向大数据HDFS集群的智能体案例，非常好地完成了运维诊断的目标。于是基于这一系列的实验和探索。本文详细介绍智能体在运维诊断中的应用探索。

随着大数据应用的广泛推广，企业对于数据处理的需求日益增长。为了进一步优化大数据开发流程，减少企业的运维成本，并提升数据处理的灵活性和效率，阿里云开源大数据平台 E-MapReduce （简称“EMR”）正式推出 EMR Serverless Spark 版，并已开启邀测！

M2Doc是一种创新的多模态融合方法，设计用于增强文档版面分析任务中的纯视觉目标检测器。该方法包括Early-Fusion和Late-Fusion模块，前者通过门控机制融合视觉和文本特征，后者则在框级别合并这两种特征。M2Doc易于集成到各种目标检测器，实验证明它能显著提升DocLayNet和M6Doc数据集上的性能，特别是与DINO结合时，在多个数据集上达到SOTA结果。此外，研究表明M2Doc对于增强复杂逻辑版面分析任务中的文本理解和语义关联特别有效。

小样本类增量学习代表了机器学习领域中一个高度挑战性的议题，其核心目标在于能够在仅有限的数据支持下识别新类别，同时保留对已学习类别的认知，而无须重新训练整个模型。这一目标在模型需适应新类别的同时使用有限训练数据的情况下尤为艰巨。针对上述挑战，我们提出了一种创新性策略，称为多重混合自蒸馏。旨在为类增量学习阶段准备一个具有高度可扩展性和包容性的特征空间。

多模态理解模型具有广泛的应用，比如多标签分类、视频问答（videoQA）和文本视频检索等。现有的方法已经在视频和语言理解方面取得了重大进展，然而，他们仍然面临两个巨大的挑战：无法充分的利用现有的特征；训练时巨大的GPU内存消耗。我们提出了MuLTI，这是一种高度准确高效的视频和语言理解模型，可以实现高效有效的特征融合和对下游任务的快速适应。本文详细介绍基于MuLTI实现高效视频与语言理解。

为了简化 eBPF程序的开发流程，降低开发者在使用 libbpf 库时的入门难度，libbpf-bootstrap 框架应运而生。本文详细介绍基于原生libbpf库的eBPF编程改进方案。

近日，阿里云人工智能平台PAI与浙江大学吴健、应豪超老师团队合作论文《Arithmetic Feature Interaction is Necessary for Deep Tabular Learning》正式在国际人工智能顶会AAAI-2024上发表。

使用PAI-DSW搭建Stable Diffusion XL Turbo完成AI画画功能，轻松实现随手涂鸦变精美画作，人人都可当AI画家！诚邀AIGCer参与挑战，沉浸式体验云上绘画AIGC创新之旅。制作上传专属美画，即有机会抽取Powerbeats Pro、台式升降桌等七重奖品！

Qwen1.5（通义千问1.5）是阿里云最近推出的开源大型语言模型系列。阿里云的人工智能平台PAI，作为一站式的机器学习和深度学习平台，对Qwen1.5模型系列提供了全面的技术支持。无论是开发者还是企业客户，都可以通过PAI-QuickStart轻松实现Qwen1.5系列模型的微调和快速部署。

PAI-TorchAcc(Torch Accelerator)是阿里云人工智能平台开发的Pytorch上的大模型训练加速框架。 PAI-TorchAcc提供了一套基于Pytorch的简洁、易用的接口，无需进行模型转换就可以无缝地接入HuggingFace上的模型，并用多种分布式策略进行训练加速。

作者：熊兮、求伯、一耘引言通义千问-72B（Qwen-72B）是阿里云研发的通义千问大模型系列的720亿参数规模模型。Qwen-72B的预训练数据类型多样、覆盖广泛，包括大量网络文本、专业书籍、代码等。Qwen-72B-Chat是在Qwen-72B的基础上，使用对齐机制打造的基于大语言模型的AI助手。阿里云人工智能平台PAI是面向开发者和企业的机器学习/深度学习平台，提供AI开发全链路服务。快速开