ITPub博客

阿里云向量检索 Milvus 版是阿里云提供的 Serverless Milvus 全托管服务，100% 兼容开源 Milvus，提供高性能、可扩展、大规模 AI 向量数据库相似性检索服务，具备开箱即用、弹性可扩展、全链路监控告警的能力，同时提供开源 Attu 的可视化工具。适用于各种 AI 应用场景，如：多模态搜索、RAG、广告推荐、内容风险识别等。

本文将分享阿里云人工智能平台 PAI 团队与 NVIDIA Megatron-Core 团队在 MoE (Mixture of Experts) 大型语言模型（LLM）实现与训练优化上的创新工作。

阿里云研究员、阿里云人工智能平台 PAI 技术负责人--林伟在GTC 2024 大会 China AI Day 线上中文演讲专场上介绍了TorchAcc，这是一个基于 PyTorch/XLA 的大模型分布式训练框架。

大模型出现伊始，我们就在SREWorks开源社区征集相关的实验案例。玦离同学提供了面向大数据HDFS集群的智能体案例，非常好地完成了运维诊断的目标。于是基于这一系列的实验和探索。本文详细介绍智能体在运维诊断中的应用探索。

随着大数据应用的广泛推广，企业对于数据处理的需求日益增长。为了进一步优化大数据开发流程，减少企业的运维成本，并提升数据处理的灵活性和效率，阿里云开源大数据平台 E-MapReduce （简称“EMR”）正式推出 EMR Serverless Spark 版，并已开启邀测！

M2Doc是一种创新的多模态融合方法，设计用于增强文档版面分析任务中的纯视觉目标检测器。该方法包括Early-Fusion和Late-Fusion模块，前者通过门控机制融合视觉和文本特征，后者则在框级别合并这两种特征。M2Doc易于集成到各种目标检测器，实验证明它能显著提升DocLayNet和M6Doc数据集上的性能，特别是与DINO结合时，在多个数据集上达到SOTA结果。此外，研究表明M2Doc对于增强复杂逻辑版面分析任务中的文本理解和语义关联特别有效。

小样本类增量学习代表了机器学习领域中一个高度挑战性的议题，其核心目标在于能够在仅有限的数据支持下识别新类别，同时保留对已学习类别的认知，而无须重新训练整个模型。这一目标在模型需适应新类别的同时使用有限训练数据的情况下尤为艰巨。针对上述挑战，我们提出了一种创新性策略，称为多重混合自蒸馏。旨在为类增量学习阶段准备一个具有高度可扩展性和包容性的特征空间。

多模态理解模型具有广泛的应用，比如多标签分类、视频问答（videoQA）和文本视频检索等。现有的方法已经在视频和语言理解方面取得了重大进展，然而，他们仍然面临两个巨大的挑战：无法充分的利用现有的特征；训练时巨大的GPU内存消耗。我们提出了MuLTI，这是一种高度准确高效的视频和语言理解模型，可以实现高效有效的特征融合和对下游任务的快速适应。本文详细介绍基于MuLTI实现高效视频与语言理解。

为了简化 eBPF程序的开发流程，降低开发者在使用 libbpf 库时的入门难度，libbpf-bootstrap 框架应运而生。本文详细介绍基于原生libbpf库的eBPF编程改进方案。

近日，阿里云人工智能平台PAI与浙江大学吴健、应豪超老师团队合作论文《Arithmetic Feature Interaction is Necessary for Deep Tabular Learning》正式在国际人工智能顶会AAAI-2024上发表。

使用PAI-DSW搭建Stable Diffusion XL Turbo完成AI画画功能，轻松实现随手涂鸦变精美画作，人人都可当AI画家！诚邀AIGCer参与挑战，沉浸式体验云上绘画AIGC创新之旅。制作上传专属美画，即有机会抽取Powerbeats Pro、台式升降桌等七重奖品！

Qwen1.5（通义千问1.5）是阿里云最近推出的开源大型语言模型系列。阿里云的人工智能平台PAI，作为一站式的机器学习和深度学习平台，对Qwen1.5模型系列提供了全面的技术支持。无论是开发者还是企业客户，都可以通过PAI-QuickStart轻松实现Qwen1.5系列模型的微调和快速部署。

PAI-TorchAcc(Torch Accelerator)是阿里云人工智能平台开发的Pytorch上的大模型训练加速框架。 PAI-TorchAcc提供了一套基于Pytorch的简洁、易用的接口，无需进行模型转换就可以无缝地接入HuggingFace上的模型，并用多种分布式策略进行训练加速。

作者：熊兮、求伯、一耘引言通义千问-72B（Qwen-72B）是阿里云研发的通义千问大模型系列的720亿参数规模模型。Qwen-72B的预训练数据类型多样、覆盖广泛，包括大量网络文本、专业书籍、代码等。Qwen-72B-Chat是在Qwen-72B的基础上，使用对齐机制打造的基于大语言模型的AI助手。阿里云人工智能平台PAI是面向开发者和企业的机器学习/深度学习平台，提供AI开发全链路服务。快速开

ConaCLIP针对轻量化的图文检索任务进行设计，是一种通过全连接的知识交互图学习方式将知识从dual-encoder大模型中蒸馏到dual-encoder小模型的算法。

大规模电商图文数据中自动化构建多模态概念级知识图谱的方案，将概念级多模态先验知识注入到VLP模型中，以实现跨模态图文样本在概念层面进一步对齐。

Celeborn 采用了 Push Shuffle 的设计，通过远端存储、数据重组、内存缓存、多副本等设计，不仅进一步提升 Gluten Shuffle 的性能和稳定性，还使得 Gluten 拥有更好的弹性，从而更好的拥抱云原生。

阿里云机器学习平台PAI主导的多篇论文在 ACL 2023 Industry Track 上入选。

阿里云机器学习平台PAI和北京大学杨智老师团队合作的论文被数据库领域顶会SIGMOD 2023接收。

阿里云机器学习平台 PAI 团队和达摩院 GraphScope 团队联合推出了面向 PyTorch 的 GPU 加速分布式 GNN 框架 GraphLearn-for-PyTorch(GLT) 。