ITPub博客

用 EMR Serverless Daft 构建清洗、模型标注与向量化管线

原创 Spark 作者:阿里云大数据AI技术 时间:2026-08-25 11:52:06 0 编辑
摘要

前言在大模型预训练、微调和 RAG 建库之前,原始网页通常要经过正文抽取、规范化、质量过滤、去重、模型标注和向量化。算法并不神秘,难点在于让不同类型的计算在大规模数据上稳定运行,并且在调整阈值、更换模型或新增字段时不用重写整条管线。阿里云 EMR Serverless Spark 产品提供了针对 Serverless 环境集成和优化的 Daft。Daft 是面向多模态数据的分布式 DataFram

请登录后发表评论 登录
全部评论

注册时间:2021-07-28

  • 博文量
    745
  • 访问量
    2567468

阿里云大数据AI技术