导读

OpenSearch是一个开源的搜索和分析套件。2021年，亚马逊云科技创建了OpenSearch项目，作为Elasticsearch的一个分支，以保留一个宽松许可的开源选择。自那时起，该项目在多元化的贡献者和合作者的参与下不断成熟，拥有超过6亿次下载量，广泛的用户社区，以及快速的创新步伐。今年9月，亚马逊云科技将该项目捐赠给Linux基金会，使其能够在独立的治理和领导下迈出下一步。来听听OpenSearch在过去3年的历程，以及项目的未来发展方向。

演讲精华

以下是小编为您整理的本次演讲的精华。

从Elasticsearch 7.10分叉出OpenSearch是一项艰巨的任务，涉及修改650个拉取请求、56，000个文件和惊人的450万行代码。这项艰巨的努力旨在建立一个稳定的发行版，可与不断增长的OpenSearch社区所寻求的各种发行版本互操作并可用。

随着项目在2022年逐渐获得动力，亚马逊云科技认识到需要培养一个活跃和参与的开源社区。这对公司来说是一个全新的领域，因为它以前从未主导过像OpenSearch这样规模和轨迹的开源计划。因此，亚马逊云科技开始学习如何与内部团队、外部合作伙伴、组织和贡献者建立信任和协作。公共沟通渠道、用户论坛、博客文章和无处不在的GitHub平台成为促进这一信任建设过程和社区内创新的重要工具。

2023年标志着一个关键转折点，亚马逊云科技全心全意地拥抱了开源优先的理念，认识到了一个强大的开源社区的巨大潜力。在这一时期，生成式人工智能的迅猛发展推动了OpenSearch走向前沿，利用了其在KNN算法和向量数据库方面的早期创新。这一发展凸显了投资于搜索性能增强和探索向量数据库的新用例(包括混合搜索应用程序)的紧迫性。

与这些技术进步同步，2023年见证了OpenSearch项目内部推动开放和透明的治理的努力。成立了一个专门的领导委员会，为2024年向Linux基金会过渡奠定了基础，这一举措将进一步巩固OpenSearch对包容性和平等参与的承诺。

到2023年底，培养活跃的开源社区的不懈努力取得了丰硕的成果。在多个领域取得了重大进展，搜索和生成式人工智能成为焦点。搜索性能、向量数据库和混合搜索功能都有了实质性的改进，凸显了该项目的敏捷性和对新兴趋势的响应能力。

社区本身经历了指数级增长，来自25多个组织的维护者见证了该项目的广泛吸引力和协作精神。作为社区的虚拟中心，opensearch.org网站每月访问量达到了100万的里程碑，反映了与该平台日益浓厚的兴趣和参与度。

此外，新的外部贡献者的涌入，加上现有贡献者的深化承诺，为项目注入了新鲜的视角和专业知识。Aryan、ByteDance、SAP和Intel等组织做出了大量代码贡献，进一步丰富了OpenSearch生态系统，加速了其发展。

2024年9月，OpenSearch迈出了重要一步，成为Linux基金会的一级项目。Amazon OpenSearch产品总监Coral Meadows解释说，这一战略举措是必要的，旨在实现更加平等的参与，并解决开源社区内日益增长的供应商控制问题。

与此同时，OpenSearch软件基金会成立，亚马逊云科技、Uber和SAP作为高级会员，以及众多普通会员通过财务支持来推广和持续发展该项目。

亚马逊云科技高级工程经理Palovi全面概述了OpenSearch社区所经历的创新之旅。引入了九个不同的主题来组织和简化项目中正在进行的各种创新:向量和生成式AI搜索、易用性、可观察性、安全性、分析、成本性能规模、稳定性可用性弹性、安全性、模块化架构以及发布和项目健康状况。

在向量和生成式AI搜索主题下，正在努力提高向量搜索的性价比，优化低内存环境，利用GPU的计算能力，与热数据和冷数据层集成以实现高效的数据管理，并完善用户的开箱即用体验。

此外，神经搜索功能也将获得重大改进，包括与SageMaker、Cohere和OpenAI等行业领先的推理服务集成进行批量离线处理。路线图还包括开发高效的稀疏模型、多语言支持以及低代码搜索流程构建器，旨在让新手用户轻松创建AI/ML驱动的搜索体验。

在核心搜索领域，一系列雄心勃勃的计划旨在将查询引擎转变为更加分布式和可组合的架构，实现无缝集成各种引擎和组件。引入逻辑和物理查询规划器将优化查询执行，同时针对文本、日期和直方图聚合等常见操作进行性能增强。

此外，引入诸如Rust和SIMD(单指令多数据)等尖端技术将提高处理大量查询结果的复杂工作负载的性能。创新功能如分层缓存(将结果溢出到磁盘)和并发段搜索将进一步增强查询引擎的能力。

认识到用户社区不断发展的需求，正在努力通过在OpenSearch中引入新的字段类型来增强核心查询功能。开发利用AI/ML技术的查询洞察和推荐引擎，旨在为用户提供前所未有的查询性能瓶颈可见性，从而进行微调和优化。

对基础搜索库Apache Lucene的贡献也是一个优先事项。值得注意的增强包括BKD docid编码算法(提高了搜索和索引性能)、BM25F相关性算法的实现以及混合搜索功能的进步。

为确保全面的基准测试和性能评估，OpenSearch Benchmark (OSB)工具被开发为开源社区的最佳解决方案。OSB引入了新的工作负载，并展示了可扩展到TB级数据的能力，提供可靠和可重复的性能指标。

“Big 5”工作负载包含41个常见的查询操作，证明了该项目致力于性能优化的决心。2024年9月发布的OpenSearch 2.7版本，与之前的1.3版本相比，查询延迟显著提高了6.5倍，彰显了社区在追求卓越性能方面的不懈努力所带来的切实效益。

易用性成为一个关键主题，工作重点包括现代化OpenSearch Dashboards的用户界面、支持多数据源以及实现版本解耦以简化升级和维护。增强了工作区内的协作体验，同时优先考虑与OpenTelemetry等可观察性数据源的更好集成。

在可观察性和安全分析领域，计划实现日志、指标和跟踪的无缝集成，使用户能够在集中分析中心Discover内利用通用SQL和管道查询语言体验。与Apache Spark的集成将为存储在OpenSearch集群之外的数据提供低成本存储选项。

此外，轻量级数据收集器Data Prepper的增强旨在支持更广泛的摄取方法和接收器，如Apache Kafka。统一的威胁检测体验，加上与AI/ML工作流集成，将提升OpenSearch生态系统内的安全分析能力。

成本、性能和规模仍然是重中之重，相关计划包括提高索引性能、基于应用程序的模板以实现优化部署配置，以及高级分片管理技术(包括在线分割和智能放置决策)。

引入基于拉取的摄取API将补充现有的基于推送模型，能够更高效地处理数据峰值和工作负载优先级。与远程存储的无缝集成有助于智能数据分层，将热、暖和冷数据分离，以实现最佳性能和成本效益。高效的快照和精简的管理API进一步提高了平台的可扩展性和可管理性。

稳定性、可用性和弹性至关重要，工作重点包括提供对查询执行阶段的细粒度可见性、实现硬取消和背压机制以缓解资源争用，以及通过查询组和服务质量控制实现工作负载管理能力。

轻量级集群状态管理和Data Prepper内部的改进弹性，包括增强死信队列，进一步加强了平台的稳健性和容错能力。

安全性仍然是OpenSearch项目的核心原则，所有开发工作都遵循安全设计和默认安全的原则。相关计划包括在插件之间共享资源、在安装插件之前透明地查看插件权限，以及为日益复杂的多租户部署(包括众多索引和映射角色)提供高性能的权限评估。

索引级加密旨在提供细粒度的数据保护，而简化的安全设置流程则旨在简化用户体验。基于开源原则的统一安全模型构想中，可插拔的授权机制能够无缝集成新兴标准，如开放策略代理(Open Policy Agent)。

模块化架构成为关键的推动力，工作重点集中在解耦OpenSearch的单体服务器模块，消除各组件之间的紧密耦合。这种架构演进旨在支持更具可扩展性、低耦合的部署模型，与该项目朝向服务化范式的发展轨迹保持一致。

在发布和项目健康状况方面，OpenSearch采用了基于组件的架构，独立的存储库支持分散式运营。推出了一键式发布系统和专用发布仪表板，无需手动签字即可实现每两周一次的发布，如2024年9月的OpenSearch 2.7版本所示。

OpenSearch产品总监Coral Meadows强调，社区参与是推动该项目取得成功的驱动力。她鼓励用户积极参与产品，提供反馈，并通过技术博客、代码贡献和参加OpenSearch Con活动为社区做出贡献。

公开路线图、分级会议、Slack频道、社区论坛和全面的文档等资源被视为促进OpenSearch生态系统内部协作和知识共享的宝贵工具。

总之，这一叙述凸显了OpenSearch自2021年从Elasticsearch分支以来，到2024年加入Linux基金会的非凡历程。该项目的快速发展得益于活跃且投入的开源社区，这一点在涵盖向量和生成式AI搜索、核心搜索性能、可观测性、安全性和模块化架构等各个主题的创新中都有所体现。

坚定不移地致力于开放治理、透明度和平等参与，为OpenSearch未来成为一个强大、灵活且由社区驱动的搜索和分析平台奠定了基础，这一平台将在未来多年内塑造技术格局。

我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出，企业要从 " 成本优化 " 转向 " 创新驱动 " ，通过完善的数据战略和 AI 云服务，把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在 AI 时代突破。