ITPub博客

OpenM(ysq)LDB 项目介绍OpenM(ysq)LDB 是高性能时序数据库 OpenMLDB 的全新服务模块，OpenMLDB 中 “ML” 既是 Machine Learning 的缩写，也可以是 MySQL 的缩写，通过此模块用户可以直接使用 MySQL 命令行客户端或多种编程语言的 MySQL SDK，从而实现 OpenMLDB 数据库特有的在线离线特征计算功能。OpenMLDB 是

OpenMLDB 是一款国产的、开源的、面向时序数据的分布式内存数据库系统，它专注于高性能、高可靠性和易扩展性，适用于海量时序数据的处理以及在线特征的实时计算。在大数据和机器学习的浪潮中，OpenMLDB 以其强大的数据处理能力和高效的机器学习支持，在开源数据库领域崭露头角。OpenMLDB 的核心存储和 SQL 引擎就包含超过36万行 C++ 代码及海量的 C 头文件代码，为了进一步降低项目编译

在国际权威咨询与研究机构 Gartner 发布的重要研究报告 “逻辑特征存储：机器学习的数据管理” 中，OpenMLDB 荣幸作为中国唯 一的特征平台代表产品入选该报告。

OpenMLDB 特征平台 （https://github.com/4paradigm/feature-platform）是一个先进的特征存储(Feature Store)服务，基于 OpenMLDB 数据库实现高效的特征管理和编排功能。

新的v0.8.4版本中，我们对于诊断工具进行了全面系统化的升级，以提供更加完整和智能化的诊断报告，有助于高效排查 OpenMLDB 集群问题，大幅提升运维效率。

本文将分别介绍离线和在线引擎基于 Kubernetes 的部署攻略。

近期，OpenMLDB v0.8.0 正式推出自动化线上到线下数据同步工具，实现了从实时数据库到离线数仓的自动同步，改进了手动维护的运维复杂度。这篇文章总结了线上到线下数据自动同步的工具

本文整理自 OpenMLDB PMC 陈迪豪在 2023 Qcon 全球软件开发大会 AI 基础架构论坛上的发表的演讲实录。

本文整理自 OpenMLDB PMC 卢冕 在 OpenMLDB Meetup No.6 中的分享——《开源机器学习数据库 OpenMLDB：线上线下一致的生产级特征平台》。

OpenMLDB作为分布式系统，模式多样、客户端丰富，初次使用可能会遇到安装部署或者运行使用方面的问题。 本文将从新手使用的角度，为大家讲解如何进行诊断调试，以及如何向OpenMLDB社区技术人员反馈疑问或提供清晰的使用信息。

OpenMLDB 线上计算的最大优势为可以低延迟（毫秒级）高效处理实时特征计算请求。其中，为了达到低延迟，OpenMLDB 默认使用了基于内存的存储引擎。但是，当业务增长时，对于内存资源消耗以及访问吞吐需求的压力也会上升。本篇文章主要介绍基于 内存存储引擎 的资源预估（磁盘引擎见最后的说明），可以帮你更好的预估、配置用于部署 OpenMLDB 的机器资源。

本文整理自 OpenMLDB 社区开发者、伊利诺伊大学 徐鹏程 在 OpenMLDB Meetup No.7 中的分享——《OpenMLDB 整合自动特征工程》。

在 OpenMLDB 第 8 期 Meetup 中，OpenMLDB PMC 陈迪豪以出租车行车时间预测问题为例，使用 OpenMLDB 基于阿里云 MaxCompute 的 Serverless 服务搭建机器学习应用，从数据引入开始，实现了端到端的机器学习应用全流程构建。

OpenMLDB 提供了一个线上线下一致性的特征平台。其中，为了支持低延迟高并发的在线实时特征计算，OpenMLDB 设计实现了一个高性能的实时 SQL 引擎。本报告覆盖了 OpenMLDB 实时 SQL 引擎的性能测试，包含了在较为复杂的负载、典型配置下的各种性能指标。

在单集群部署环境下，OpenMLDB 具备集群内节点级别的高可用能力。但若受到机房断电或者自然灾害等不可抗拒因素，则将造成的机房或大部分节点无法正常运转的情况，从而引发该集群状态异常，导致在线服务中断。为此，OpenMLDB 提供了一个跨机房容灾方案来解决该问题。在该方案中，用户可以在多个异地机房，分别部署独立的 OpenMLDB 集群，并且将这多套 OpenMLDB 集群设置成为主从复制模式。

近日，OpenMLDB 实现了与开源数据仓库软件 Hive 的连接，继完成与 Kafka、Pulsar、RocketMQ 等实时数据源生态整合后，持续构建离线数据生态，期待建设一个更加全面一体的上下游生态圈，在吸引更多用户的同时也能降低用户的使用门槛。