ITPub博客

首页 > 数据库 > 数据库开发技术 > 【大家的项目】helyim: 纯 Rust 实现的分布式对象存储系统

【大家的项目】helyim: 纯 Rust 实现的分布式对象存储系统

原创 数据库开发技术 作者:Rust语言中文社区 时间:2024-01-07 23:30:00 0 删除 编辑

helyim 是使用 rust 重写的 seaweedfs,具体架构可以参考 Facebook 发表的 haystack 和 f4 论文。

主要设计目标为:

  1. 精简文件元数据信息,去掉对象存储不需要的 POSIX 语义(如文件权限)

  2. 小文件合并成大文件,从而减小元数据数,使其完全存在内存中,以省去获取文件元数据的磁盘IO

  3. 支持地域容灾,包括 IDC 容灾和机架容灾

  4. 架构简单,易于实现和运维

支持的特性:

  1. 支持使用 Http 的文件上传,下载,删除,查看集群状态等接口

  2. Volume 数据支持 Replica Placement

  3. 基于 Openraft 的元数据服务的 Failover 功能

  4. 冗余数据的定时删除

  5. 元数据接口的请求重定向

未来可能实现的功能:

  1. 支持纠删码(高优先级)

  2. 支持 Filer 服务(高优先级,以支持 S3,HDFS,Fuse 等 proxy)

  3. 支持 io-uring

  4. 支持 kernel bypass(RDMA,DPDK,SPDK)

  5. GPU direct storage(大概率不做,但是会学习相关知识)

使用方法:

1. 启动 master 服务

> cargo run --bin helyim master

2. 启动 volume 服务

> cargo run --bin helyim volume --port 8080 --folders ./data:7

3. 上传文件

# 获取文件 ID
> curl http://localhost:9333/dir/assign

{"fid":"6,16b7578a5","url":"127.0.0.1:8080","public_url":"127.0.0.1:8080","count":1,"error":""}

# 上传文件
> curl -F file=@./sun.jpg http://127.0.0.1:8080/6,16b7578a5

{"name":"sun.jpg","size":1675569,"error":""}

4. 删除文件

> curl -X DELETE http://127.0.0.1:8080/6,16b7578a5

更多用法请参考 https://github.com/helyim/helyim


原文作者:Rust语言中文社区;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2020-06-11

  • 博文量
    1769
  • 访问量
    718603