ITPub博客

首页 > 大数据 > 数据分析 > 存储市场未来大概率会被NVMe盘统一

存储市场未来大概率会被NVMe盘统一

原创 数据分析 作者:mayiyb1 时间:2020-10-26 10:45:54 0 删除 编辑

作为在CDN行业摸爬滚打多年的行业专家,周超勇曾先后担任蓝汛和金山云CDN架构师,其主要关注CACHE设计、存储设计、存储与业务分离等,开源有DMA、XFS、XCACHE和BGN等技术。精通数学的周超勇曾完全自主开发并行与分布式计算平台BGN,而在他自己看来,BGN的开发则是出于自己的“无知”。目前,周超勇在字节跳动做边缘计算架构师,主要关注算力分发和算力网络建设。用周超勇自己的话讲:“从ECC到CDN到边缘计算,从计算到流量再到算力,不变的是对并行和分布的追求,对指挥千军万马,协同作战,提高人类欲望上限的追求。”

从CDN架构和业务变迁看IT架构演变

借助多年从事CDN行业的工作经验,周超勇认为,通过CDN架构和业务的变迁能够间接了解IT架构的演变。周超勇在蓝汛初次接触CDN架构时,已经是蓝汛的第二代架构,它基于SQUID开发了一套框架,允许研发人员以模块的方式实现框架的HOOK点,满足数以万计客户的定制化需求。据介绍,其业务以页面加速为主,设备部署以单机为主,配千兆网卡,SATA HDD盘。主要挑战来自于客户需求的多样性、架构的复杂度和耦合度。

随后,下载类和视频类业务崛起,万兆网卡出现,设备集群化部署以增大存储容量和网卡吞吐量,SQUID框架难以为继,开始切换到以NGINX为核心的新一代CDN架构,其主要挑战来自于存储。

接着,云厂商的加入导致CDN市场竞争加剧,价格压缩迫使CDN厂商在商业模式做出改变,传导到架构上分化出一批更专业的、有针对性的设计方案。彼时,分层部署方式涌现出来。

近两年,SSD盘、25G/100G网卡的引入,逐步消除了磁盘IO瓶颈和网络IO瓶颈,导致架构有所演进,出现DMA、RDMA、SPDK、DPDK这类技术。新硬件的出现,使得传统的瓶颈点发生转移,迫使架构朝零拷贝技术、低延迟大带宽网络、旁路内核的方向演进。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69986194/viewspace-2729665/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: JVM性能调优
请登录后发表评论 登录
全部评论

注册时间:2020-10-26

  • 博文量
    10
  • 访问量
    5458