ITPub博客

首页 > 云计算 > 开源云工具 > 使用 OVS-DPDK 加速滴滴云网络

使用 OVS-DPDK 加速滴滴云网络

原创 开源云工具 作者:java06051515 时间:2019-01-09 11:24:20 0 删除 编辑

在基于现有 OVS-DPDK 开源软件基础上, 滴滴云 技术团队通过创新性的改进,实现了 ms 级别的热升级,同时保持现有的高性能转发能力。

背景

滴滴云 初期采⽤学习 OpenStack 的思路,采用内核态的 OVS 实现了 SDN OverLay 网络。这个实践过程中,我们也遇到了一些问题,可以归纳为以下几个⽅面:

  • 性能不高
  • ⽆法热升级
  • 开发难度⼤
  • 维护成本高

原型设计

针对这些问题,经过技术调研,也参考了国内外同⾏的已有解决方案,在过程中和 Intel 团队紧密合作,我们采用 OVS-DPDK 进⾏开发部署,并最终取得了不错的效果。如下是数据流模型:

数据层面的⼏个重要改造

1. 底层:⽹卡硬件相关

基于 VF 的数据流改造

借助硬件将 OverLay 的流量与宿主机的其他⽹络流量进⾏分离。通过 flow classification 命令将前者导⼊到 VF 上,而后者仍然是通过 PF 口到内核进行处理,保持原有处理逻辑不变。OVS- DPDK 只接管 VF ⽹口,⽽不触碰 PF 口上的非 SDN OverLay ⽹络流量。

这样既简化了 OVS-DPDK 的处理逻辑,同时也避免了因 OVS-DPDK 本身的稳定性,而影响其他⾮ SDN ⽹络模块的稳定性。

2. 中间层:OVS 报⽂处理

无状态的转发功能

⽬前,我们对计算节点⽹络层面的需求,可以分为两大类:VM 流量的转发和 VM 网络的安全监控。其中后者是内部开发的,暂时略过。

针对 VM 流量转发的这个需求,⼜拆解为两部分:OverLay 外层头的处理和内层报文的转发。

借助 OVS-DPDK 的 flow 表实现这两部分功能。因为没有启⽤ conntrack 功能,因此我们这部分的实现是⽆状态的。这个拆解,特别是无状态的特性,在热升级的时候取得了不错的效果。

OVS 单网桥

之前参考 OpenStack 的模型,我们使⽤了 br-int,br-tunnel 两个网桥。在这个模型里,OVS ⽹桥的使⽤方式跟传统的 Bridge 使⽤⽅式差别不大,没有充分发挥 OVS ⽹桥的优势。

在我们的模型中,把两个网桥整合为一个网桥,将 VXLAN ⼝和 vhost-user 的⼝都放到⽤⼀个网桥上。VM 发出的报⽂经过 OVS 转发处理后,携带外层头信息进入 VXLAN 驱动,经过 VXLAN 网口的封装后,发送给 VF 网口。

根据我们的数据模型,进入 VF ⼝的报⽂只可能是发往 VM 的 VXLAN 类型的报文。这些报文,在被剥除 VXLAN 头后,经过 VXLAN ⼝进⼊网桥,经过⽹桥转发到各个 VM 的 VPORT 。

降低与内核的耦合性

原有的 OVS 桥的路由和 ARP 表需要去内核查询,跟内核的耦合性很强。

我们通过 SDN 控制器下发到 OVS-DPDK,来规避直接与内核的交互。这样⼀方⾯简化了 Bridge 的配置(不用单独设置IP地址等),降低了内核的耦合性,另⼀方⾯也降低了热升级时候的复杂度。

3. 上层: vhost-user 与 VM 交互层

vhost-user增强

我们使用的是 QEMU 作为 vhost-user 的 Server 端,OVS-DPDK 进程通过 unixsocket 连接到 QEMU。QEMU 默认仅支持一个这样的连接,改造 QEMU 后,使得 QEMU 支持两个主备倒换的连接,这样热升级的时候,可以通过控制 OVS-DPDK 端的开关,轻松的在新⽼两个进程间切换。

内存模型采用 2M/4k。

尽量减少对现有 VM 的影响,为以后升级和迁移做准备。

方案优势

  1. 升级时间短:业内⽬前的热升级方案基本都是秒级的,切换时间⽐较长。而在我们的框架下,每个VM的热升级时间大约 80ms 左右,极大的缩短了 VM 的网络中断时间,基本做到⽤户无感知。
  2. 可扩展性好:热升级过程中,VM ⽹络中断时间跟 VM 规模无关。热升级的时候,我们逐个把 VM 的流量从⽼的 OVS-DPDK 进程里,切换到新的进程里。这种逐个切换的模式,使得单个 VM 的流量切换,不会影响其他的 VM 网络功能。即使上百个 VM,总的升级时间达到⼏秒甚至⼏十秒的情况下,单个 VM 的⽹络中断时间仍然是 80ms。
  3. 故障恢复快:我们热升级的模型中采⽤的是两个独⽴的 OVS-DPDK 进程,因此提前启动一个新的 OVS-DPDK 进程作为后备进程,这个进程完成所有热升级相关的初始化,比如初始化 vf2。这样当原有 OVS-DPDK 进程 Crash 后,新的进程可以做快速的切换,实验室环境下,单 VM 测试可以做到跟热升级时间差不多。

附上测试数据

  • 性能:单核性能 400wpps 左右
  • 热升级:单 VM 网络中断时间 80ms 左右
  • DPDK version:17.11
  • OVS version:2.9.0
  • QEMU version:2.9
  • CPU:Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz kernel:3.10.0-514.16.1.el7.x86_64
  • NIC:Ethernet Controller X710 for 10GbE SFP+ 1572

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31559758/viewspace-2286849/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-10-26

  • 博文量
    102
  • 访问量
    79605