以前提到过vdpa,只有mellanox connectx-5网卡,不支持vdpa,公司最近来了mellanox DPU,也就是bluefield-2,自带connectx-6网卡,硬件支持vdpa,再分析一下看怎么个搞法。
虚拟机cpu加速有intel vt-x,memory加速有intel ept技术,剩下就是网络和存储io加速,io路径长,网络io路径是虚拟机virtio-ovs-vxlan-host内核协议栈出物理机,存储io是虚拟机virtio-qemu-host内核存储栈到ceph,io大量占用host上的cpu资源,而且性能低。
vdpa是virtio控制面软件模拟,数据面硬件实现,控制面复杂用硬件实现难,数据面简单用硬件实现容易,厂商自己实现自己的驱动,数据是用dma mapping直接从虚拟机内存手动物理硬件上,硬件再vxlan处理或者对接ceph,听起来有点vfio-mdev的感觉,vfio只能处理pci通用结构和流程,vfio-mdev处理那些硬件实现不了sr-iov功能的设备,也就是硬件不能模拟出pci标准结构的哪些硬件,vfio-mdev给虚拟机假象以为自己独占硬件,虚拟机运行硬件驱动使用硬件,其实是在host的严密监视下共享硬件资源,由于硬件不同qemu中多多少少会有一些硬件相关的代码。vdpa基本virtio标准设备,肯定希望虚拟机中只运行中立的virtio驱动,qemu中只有vdpa厂商中立代码,厂商实现的vdpa驱动在技术栈最底层,所以说和vifo-mdev还是不一样。站在另一个角度考虑,vfio没有vhost中关于virtio的ioctl实现,vdpa两者都需要,如果qemu用了viommu,vhost也得支持viommu,vhost迟早得添加地址转换的ioctl,在这个基础上vhost再调用iommu实现硬件dma mapping的功能,所以vdpa复用vhost的ioctl和代码是最佳选择,以前看一些资料上写的vhost-vfio和vhost-mdev等,总之就是为把vhost和vfio ioctl结合在一起用的,都没能成功upstream代码。
vdpa厂商的驱动一种方式是运行在用户态,如dpdk中实现的vdpa驱动,另一方式运行在内核中,如intel的ifcvf和mellanox的ml