DirectPath I/O与Cisco VM-FEX

本文讨论的是DirectPath I/O。让我们由浅入深地通过一些问答来逐步展开DirectPath I/O的世界。

Q: 什么是DirectPath I/O?

A: VMware官方手册这么说:『通过 DirectPath I/O,虚拟机可以使用 I/O 内存管理单元访问平台上的物理 PCI 功能』
其实就是VM绕开了Hypervisor的管理,直接访问I/O设备。而最常见的I/O设备就是网卡。

Q: 为啥要用DirectPath I/O?(DirectPath I/O的优点)

A: 因为它绕开了hypervisor对I/O的处理,所以具有两大优点:
第一,速度快
第二,CPU的开销小

Q: DirectPath I/O的缺点?

A: VMware的手册中说配置了DirectPath的虚拟机不具有以下功能:
– vMotion
– 虚拟设备的热添加和热移除
– 挂起和恢复
– 记录和重放
– Fault Tolerance
– High Availability
– DRS(受限的可用性。虚拟机可以属于某个群集,但不能在主机之间迁移)
– 快照

Q: 为啥启用了DirectPath I/O,上述那么多功能都没法使用?

A: 以上功能比如vMotion、FT、HA、Snapshot等等,都是Hypervisor通过VMKernel来实现的。而DirectPath I/O绕开了Hypervisor,直接访问了物理网卡,自然这些功能就无法用了。

Q: 哇,这么多重要的功能不能用了!好吧,没有了vMotion,虚拟化还有什么意义!没有了HA,生产应用怎么敢虚拟化?这么看来DirectPath I/O完全就是个废品嘛。

A: 且慢,VMware vSphere 5.1的手册里面还有这么一段描述:
只有在 Cisco 统一计算系统 (UCS) 上通过 Cisco Virtual Machine Fabric Extender (VM-FEX) 分布式交换机配置有 DirectPath I/O 的虚拟机才具有下列功能。
– vMotion
– 虚拟设备的热添加和热移除
– 挂起和恢复
– High Availability
– DRS
– 快照

为啥呢?因为Cisco的UCS系统上的网卡很奇妙,这种被叫做VIC的网卡是一种高级的融合式网卡(CNA),可以虚拟化成多个vNIC。与HP的Flex-10网卡只能最多虚拟化成4个静态vNIC不同,Cisco UCS的VIC可以虚拟化成128个(型号1240)或256个(型号1280)vNIC。而且Cisco支持Dynamic vNIC,这种类型的vNIC不是固定的,可以随着VM的漂移而移动。通过和VMware的结合,Dynamic vNIC在VM移来或虚拟设备热添加时被创建出来,在VM移走或虚拟设备热移除时被删掉。这就解决了问题,即不通过Hypervisor的管理又能同时实现vMotion。解决了vMotion的问题,HA、DRS等等问题也就迎刃而解了。

所以说,应用了Cisco UCS VM-FEX分布式交换机,我们就可以做到既实现了DirectPath I/O的优点,又避免了其致命的缺点。

Q: 那么结合了VM-FEX vDS和DirectPath I/O,是不是就天衣无缝,完全没有缺点了呢?是不是在所有场合下都可以应用DirectPath I/O了呢?

A: No. 还有2个缺点。
首先Dynamic vNIC有数量限制,其数量的上限是IO Module(2204或2208)uplink数量乘以15减去4。

例如配置了2个2204 IO Module的UCS刀箱满配一共有8个上联链路,那么可以配置的Dynamic vNIC的上限就是8×15-4=116个。实际情况是静态vNIC和vHBA还会占用一些vNIC数,所以116也不一定能达到。而动态vNIC的总数限制就是一台物理主机上所有VM的所有网卡的数量上限。116不是一个很大的数字,在某些应用的情况下,一台VM可能会需要2个以上的网卡,也就是会占用2个以上的动态vNIC,这导致了动态vNIC数量非常紧张。当无法创建新的动态vNIC时,新的虚拟机就无法创建出来,也无法向这台主机vMotion迁移虚拟机。

其次,要启用VM-FEX 结合的DirectPath I/O,虚拟机必须做内存保留(memory reservation),而且是所有内存都必须保留。这使得虚拟机插槽(slot)变得非常大,而且也使得主机无法充分利用内存,无法进行内存过量分配(overcommitment)。

结论:由于DirectPath I/O只有在I/O繁重的情况下才能发挥其优势。即使你使用了Cisco UCS,也要根据自己的情况来衡量是否需要采用VM-FEX分布式交换机来启用DirectPath I/O。套用一句老化,没有最好只有最合适。因此在进行架构设计的时候,请选择适合你的组织的方案,而不是盲目追求最快最新。

【参考文档】

1) VMware的官方手册
http://pubs.vmware.com/vsphere-51/topic/com.vmware.ICbase/PDF/vsphere-esxi-vcenter-server-51-networking-guide.pdf

2) Cisco文档
http://www.cisco.com/en/US/docs/unified_computing/ucs/sw/vm_fex/vmware/gui/config_guide/b_GUI_VMware_VM-FEX_UCSM_Configuration_Guide.pdf

3) Cisco VM-FEX用于vSphere部署的最佳实践
http://www.cisco.com/en/US/solutions/collateral/ns340/ns517/ns224/ns944/vm_fex_best_practices_deployment_guide_ns1124_Networking_Solutions_White_Paper.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注

答案 : *
14 + 12 =