[转]linux下基于SMP架构的多队列网卡的调优(Multi-queue network interfaces with SMP on Linux)

2017-10-04 20:02:24来源:CSDN作者:msdnchina人点击

分享

转自:

http://blog.csdn.net/vah101/article/details/38615795

在许多商业应用场景下,使用linux来搭建路由器是一种可选的方案。在这篇博文中,我们将探讨在对称多处理器(SMP)架构下,对多队列网卡进行调优,以使其获得最佳的包转发性能。在这个过程中,我们将利用linux内核的一些特性,比如Receive Packet Steering (RPS)、Transmit Packet Steering (XPS)、IRQ affinity(均中断)。

队列、中断和cpu


这篇文章中讨论的内容适用于多种服务器网卡,对于我们自己的路由平台,我们选择了一连串的intel i350系列网卡。在linux下,这些网卡可以使用igb驱动程序,这个驱动程序由Intel自己编写,并且由于其的优秀性能,获得了很好的业界赞誉。更加重要的是,每个i350网卡为系统提供了8条发送队列和8条接受队列,这会帮助我们将网络流量分载到多个cpu上。

i350网卡实现了自己的hash逻辑,以至于(在接受端)同一个流的数据包将会有同一个队列持续分发。在发送端,则是由网络协议栈来完成这个工作。通过建立这个流/队列的亲和性,把队列绑定到不同的cpu上,从而实现流/cpu的亲和性。这种方法能够换来性能上的提高,是因为,它在根本上导致了网络流与cpu缓存的亲和性,减轻了每个cpu cache的压力。因为每个队列(或者是在这某些情况下出现的队列对)与一个硬中断相关联,处理这些中断响应会同样的分布在不同的cpu上。

igb驱动明智地将每个网口-方向的(rx或tx)队列数据减小到逻辑cpu的数量。减少的原因是每个队列都会导致cpu的性能瓶颈,如果队列的数据比cpu的数量大,将不会对性能提升带来好处。在我们的测试系统中,我们使用一个支持超线程的6核志强cpu,默认情况下就会呈现出来的12个逻辑cpu。因为实际上,在cpu芯片上只有6个物理的L1缓存,并且我们的目的是创建网络流与cpu缓存的亲和性,于是我们禁用了超线程。这样就给我们剩下了6个逻辑cpu,每个网卡上则设置了与之相对应的各个方向(发送和接收)上的6条队列。

如何控制亲和性

linux提供了Receive Packet Steering (RPS)、Transmit Packet Steering (XPS)、IRQ affinity, 允许我们控制cpu、网卡队列、中断之间的亲和性其中每一项多可以通过linux的/proc目录下的伪文件系统来配置,可以通过读、写位图文件(以十六位数形式),它用来表示cpu的分配。

让我们先开始配置网卡RPS,首先以eth1的队列0为例,与RPS功能相关的配置项在/sys/class/net/eth1/queues/rx-0/rps_cpus。在这个路径中,eth1是网卡名,rx-0为接收队列0,rps自然是代表RPS。对于XPS来说,对于相应的发送队列,rx-0变为tx-0,rps则变为xps。为了显示eth1下的可用队列,可用简单的列出目录/sys/class/net/eth1/queues下的文件。

继续讨论中断的亲和性,相关的配置文件在/proc/irq/*/smp_affinity,其中*代表(硬)中断号。你可以通过阅读/proc/inerrupts中的内容找到相应的硬件中断号。在一些情况下,发送和接收队列搭配起来平分中断作业。无论如何,我们关心的是控制网络队列的cpu亲和力,而不是主网络设备。在/proc/interrupts的输出中,可以很直观的通过队列名来定位中断号。对于未成对搭配的队列,它们会简单的命名为eth1-rx-0和eth1-tx-0,搭配成对的队列则会显示为eth1-TxRx-0.

RPS、XPS和IRQ亲和性的配置很简单,直接向相关的配置文件中写入一个16进制数字,代表cpu分配网络队列中断响应的位图。0是默认值,其含义根据不同的内核版本有所差异(之后将讨论)。在我们的测试路由器上,拥有6个cpu核,可以向配置文件中写入的范围是二进制的000000到二进制的111111。最右侧(最小值)位代表第0号cpu。例如,我们想分配第5号cpu,则需要向相关的配置文件中以16进制的形式20,写入二进制值100000。

实验过程

我们的实验装置由3个网卡组成,其中2个网卡(eth1、eth2)连接到一台发包设备,这台设备生成的IP包,由随机的源地址和目的地址组成(randomized source addresses spanning a /8 (2^24 addresses) and destinations spanning a /24 (2^8 addresses))剩余的一个网卡(eth3)用来连接另外的网卡,提供链路层的连接,数据包在这三个网卡之间进行转发,并且数据包有eth1/eth2注入,通过一个路由表,由eth3发送出去。所以的输出包的目标是一个不存在的网关(通过本地ARP表分配的一个静态MAC地址)以便排除由于真实的MAC层连接引入的不当干扰。我们开发了一个工具,叫做ifstat2,可以用来观察每秒的网卡实时转发性能,包括每秒转发的包数和字节数。

我们使用内核版本是3.2.39-2的Debian发行版,默认情况下,这个内核将所有的网络负载交给第一个cpu处理,导致了低下的包转发性能,当网络流量达到558k包/秒的时候,就会开始发生丢包现象。到了1.6M包/秒的输入,丢包率高达20%。之后,我们通过修改CPU、中断、队列相关的亲和性进行对比测试。将网卡的负载分配到6个不同的cpu,获得了最好的包转发性能,并且消除了丢包的现象:


然后,这样的配置导致了用户态性能开销的大幅度增大,包括ssh终端会话的操作时延变长,其实这时网络并没有出现拥塞。将网络负载分发到6个cpu中的5个上(留下一个cpu用来运行其他程序),减轻了用户态的性能问题,但是,将问题留给了如何去处理剩下的第6号队列。

Intel的官方igb驱动支持减少队列数,通过加装驱动的时候设置RSS参数。但是,在当前的官方linux内核中的igb驱动,并不支持这个调优参数。所以,我们自己在驱动程序中实现了一个等价的参数,以便允许减少队列的数据到5,实现如下的分发方式:


通过释放第一个cpu,戏剧性的提高了用户态的性能。然而,另外一个问题,我们认识到Linux路由cache(即目的[dst]cache,或者路由信息库[rib])的性能.我们认识到,当大量的数据包携带端点地址通过这个系统,这个cache很容易被堵塞,产生了目的cache溢出的内核信息警告。这个cache看起来不能提供持续性能的性能。与普通的路由表查找相比较。

我们得知,在linux内核版本3.8,将会弃用并删除掉路由cache,所以我们在3.8版本的内核上继续我们的实验。在vanilla linux 3.8.5内核版本上,默认情况下,cpu、中断已经被优化了。我们注意到/proc/interrupts中,出现了一些奇怪的配置,说明已经被优化了:


在fedora 18发行版,使用了3.8.5-201.fc18内核,我们发现了更优化的一个默认配置,每个网卡都相同:


这些表格显示配置cpu/中断亲和性,而cpu/队列的亲和性不是必需的。因为cpu/队列亲和性(RPS和XPS)的sysfs文件显示它们的默认值为0,并且,通过观察网络负载下的cpu工作情况,可以发现已经处于平衡状态,这说明在默认的cpu/队列亲和性与上述的cpu/中断亲和性相似或者相同。


https://greenhost.nl/2013/04/10/multi-queue-network-interfaces-with-smp-on-linux/

0

微信扫一扫

第七城市微信公众平台