网络数据包收发流程(3)：E1000网卡和DMA

迈不过友情╰ 2022-01-11 23:19 200阅读 0赞

原文出处：[http://blog.chinaunix.net/uid-24148050-id-1667017.html][http_blog.chinaunix.net_uid-24148050-id-1667017.html]

**一、硬件布局**  
[**![24148050\_1310535578vivL.jpg][24148050_1310535578vivL.jpg]**][24148050_1310535578vivL.jpg]  
每个网卡（MAC）都有自己的专用DMA Engine，如上图的 TSEC 和 e1000 网卡intel82546。  
上图中的红色线就是以太网数据流，DMA与DDR打交道需要其他模块的协助，如TSEC，PCI controller  
以太网数据在 **TSEC<-->DDR PCI\_Controller<-->DDR** 之间的流动，CPU的core是不需要介入的  
只有在数据流动结束时（接收完、发送完），DMA Engine才会以外部中断的方式告诉CPU的core  
  
**二、DMA Engine**  
[![24148050\_1310536318Pti0.jpeg][24148050_1310536318Pti0.jpeg]][24148050_1310536318Pti0.jpeg]  
上面是DMA Engine的框图，以接收为例：  
**1.**在System memory中为DMA开辟一端连续空间，用来BD数组 （一致性dma内存）  
BD是给DMA Engine使用的，所以不同的设备，BD结构不同，但是大致都有状态、长度、指针3个成员。  
  
**2.**初始化BD数组，status为E，length为0  
在System memory中再开辟一块一块的内存，可以不连续,用来存放以太网包  
将这些内存块的总线地址赋给buf（dma映射）  
  
**3.**当MAC接收以太网数据流，放在了Rx FIFO中  
  
**4.**当一个以太网包接收完全后，DMA engine依次做以下事情  
fetch bd：开始一个个的遍历BD数组，直到当前BD状态为Empty为止  
update bd：更新BD状态为Ready  
move data：把数据从Rx FIFO中搬移到System Memory中dma映射的部分  
generate interrupt：数据搬移完了，产生外部中断给cpu core  
  
**5.**cpu core处理外部中断，此时以太网数据已经在System memory中dma映射的部分了  
解除dma映射，更新bd状态为Empty  
再开辟一端内存，将这块内存的总线地址赋给bd的指针字段  
  
**三、内核中DMA相关API**  
  
void \*dma\_alloc\_cohrent(struct device \*dev, size\_t size, dma\_addr\_t \*dma\_handle, int flag);  
功能：分配一致性dma内存，返回这块内存的虚拟地址EA， 这块内存的物理地址保存在 dma\_handle  
dev: NULL也行  
size: 分配空间的大小  
dma\_handle: 用来保存内存的总线地址（物理地址）  
注意：**一致性DMA映射，**BD所占内存就是靠dma\_alloc\_cohrent来分配的。  
  
dma\_addr\_t \*dma\_map\_single(struct device \*dev, void \*buffer, size\_t size, enum dma\_data\_direction);  
功能：将一块连续的内存 buffer 映射为DMA内存来使用。映射后，CPU不能再操作这块 buffer  
返回：这块buffer的总线地址（物理地址）  
dev: NULL也行  
buffer: 一块连续内存的虚拟地址EA  
size: 连续内存的大小  
dma\_data\_direction: dma数据流的方向  
注意：**流式DMA映射，**以太网包所占内存先通过kmalloc来分配，然后通过dma\_map\_single来映射给bd的  
  
**四、e1000驱动中的DMA**  
  
网卡驱动中使用DMA的套路差不多都一样，以e1000驱动为例讲一下（[TSEC驱动的dma见这里][TSEC_dma]）  
  
**4.1 加载e1000网卡驱动**  
  
e1000\_probe()\{ //主要是初始化钩子函数  
netdev = alloc\_etherdev(sizeof(struct e1000\_adapter));  
netdev->open = &e1000\_open; //重要  
netdev->stop = &e1000\_close;  
netdev->hard\_start\_xmit = &e1000\_xmit\_frame;  
netdev->get\_stats = &e1000\_get\_stats;  
netdev->set\_multicast\_list = &e1000\_set\_multi;  
netdev->set\_mac\_address = &e1000\_set\_mac;  
netdev->change\_mtu = &e1000\_change\_mtu;  
netdev->do\_ioctl = &e1000\_ioctl;  
e1000\_set\_ethtool\_ops(netdev);  
netdev->tx\_timeout = &e1000\_tx\_timeout;  
netdev->watchdog\_timeo = 5 \* HZ;  
\#ifdef CONFIG\_E1000\_NAPI  
netif\_napi\_add(netdev, &adapter->napi, e1000\_clean, 64); //重要  
\#endif  
\}  
  
**4.1 启动e1000网卡**  
  
e1000\_open() //当用户敲ifconfig up命令时，最终调用网卡驱动的open函数  
\-->e1000\_setup\_all\_rx\_resources(adapter)  
\-->e1000\_setup\_rx\_resources(adapter, &adapter->rx\_ring\[i\])  
//给rx bd分配一致性dma内存  
rxdr->desc = pci\_alloc\_consistent(pdev, rxdr->size, &rxdr->dma);  
\-->e1000\_configure(adapter)  
\-->e1000\_configure\_rx(adapter)  
adapter->clean\_rx = e1000\_clean\_rx\_irq;  
adapter->alloc\_rx\_buf = e1000\_alloc\_rx\_buffers;  
\-->调用 adapter->alloc\_rx\_buf钩子函数，即 e1000\_alloc\_rx\_buffers  
\--> skb = netdev\_alloc\_skb(netdev, bufsz); //调用kmalloc新建一个skb  
buffer\_info->dma = pci\_map\_single(pdev,  
skb->data,  
adapter->rx\_buffer\_len,  
PCI\_DMA\_FROMDEVICE); //给skb->data建立DMA映射  
rx\_desc->buffer\_addr = cpu\_to\_le64(buffer\_info->dma);//初始化bd的buf指针  
\-->e1000\_request\_irq(adapter);  
//挂rx 中断ISR函数为 e1000\_intr()  
  
最终bd数据结构应该是下面这个样子  
[![24148050\_1310546215QD39.jpg][24148050_1310546215QD39.jpg]][24148050_1310546215QD39.jpg]  
**4.2 e1000的中断**  
  
注意：e1000产生rx中断时，以太网数据包已经在系统内存中，即在skb->data里面  
下面的中断处理过程就简略了，[详细的看这里][TSEC_dma]  
do\_IRQ()  
\{  
中断上半部  
调用e1000网卡的rx中断函数 e1000\_intr()  
触发软中断 (使用NAPI的话)  
中断下半部  
依次调用软中断的所有handler  
在net\_rx\_action中最终调用e1000的napi\_struct.poll()钩子函数，即e1000\_clean  
e1000\_clean()最终调用 e1000\_clean\_rx\_irq()  
\}  
  
e1000\_clean\_rx\_irq()  
\{  
rx\_desc = E1000\_RX\_DESC(\*rx\_ring, i); //获取rx bd  
status = rx\_desc->status;  
skb = buffer\_info->skb;  
buffer\_info->skb = NULL;  
  
pci\_unmap\_single(pdev, //解除skb->data的DMA映射  
buffer\_info->dma,  
buffer\_info->length,  
PCI\_DMA\_FROMDEVICE);  
length = le16\_to\_cpu(rx\_desc->length);  
length -= 4; //以太网包的FCS校验就不要了  
skb\_put(skb, length);  
skb->protocol = eth\_type\_trans(skb, netdev);  
netif\_receive\_skb(skb); //skb进入协议栈  
\}

转载于:https://blog.51cto.com/lvzg2005/1229925

[http_blog.chinaunix.net_uid-24148050-id-1667017.html]: http://blog.chinaunix.net/uid-24148050-id-1667017.html
[24148050_1310535578vivL.jpg]: http://blog.chinaunix.net/p_w_upload/201107/13/24148050_1310535578vivL.jpg
[24148050_1310536318Pti0.jpeg]: http://blog.chinaunix.net/p_w_upload/201107/13/24148050_1310536318Pti0.jpeg
[TSEC_dma]: http://blog.chinaunix.net/space.php?uid=24148050&do=blog&id=464587
[24148050_1310546215QD39.jpg]: http://blog.chinaunix.net/p_w_upload/201107/13/24148050_1310546215QD39.jpg