|
1 什么是RDMA
1.1 傳統意義上的DMA
 ---直接內存訪問（DMA）方式,是一種完全由硬件執行I/O交換的工作方式。在這種方式中,DMA控制器從CPU完全接管對總線的控制,數據交換不經過CPU,而直接在內存和I/O設備之間進行。DMA工作時,由DMA控制器向內存發出地址和控制信號;進行地址修改;對傳送字的個數計數;并且以中斷方式向CPU報告傳送操作的結束。DMA方式一般用于高速傳送成組的數據。
---使用DMA方式目的： 減少大批量數據傳輸時CPU的開銷;方法：采用專用DMA控制器（DMAC）生成訪存地址并控制訪存過程;優點：操作均由硬件電路實現,傳輸速度快;CPU基本不干預,僅在初始化和結束時參與,CPU與外設并行工作,效率高。
---DMA的數據塊傳送過程可分為三個階段：傳送前預處理;正式傳送;傳送后處理。 DMA控制流程：1. 預處理：由CPU執行I/O指令對DMAC進行初始化與啟動。2. 數據傳送：由DMAC控制總線進行數傳。3. 后處理：傳送結束,DMAC向CPU發中斷請求,報告DMA操作的結束。CPU響應,轉入中斷服務程序,完成DMA結束處理工作。
1.2 RDMA
 ---RDMA（Remote Direct Memory Access）是通過網絡把資料直接傳入某臺計算機的一塊存儲區域,不需用到多少計算機的處理功能。普通網卡集成了支持硬件校驗和的功能,并對軟件進行了改進,從而減少了發送數據的拷貝量,但無法減少接收數據的拷貝量,而這部分拷貝量要占用處理器的大量計算周期。普通網卡的工作過程如下：先把收到的數據包緩存到系統上,數據包經過處理后,相應數據被分配到一個TCP連接。下一步,接收系統再把主動提供的TCP數據同相應的應用程序聯系起來,并將數據從系統緩沖區拷貝到目標存儲地址。以太網已能滿足高性能應用對網絡吞吐率的要求,具備高吞吐率和成本優勢,以太網技術要跟高性能網絡應用掛鉤,主要解決的問題是應用吞吐率。通常情況下,系統持續在主機CPU中處理以太網通信需要占用CPU資源。CPU速率會制約網絡數據率;持續處理這類通信會導致CPU性能降級;對多端口千兆位或單端口10千兆位以太網,這類問題會變得更為嚴重。
---制約網絡速率的因素主要在兩方面：應用通信強度和主機CPU在內核與應用存儲器間處理數據的效率。要達到特定的性能級別,需要追加主機CPU資源,配置高效的軟件并增強系統負荷管理。傳統的TCP/IP技術在處理數據傳輸的過程中需要占用大量的服務器資源。這樣以太網的低投入、低運營成本優勢就難以體現。為充分發揮萬兆位以太網的性能優勢,必須解決應用性能問題。系統不能以軟件方式持續處理以太網通信;主機CPU資源必須釋放專注于應用處理。解決這類問題的關鍵,是要消除主機CPU中不必要的頻繁數據傳輸,減少系統間的信息延遲�？偟膩碚f,需要從協議、軟件和硬件三方面入手。
---RDMA全名是“遠程直接數據存取”,如圖 2 所示,RDMA是通過網絡把資料直接傳入計算機的存儲區,將數據從一個系統快速移動到遠程系統存儲器中,而不對操作系統造成任何影響,這樣就不需要用到多少計算機的處理功能。它消除了外部存儲器復制和文本交換操作,因而能騰出總線空間和CPU周期用于改進應用系統性能。目前通用的做法需由系統先對傳入的信息進行分析,然后再存儲到正確的區域。
 ---當一個應用執行RDMA讀或寫請求時,不執行任何數據復制。在不需要任何內核內存參與的條件下,RDMA請求從運行在用戶空間中的應用中發送到本地NIC（網卡）,然后經過網絡傳送到遠程NIC。請求完成既可以完全在用戶空間中處理(通過輪詢用戶級完成排列),或者在應用一直睡眠到請求完成時的情況下通過內核內存處理。RDMA操作使應用可以從一個遠程應用的內存中讀數據或向這個內存寫數據。用于操作的遠程虛擬內存地址包含在RDMA信息中。遠程應用除了為其本地NIC注冊相關內存緩沖區外,不需要做其他任何事情。遠程節點中的CPU完全不參與輸入的RDMA操作,這些對CPU沒有任何負擔。
---RDMA讓計算機可以直接存取其它計算機的內存,而不需要經過處理器耗時的傳輸,因為通常這樣的數據要求還要經過操作系統及其他軟件層。內存瓶頸隨著連接速度超過服務器的處理能力和內存帶寬而變得更加嚴重。 遠程直接內存存取(RDMA)使一臺計算機可以直接將信息傳送到另一臺計算機內存中。這項技術通過減少對帶寬和處理器開銷的需要降低了時延。這種效果是通過在NIC的硬件中部署一項可靠的傳輸協議以及支持零復制網絡技術和內核內存旁路實現的。零復制網絡技術使NIC可以直接與應用內存相互傳輸數據,從而消除了在應用內存與內核內存之間復制數據的需要。內核內存旁路使應用無需執行內核內存調用就可向NIC發送命令。在不需要任何內核內存參與的條件下,RDMA請求從用戶空間發送到本地NIC并通過網絡發送給遠程NIC,這就減少了在處理網絡傳輸流時內核內存空間與用戶空間之間環境切換的次數。RDMA比現行的方法快速。使用目前普遍使用的網絡通過來RDMA連結計算機與存儲系統,硬件連接速度加快會把眾多低價位的服務器集結成效能更強大的數據庫,而不必購置昂貴的機器。對很注重占地空間和功耗的系統而言,就千兆位以太網滿載傳輸這一任務而言,RNIC所需功耗僅為相應網卡和微處理器的一小部分。
2 RDMA的工作原理規范 |
66821730(技術支持)
