數據中心建設方案（二）

　　根據以上新一代數據中心網絡的技術要求，必須對傳統數據中心所使用的常規以太網技術進行革新，數據中心級以太網(Data Center Ethernet，簡稱DCE)技術由此誕生。

　　DCE之前也被一些廠商稱為匯聚型增強以太網技術(Converged Enhanced Ethernet，簡稱CEE)，是兼容傳統以太網協議并按新一代數據中心的傳輸要求，對其進行全面革新的一系列標準和技術的總稱。因此，為達到的新一代數據中心的建設目標，必須摒棄傳統以太網技術，而采用新一代的DCE(CEE)技術進行組網。

　　具體而言，本次數據中心所采用的DCE技術，可以達到以下的技術目標。

　　1.1 整合能力

　　1.1.1 一體化交換技術

　　DCE技術的重要目標是實現傳統數據中心最大程度的資源整合，從而實現面向服務的數據中心SODC的最終目標。在傳統數據中心中存在三種網絡：使用光纖存儲交換機的存儲交換網絡(Fiber Channel SAN)，便于實現CPU、內存資源并行化處理的高性能計算網絡(多采用高帶寬低延遲的InfiniBand技術)，以及傳統的數據局域網。DCE技術將這三種網絡實現在統一的傳輸平臺上，即DCE將使用一種交換技術同時實現遠程存儲、遠程并行計算處理和傳統數據網絡功能。這樣才能最大化的實現三種資源的整合，從而便于實現跨平臺的資源調度和虛擬化服務，提高投資的有效性，同時還降低了管理成本。

　　業務的特點不需要超級計算功能，因此本次項目要實現存儲網絡和傳統數據網絡的雙網合一，使用DCE技術實現二者的一體化交換。當前在以太網上融合傳統局域網和存儲網絡唯一成熟技術標準是Fiber Channel Over Ethernet技術(FCoE)，它已在標準上給出了如何把存儲網(SAN)的數據幀封裝在以太網幀內進行轉發的相關技術協議。由于該項技術的簡單性、高效率、經濟性，目前已經形成相對成熟的包括存儲廠商、網絡設備廠商、主機廠商、網卡廠商的生態鏈。具體的協議發布可參見 FCoE 的相關Web Sites。 (http://www.fcoe.com http://www.t11.org/fcoe )

　　本次數據中心建設將做好FCoE的基礎設施準備，并將在下一階段完成基于FCoE技術的雙網融合。

　　1.1.2 無丟棄以太網技術

　　為保證一體化交換的實現，DCE改變了傳統以太網無連接、無保障的Best Effort傳輸行為，即保證主機在通過以太網進行磁盤讀寫等操作、高性能計算所要求的遠程內存訪問、并行處理等操作，不會發生任何不可預料的傳輸失敗，達到真正的“無丟包”以太網目標。DCE在網絡中以硬件及軟件的形式實現了以下技術：

 

基于優先級類別的流控(Priority Flow Control)	通過基于IEEE 802.1p類別通道的PAUSE功能來提供基于數據流類別的流量控制
帶寬管理	IEEE 802.1Qaz 標準定義基于IEEE 802.1p 流量類別的帶寬管理以及這些流量的優先級別定義
擁塞管理	IEEE 802.1Qau 標準定義如何管理網絡中的擁塞(BCN/QCN)

　　l 基于優先級類別的流控在DCE 的理念中是非常重要的一環，通過它和擁塞管理的相互合作，我們可以構造出“不丟包的以太網”架構;這對今天的我們來說，它的誘惑無疑是不可阻擋的。不丟包的以太網絡提供一個安全的平臺，它讓我們把一些以前無法安心放置到數據網絡上的重要應用能安心的應用到這個DCE的數據平臺。

　　l 帶寬管理在以太網絡中提供類似于類似幀中繼(Frame Relay)的帶寬控制能力，它可以確保一些重要的業務應用能獲得必須的網絡帶寬;同時保證網絡鏈路帶寬利用的最大化。

　　l 擁塞管理可以提供在以太網絡中的各種擁塞發現和定位能力，這在非連接的網絡中無疑是一個巨大的挑戰;可以說在目前的所有非連接的網絡中，這是一個嶄新的應用;目前的研究方向主要集中在后向擁塞管理(BCN)和量化擁塞管理(QCN)這兩個方面。

　　1.1.3 性能支撐能力

　　為保證實現一體化交換和資源整合，DCE還必須對傳統以太網的性能和可擴展性的進行革新。

　　首先為保證三網合一后的帶寬資源，萬兆以太網技術只是DCE核心層帶寬的起點。而正在發展中的40G/100G以太網才是DCE技術將來的主流帶寬。因此，要保證我們今天采購的設備能有5年以上的生命周期，就必須考慮硬件的可擴展能力。這也就是說從投資保護和工程維護的角度出發，我們需要一個100G平臺的硬體設備，即每個設備的槽位至少要支持100G的流量(全雙工每槽位200Gbps)，只有這樣才能維持該設備5年的生命周期。同時從經濟性的角度來考慮，如果能達到400G的平臺是最理想的。

　　另外存儲網絡和高性能計算所要求的通過網絡實現的遠程磁盤讀寫、內存同步的性能需求，DCE設備必須提供比傳統以太網設備低幾個數量級的端口間轉發延遲。DCE要求的核心層的三層轉發延遲應可達到30us以下，接入層的二層轉發延遲應可在3～4us以下。這都是傳統以太網技術無法實現的性能指標要求。

　　1.1.4 智能服務的整合能力

　　眾所周知，應用的復雜度是在不斷的提升，同時伴隨著網絡的融合，應用對網絡的交互…可以預見的是網絡的復雜度也將不斷的提升。這也印證我們的判斷：應用對網絡的控制將逐步增強，網絡同時也在為應用而優化。

　　因此構建一個單業務的簡單L2轉發網絡并不是網絡設備的設計方向;全業務的設備和多業務融合的網絡才是我們所需要的環境。

　　那么我們需要什么樣的全業務呢，很明顯Data Center Ethernet 是一個必備的項目，同時我們至少還需要其它的基本業務屬性來保障一個多業務網絡的運行，如：

　　l 服務質量保證 QoS

　　l 訪問列表控制 ACL

　　l 虛擬交換機的實現 Virtual Switch

　　l 網絡流量分析 Netflow

　　l CPU抗攻擊保護 CoPP

　　l 遠程無人值守管理 CMP

　　l 嵌入式事件管理 EEM

　　當然，所有這些業務的實現都是在不影響轉發性能的前提條件下的。失去這個大前提，多業務的實現就變得毫無意義。

　　所以設計一個好的產品就必須顧全多業務、融合網絡這個大前提。如何使這些復雜的業務處理能夠在高達100G甚至是400G的線路卡上獲得線速處理的性能是考驗一個硬件平臺的重要技術指標。

　　最終的勝出者無疑就是能夠用最小的代價來換取最大業務實現和性能的設備平臺。

　　1.2 虛擬化能力

　　DCE對網絡虛擬化不僅僅是傳統意義上的VLAN和VPN，為實現SODC的交互服務層資源調度方式，DCE還能夠做到以下的虛擬化能力。

　　1.2.1 虛擬交換技術

　　虛擬交換技術可以實現當我們使用交換機資源時，我們可以不用關心交換服務的物理存在方式，它可能是由一臺交換機提供，也可能是兩臺交換機設備，甚至可以是一個交換機中的幾個虛擬交換機之一。思科的DCE技術就提供了將兩個物理交換機虛擬為一臺交換機的虛擬交換系統(VSS)技術，以及將一個交換機虛擬化為多個交換機的虛擬設備(VDC)技術。

　　(一)虛擬交換系統(VSS)

　　VSS技術可將網絡的雙核心虛擬化為單臺設備，比如使用的Cisco 6509的9插槽設備將完全被虛擬化成為單臺18槽機箱的虛擬交換機。虛擬交換機性能倍增、管理復雜度反而減半。具體有如下優勢：

　　l 單一管理界面：管理界面完全為單臺設備管理方式，管理和維護工作量減輕一半;

　　l 性能翻倍：虛擬交換系統具備兩臺疊加的性能，與其它交換機通過跨物理機箱的雙千兆以太網或雙萬兆以太網捆綁技術，遠比依靠路由或生成樹的負載均衡更均勻，帶寬和核心吞吐量均做到真正的翻倍。

　　l 協議簡單：虛擬交換系統與其它設備間的動態路由協議完全是單臺設備與其它設備的協議關系，需維護的路由鄰居關系數以二次方根下降，在本系統中可達4～5倍下降，工作量和部署難度大大降低;虛擬交換系統同時作為單臺設備參與生成樹計算關系，生成樹計算和維護量以二次方根下降，在本系統中可達4～5倍下降，工作量和部署難度大大降低。

　　l 冗余可靠：虛擬交換系統形成虛擬單機箱、物理雙引擎的跨機箱冗余引擎系統，下連接入交換機原來需要用動態路由或生成樹實現冗余切換的，在VSS下全都可以用簡單的鏈路捆綁實現負載均衡和冗余，無論是鏈路還是引擎，冗余切換比傳統方式更加迅捷平滑，保持上層業務穩定運行。以前兩個單引擎機箱的其中一臺更換引擎，一定會導致數據的丟失，而虛擬交換系統里任意一臺更換引擎，數據可以保證0丟失。

　　(二)虛擬設備系統(VDC)

　　VDC技術則可以實現將一臺交換機劃分為多個虛擬的子交換機，每個交換機擁有獨立的配置界面，獨立的生成樹、路由、SNMP、VRRP等協議進程，甚至獨立的資源分配(內存、TCAM、轉發表等等)。它與VSS配合，將在實現更加靈活的、與物理設備無關的跨平臺資源分配能力，為數據中心這種底層設施資源消耗型網絡提供更經濟高效的組網方式，也為管理和運營智能化自動化創造條件。

　　物理設備虛擬成若干個邏輯上的獨立設備的圖示：

　　1.2.2 網絡服務虛擬化

　　在服務資源整合以及設備虛擬化的基礎之上，DCE要求每個虛擬化的網絡應用區都有自己的業務服務設施，比如自己的防火墻、IDS、負載均衡器、SSL加速、……網絡服務，這些如果都是物理上獨占式分配的，將是高成本、低效率且難于維護管理的。DCE網絡在提供這些網絡智能服務時都可以以虛擬化的方式實現各類服務的資源調用，思科的DCE網絡中就可以實現虛擬防火墻、虛擬IDS、虛擬負載均衡器、虛擬SSL VPN網絡……等等，從而實現網絡智能服務的虛擬化。

　　1.2.3 服務器虛擬化

　　服務器虛擬化可以使上層業務應用僅僅根據自己所需的計算資源占用要求來對CPU、內存、I/O和應用資源等實現自由調度，而無須考慮該應用所在的物理關聯和位置。當前商用化最為成功的服務器虛擬化解決方案是VMWare的VMotion系列，微軟的Virtual Server和許多其它第三方廠商(如Intel、AMD等)也正在加入，使得服務器虛擬化的解決方案將越來越完善和普及。

　　然而人們越來越意識到服務器虛擬化的系統解決方案中除了應用、主機、操作系統的角色外，網絡將是一個更為至關重要的角色。網絡將把各個自由聯系成為一個整體，網絡將是實現自由虛擬化的橋梁。服務器虛擬化需要DCE能夠提供以下能力：

　　l 資源的整合：業務應用運行所依賴的物理計算環境都需要網絡實現連接，然而在傳統網絡中，傳輸數據的數據網、互連CPU和內存的計算網、互連存儲的存儲網都是孤立的，這就無法真正實現與物理無關的服務器資源調度，因此實現真正意義上徹底的服務器虛擬化，前面提到的DCE三網一體化交換架構是必須的條件。

　　l 網絡的虛擬機意識：傳統網絡是不具備虛擬機意識的，即在網絡上傳遞的信息是無法區別它是來自于哪個虛擬機，也無法在網絡上根據虛擬機來提供相應的網絡服務，當虛擬機遷移，也沒有相應的網絡跟蹤手段保證服務的全局一致性。不過這些都是DCE正在解決的問題，一些DCE的領導廠商，比如思科，已經在推出的商用化DCE產品中提供了相應的虛擬機標識機制，并且思科已經聯合VMware等廠商將這些協議提交IEEE實現標準化。

　　l 虛擬機遷移的網絡環境：服務器虛擬化是依靠虛擬機的遷移技術實現與物理資源無關的資源共享和復用的。虛擬機遷移需要一個二層環境，這導致遷移范圍被局限在傳統的VLAN內。我們知道Web2.0、云計算等概念都需要無處不在的數據中心，那么如何實現二層網絡的跨地域延展呢?傳統的L2 MPLS技術太復雜，于是IEEE和IETF正在制定二層多路徑(即二層延展)的新標準，DCE的領導廠商思科公司也提出了一種新的協議標準Cisco Over the Top Virtualization(OTV)來解決跨城域或廣域網的二層延展性問題，從而為服務器虛擬化提供可擴展的網絡支撐。

　　1.3 自動化

　　自動化是SODC架構中上層自動優化的實現服務調用必須條件。在高度整合化和虛擬化的基礎上，服務的部署完全不需要物理上的動作，資源在虛擬化平臺上可以與物理設施無關的進行分配和整合，這樣我們只需要將一定的業務策略輸入給智能網絡的策略服務器，一切的工作都可以按系統自身最優化的方式進行計算、評估、決策和調配實現?，F在商用的DCE自動化解決方案包括管理自動化和業務部署自動化。

　　數據中心將在后續的建設中逐步完善自動化管理和自動化業務部署，但需要在本期通過DCE技術的實施打下未來自動化部署的堅實基礎。

　　1.4 綠色數據中心

　　DCE技術的整合化、虛擬化和自動化本身就是在達到同樣業務能力的要求下實現高效率利用硬件資源、減少總硬件投入、節約維護管理成本等方面的最佳途徑，這本身也是綠色數據中心的必要條件。

　　另外DCE產品必須在硬件實現上實現低功耗、高效率，包括

　　l 利用最新半導體工藝 (越小納米的芯片要比大納米的芯片省電)

　　l 降低邏輯電路的復雜度 (在接入層使用二層設備往往要比三層設備省電)

　　l 減少通用集成電路的空轉 (使用定制化的專業設計的芯片往往比通用芯片省電)

　　l 等等……

　　由此可見，對于一臺網絡設備，在業務能力相當的前提條件下，越小的功耗就代表越先進的技術。在DCE設備一般可以做到維持三層的全業務萬兆吞吐功耗小于25W、二層的萬兆吞吐功耗小于13W。

　　綜上所述，在本次新一代數據中心網絡的建設中，將采用不同于傳統以太網技術的DCE以太網技術，構建面向服務的高效能數據中心網絡平臺。