公共雲巨頭微軟公司如何爭奪HPC霸主地位

但是，微軟公司非常渴望在Azure公共雲平台上建立高性能計算(HPC)業務，從而讓用戶在外觀上和感覺上都像在自己的數據中心中部署的集群一樣，從而消除體驗差異。

微軟公司日前在丹佛舉行的SC19超級計算機會議上宣布，Azure新實例將在技術預覽版中發布，它實際上是微軟公司正在選定地區部署的100節點集群中的一個節點(目前還不清楚是哪一個節點)。這個名為NDv2的高性能計算(HPC)實例顯然同樣適用於運行機器學習訓練工作負載以及GPU加速工作負載。NDv2實例是基於一個HGX的Tesla V100 GPU加速器捆綁在一起共享數據，通過NVLink(可以把它想象成Nvidia的DGX-2係統中一半的GPU複合體，其中抽出了NVSwitch，並在這些GPU之間直接引導NVLink，這樣它們就可以尋址彼此的32GB HBM2內存)。這個GPU計算組件連接到主機CPU係統，該主機CPU係統基於一對20個“Skylake” Xeon SP-6168 Platinum核心處理器，該處理器運行在2.7 GHz頻率上，並安裝在微軟公司自己開發的“Project Olympus”係統中。服務器節點具有672 GB的內存，這表明某個地方有一個虛擬機管理程序會消耗一些內存資源。估計可能是96GB，並且這個超級計算機在其24個內存插槽中裝有64GB的內存條。

每個NDv2節點都有一個100Gb/秒的ConnectX-5網絡接口卡，可以和100 Gb/秒的EDR InfiniBand互連，這顯然是從Mellanox科技公司那裏獲得的技術，Nvidia公司正在收購該公司。多年來，以太網已切換到微軟公司的Azure公共雲中。目前尚不清楚微軟公司正在使用哪種拓撲來相互鏈接NDv2實例，但是猜測它是高性能計算(HPC)和人工智能工作負載中通常使用的FatTree拓撲，而不是超大規模廠商和雲計算供應商通常使用的拓撲。Nvidia公司副總裁兼加速計算總經理Ian Buck表示，NDv2中的機器將以8台服務器為一個單元的形式出售，總共有64個GPU，這意味著隨著用戶擴展他們的NDv2集群，他們正在購買一棵FatTree的相鄰分支。知道這一點，人們可能會認為NDv2的高端Pod是96個節點，帶有768個GPU，但是被告知實際上是100個節點，總共有800個GPU。

這些係統顯然是在運行某些Linux變體的情況下設置的(CentOS或Ubuntu Server是默認版本，但Red Hat Enterprise Linux和SUSE Linux Enterprise Server也是一個很好的選項)，並且可以通過以下方式獲得完整的Nvidia軟件堆棧：Nvidia NGC雲或Azure市場。微軟公司表示已經安裝了Mellanox OFED網絡驅動程序(就像有任何其他選擇一樣)，並且支持所有MPI類型和版本。顯然，某處有一個虛擬機管理程序，大概是Hyper-V，微軟公司用來構建Azure雲。Hyper-V運行時，沒有任何性能下降的跡象。

微軟公司目前還沒有正式公布其定價，但有消息表明，每個NDv2實例的定價將為26.44美元。但是需要了解所有的GPU性能和內存帶寬帶來的負擔。而且，即使客戶沒有充分利用InfiniBand網絡的成本，也必須為此支付費用。

如果沒有任何數據存儲服務，用戶將一個96節點的集群運行三年將會花費6,675萬美元，並且這個超級計算機將具有5.76 petaflops的總峰值雙精度性能。DGX-1V具有8個Tesla V100和兩個Xeon處理器，大致類似於微軟公司為NDv2實例組裝的節點，當前價格為119,000美元(低於兩年前發布時的169,000美元)。因此，其中96台服務器將花費1140萬美元，其中包括大量的本地閃存和4倍的網絡帶寬。這些費用並沒有包括電源、冷卻、房地產、係統管理或InfiniBand的交換機和布線成本，但是如果用戶將其向後計算並在四年內攤銷，則僅硬件就具有相同的5.76 petaflops的性能，並且可以計算出DGX-1節點的費用為每小時4.53美元，用戶自行承擔構建一個96節點集群的成本，並了解如何比較它們的負擔。或者，相當於ODM和OEM服務器的成本，甚至比Nvidia公司的價格還要低。微軟公司為其公共雲上的高性能計算(HPC)設置了上限。

這裏要考慮的另一件事是利用率。為了進行論證，假設一個內部DGX-1集群每小時僅需花費10美元，僅用於計算和聯網，而無需來自Pure Storage或DataDirect Networks的本地閃存存儲陣列，也無需使用Excelero、Vast Data或Lightbits自產實驗室軟件定義的存儲。如果企業擁有自己的混合CPU-GPU集群，並且隻在50%的時間內使用它，那麼實際上每小時要支付20美元才能擁有該集群。因此，雲計算與內部部署之間的差距很快就消除了。但是，用戶也可以使用ODM或OEM服務器來降低成本，例如浪潮、Supermicro、戴爾、HPE公司的服務器，而價格卻要比Nvidia公司要低得多，大概減少40%的成本。這樣可以降低一些總成本，但可能不會達到用戶的期望。如果提高利用率，那麼每小時的本地成本也會下降。這裏要了解的是，利用率是決定因素，而利用率模式可能會驅動用戶選擇在內部部署和雲平台部署多少容量。

或者隻需管理所有這些，然後將其全部移至雲中就可以。一些高性能計算(HPC)和人工智能從業者會這樣做，因為他們不會大規模運作。

除了NDv2實例之外，微軟公司還將預覽其基於64核“Rome”Epyc 7742處理器的HBv2虛擬機，其中60個核心處理器用在Hyper-V虛擬機管理程序之上。基礎節點有兩個這樣的處理器，核心處理器的運行頻率為2.25 GHz，最高可提升至3.4 GHz。微軟公司表示，兩路HBv2節點可以雙精度提供4teraflops的總峰值浮點性能，此外，它已經建立的網絡可以使用MPI跨越8萬個核心處理器，Azure區域內峰值容量的5.36 petaflops。順便說一下，這些節點使用Mellanox的200Gb/秒的HDR InfiniBand互連，這是在公共雲上首次使用HDR InfiniBand。HBv2實例具有480GB的可供應用程序使用的內存，並在兩個插槽之間提供350GB/秒的內存帶寬。每小時收費3.96美元。按照微軟公司在HBv2實例上為其HDR網絡提供的全部MPI可擴展性限製(可能是672個節點)，每小時僅需花費2,661美元，即可使用按需實例租用5.36 petaflops雲。其預留實例尚不可用，這將顯著降低價格。

微軟公司希望在Azure公共雲上擁有數據啟示的四個主要功能，就像英特爾公司想要擁有一樣，而AMD公司正在通過合作夥伴關係和自己的芯片(CPU、GPU、FPGA和NNP)來實現這一目標。為此，微軟公司正在預覽其NDv3實例，該實例將具有與一對具有768 GB內存和8個Skylake Xeon SP-8168 Platinum處理器的基本Olympus服務器節點。每個Graphcore加速器都有一對IPU芯片，並提供1,216個IPU芯片，7,296個線程和300MB的內存以及驚人的45TB/秒的內存帶寬。Graphcore處理器上的16個IPU核心庫組通過專有的IPU-Exchange交換機連接，其總帶寬為8TB/ 秒，並且在NDv3實例中，使用專有的IPU鏈接將多達8個Graphcore芯片粘合在一起互連(這大致類似於帶有GPU的NVLink)。Graphcore芯片通過PCI-Express 4.0×16插槽連接到CPU結構中。這些實例配備了Graphcore的Poplar軟件開發套件。

此外，微軟公司承諾將在Azure上提供NP係列實例，該實例將公開Xilinx的一到四個Alveo U250 FPGA加速器。該服務器將由與上述其他實例相同的基本服務器實例托管，並將預裝Xilinx的SDAccel 2019.1運行時環境。

微軟公司尚未發布Graphcore NDv3係列和Xilinx U250 NP係列實例的價格。

在已經出售其F1 FPGA實例並且尚未透露任何NNP實例計劃的AWS公共雲上，SC19的目的是談論其新的C5a和C5ad實例，它們將以裸機形式與192個虛擬實例一起提供。虛擬CPU(vCPU是跨激活內核的線程)和384GB內存。C5a使用網絡存儲，而C5ad具有7.6 TB的本地NVM-Express閃存存儲。對於虛擬化實例，CPU計算的比例將分成8個不同大小的實例，並且Nitro SmartNIC將處理絕大多數KVM虛擬機管理程序功能以及網絡、存儲和加速器虛擬化，從而釋放那些Skylake核心開展真正的主機工作。在裸機模式下，C5a和C5ad Rome Epyc實例將有一個100Gb/秒的以太網接口連接到網絡，並且Elastic Fabric Adapter會根據CPU計算來擴大或縮小規模。