人工智能技術(shù)的蓬勃發(fā)展正在深刻改變?cè)朴?jì)算的面貌，迫使云計(jì)算解決方案在性能、效率和成本效益方面不斷進(jìn)化。面對(duì)日益復(fù)雜的AI應(yīng)用需求，云端工作負(fù)載的客戶正在重新審視其基礎(chǔ)設(shè)施選擇，以匹配現(xiàn)代工作負(fù)載的多元化要求，這包括提升性能、降低成本，以及滿足監(jiān)管合規(guī)性和可持續(xù)發(fā)展目標(biāo)。
在這一背景下，Arm與亞馬遜云科技（AWS）的長(zhǎng)期合作顯得尤為重要，雙方攜手通過(guò)專(zhuān)用芯片和計(jì)算技術(shù)，推動(dòng)云計(jì)算朝著更高性能、更高效和更可持續(xù)的方向發(fā)展。在AWS re:Invent 2024大會(huì)上，AWS展示了AWS Graviton4處理器的顯著進(jìn)步，為開(kāi)發(fā)者和企業(yè)提供了釋放云工作負(fù)載性能潛力的新途徑。
AWS Graviton4處理器基于Arm Neoverse V2平臺(tái)，相較于前代Graviton3，在計(jì)算性能上實(shí)現(xiàn)了30%的提升，核心數(shù)增加了50%，內(nèi)存帶寬提高了75%。這些技術(shù)飛躍使得AWS Graviton處理器在廣泛的生態(tài)系統(tǒng)和客戶中得到了應(yīng)用。Neoverse V2平臺(tái)融入了Armv9架構(gòu)的新特性，包括增強(qiáng)的浮點(diǎn)和向量指令支持，以及SVE/SVE2、Bfloat16和INT8 MatMul等，為AI/機(jī)器學(xué)習(xí)（ML）和高性能計(jì)算（HPC）工作負(fù)載提供了卓越的性能。
今年早些時(shí)候，Arm推出了Arm Kleidi軟件，與主流的AI框架和軟件生態(tài)系統(tǒng)緊密合作，確保Arm平臺(tái)能夠?yàn)檎麄€(gè)ML棧提供開(kāi)箱即用的推理性能優(yōu)化。這意味著開(kāi)發(fā)者無(wú)需具備額外的Arm專(zhuān)業(yè)知識(shí)，就能輕松構(gòu)建工作負(fù)載，從而加速了AI工作負(fù)載的普及。Arm已經(jīng)展示了這些優(yōu)化如何在AWS Graviton4上提升大語(yǔ)言模型（如Llama 3 70B和Llama 3.1 8B）的性能，顯著提高了每秒生成的詞元數(shù)和詞元首次響應(yīng)時(shí)間。
對(duì)于HPC工作負(fù)載，Graviton4相較于Graviton3E實(shí)現(xiàn)了顯著的功能提升。每個(gè)核心的主內(nèi)存帶寬增加了16%，每個(gè)vCPU的L2緩存容量翻倍，這對(duì)于內(nèi)存帶寬受限的HPC應(yīng)用至關(guān)重要。AWS在這些領(lǐng)域已經(jīng)取得了顯著優(yōu)勢(shì)，例如，在EDA工作負(fù)載方面，根據(jù)Arm工程團(tuán)隊(duì)的實(shí)際測(cè)試結(jié)果，Graviton4提供的RTL仿真工作負(fù)載性能比Graviton3高出37%。
隨著越來(lái)越多的云計(jì)算用戶將各種云工作負(fù)載遷移到AWS Graviton處理器上，其軟件生態(tài)系統(tǒng)不斷擴(kuò)展。這不僅為客戶帶來(lái)了成本節(jié)省和性能提升，還有助于優(yōu)化碳足跡和可持續(xù)發(fā)展。例如，基于Arm Neoverse的AWS Graviton3已經(jīng)在多個(gè)領(lǐng)域取得了生態(tài)優(yōu)勢(shì)。
Arm在云計(jì)算的未來(lái)中扮演著關(guān)鍵角色，將繼續(xù)支持AWS Graviton站在技術(shù)創(chuàng)新的前沿。Arm致力于加強(qiáng)軟件生態(tài)系統(tǒng)，使開(kāi)發(fā)者能夠更輕松地在Arm平臺(tái)上構(gòu)建應(yīng)用，并充分利用Arm計(jì)算平臺(tái)所提供的卓越性能和效率。
