在AI技術(shù)日新月異的今天，企業(yè)對于AI推理落地的需求愈發(fā)迫切?；鹕揭鎽{借其AI云原生方案，為企業(yè)提供了一套適配當(dāng)下AI推理需求的IT土壤，助力企業(yè)加速AI技術(shù)的產(chǎn)業(yè)化進(jìn)程。
這套IT土壤被視為目前國內(nèi)最新、最適配AI推理的IT架構(gòu)體系。它包含了大規(guī)模GPU集群的彈性調(diào)度管理、專為AI推理場景設(shè)計(jì)的存儲計(jì)算產(chǎn)品，以及基于AI訓(xùn)練推理需求的網(wǎng)絡(luò)優(yōu)化。這些特性使得企業(yè)能夠以更快、更穩(wěn)、更具性價(jià)比的方式實(shí)現(xiàn)AI落地。
然而，在AI技術(shù)落地的過程中，企業(yè)面臨著諸多挑戰(zhàn)。一位AI企業(yè)負(fù)責(zé)人透露，在具體場景的落地過程中，推理需求規(guī)模幾乎是訓(xùn)練需求的5-10倍。這導(dǎo)致企業(yè)在嘗試AI落地時，常常會遇到推理訓(xùn)練成本高、AI應(yīng)用反應(yīng)速度慢等問題。火山引擎AI云原生方案的出現(xiàn)，正是為了解決這些痛點(diǎn)。
火山引擎云基礎(chǔ)產(chǎn)品負(fù)責(zé)人羅浩表示，在AI大模型時代，業(yè)務(wù)架構(gòu)從以CPU為中心轉(zhuǎn)變?yōu)橐訥PU為中心，整個體系都需要升級。這包括資源層的更高難度調(diào)度模式、對新的資源層和新的數(shù)據(jù)模型的處理方式，以及適配AI模型的一系列計(jì)算、存儲數(shù)據(jù)庫產(chǎn)品、新的編排等中間件，還有新的網(wǎng)絡(luò)穩(wěn)定手段等。
以美圖秀秀為例，作為應(yīng)用市場的骨灰級玩家，美圖在AI時代面臨著轉(zhuǎn)型的壓力?；鹕揭娉蔀榱似涞讓又φ?，通過一系列算力資源、存儲網(wǎng)絡(luò)的加持，幫助美圖構(gòu)建了一個有彈性、成本可控、健康的AI infra架構(gòu)。這不僅使得美圖能夠?qū)崿F(xiàn)在不同場景下GPU卡資源的調(diào)度，更能在流量高峰時迅速擴(kuò)容資源，滿足其大規(guī)模推理場景的落地。
同樣受益于火山引擎AI云原生方案的還有沐瞳科技和深勢科技。沐瞳科技通過火山引擎的Private Link私網(wǎng)訪問調(diào)用豆包大模型API，實(shí)現(xiàn)了推理側(cè)的超低時延、低成本的落地。而深勢科技則在火山引擎的加持下，解決了大量不同格式的數(shù)據(jù)處理問題，實(shí)現(xiàn)了不同訓(xùn)練推理場景的資源匹配，保證了業(yè)務(wù)的高效推進(jìn)。
在火山引擎FORCE原動力大會上，火山引擎正式推出了AI云原生方案，并展示了其在算力、存儲、網(wǎng)絡(luò)層面的亮點(diǎn)。其中，算力層面推出了彈性預(yù)約實(shí)例ESI和搶占式實(shí)例Spot，全面支持CPU和GPU，滿足不同場景客戶的彈性算力需求。存儲層面則發(fā)布了彈性極速緩存EIC，通過GPU Direct和RDMA技術(shù)解決了傳統(tǒng)AI架構(gòu)中核心數(shù)據(jù)流動繞行CPU的問題。網(wǎng)絡(luò)層面則提供了第三代異構(gòu)GPU和NPU實(shí)例，以及第四代CPU實(shí)例，全面支持普惠的vRDMA互聯(lián)能力，顯著提升了訓(xùn)練和推理效率。
火山引擎veStack智算版也升級到了2.0階段，不僅在智算基礎(chǔ)設(shè)施上有了更豐富的支持，還在穩(wěn)定性建設(shè)、運(yùn)維能力、訓(xùn)練框架和模型開發(fā)能力上都有了進(jìn)一步提升。同時，在生態(tài)方面提供了標(biāo)準(zhǔn)化API，針對各行各業(yè)的不同場景都提供了行業(yè)落地能力，幫助客戶更好地應(yīng)對智算時代的各種挑戰(zhàn)。
火山引擎AI云原生方案的推出，不僅解決了企業(yè)在AI落地過程中遇到的痛點(diǎn)，更提供了一個最適宜AI推理表達(dá)的土壤。這個土壤包含了大規(guī)模GPU集群的彈性調(diào)度管理、國內(nèi)最適配AI推理場景的存儲計(jì)算產(chǎn)品，以及基于AI訓(xùn)練推理需求的網(wǎng)絡(luò)優(yōu)化。這些特性使得企業(yè)能夠以更高效、更具性價(jià)比、更實(shí)用、更安全的方式滿足推理需求。
羅浩表示，現(xiàn)在不同的企業(yè)需求都在火山引擎底層AI云原生方案的加持下推進(jìn)。無論是企業(yè)對AI應(yīng)用的初步探索，還是對某些環(huán)節(jié)基于AI的進(jìn)化，抑或是企業(yè)層面的AI升級迭代，火山引擎AI云原生都能提供當(dāng)下最適配AI推理落地的IT土壤。
火山引擎AI云原生方案的成功，不僅得益于其在技術(shù)上的先發(fā)性和長期積累，更得益于其對市場需求的深刻洞察和精準(zhǔn)把握。隨著AI技術(shù)的不斷發(fā)展和企業(yè)對AI推理需求的不斷增加，火山引擎AI云原生方案有望成為推動產(chǎn)業(yè)數(shù)智化升級的重要力量。
