|
11月21日消息,發布負載據媒體報道,新技華為今日正式發布Flex:ai AI容器軟件。術單時承該產品的卡同核心突破在于運用算力切分技術,可將單張GPU/NPU算力卡精細切分為多個虛擬算力單元,載多資源最小粒度精準至10%。工作 這一創新使得單張算力卡能夠同時承載多個AI工作負載,提升顯著提升硬件資源利用率。硬件 同時,利用率Flex:ai能夠將集群內各計算節點的發布負載空閑XPU算力進行高效聚合,形成統一的新技“共享算力池”,實現算力資源的術單時承全局調度與靈活分配。 其核心技術原理是卡同一套深度融合軟硬件的系統工程,覆蓋從底層芯片到頂層調度。載多資源通過創新性的工作軟件技術深度挖掘硬件潛力,Flex:ai成功將GPU/NPU的典型利用率從30%-40%提升至70%,有效踐行了“以軟件補硬件”的理念。 在硬件協同方面,Flex:ai深度整合華為自研的昇騰AI處理器,通過軟硬件協同設計優化,實現了最佳的性能功耗比。 特別在大模型訓練場景中,Flex:ai通過軟件層面的創新,實現了對包括英偉達GPU、昇騰NPU在內的多種異構算力資源的統一管理與調度,有效解決了當前大模型訓練面臨的算力效率瓶頸問題。 據悉,Flex:ai將在發布后同步開源在魔擎社區中,以促進技術共享與生態發展。 |
