突破性記憶體擴展技術經 Oracle Cloud Infrastructure 驗證，實現推論普及化，為 NeuralMesh 客戶帶來 1000 倍記憶體容量，首個 Token 生成時間加快 20 倍

聖路易斯和加州坎貝爾2025年11月20日 /美通社/ -- 於 SC25 大會上：AI 儲存公司 WEKA今日宣佈，正式於 NeuralMesh™ 上推出 Augmented Memory Grid™（增強記憶體網格）。這項革命性的記憶體擴展技術，旨在解決窒礙 AI 創新的根本樽頸：GPU 記憶體。該技術已在 Oracle Cloud Infrastructure (OCI) 及其他領先的 AI 雲端平台上通過驗證，能將 GPU 記憶體容量大幅擴展 1000 倍（由 GB 級提升至 PB 級），同時將首個 Token 生成時間縮短高達 20 倍。這項突破賦能 AI 開發者優化長文本推理和代理式 AI 的工作流程，顯著提升以往難以擴展的推論工作負載效率。

WEKA 的突破性 Augmented Memory Grid 現已於 NeuralMesh 上正式推出。

從創新到投產：解決 AI 記憶體牆難題
自 NVIDIA GTC 2025 亮相以來，Augmented Memory Grid 已在包括 OCI 在內的領先 AI 雲端生產環境中，經過嚴格的強化、測試與驗證。結果證實了早期測試的預期：隨著 AI 系統演進至更長、更複雜的互動——從程式碼編寫助手到研究助理及推理代理——記憶體已成為限制推論效能與經濟效益的關鍵樽頸。

「我們正推出一個經 Oracle Cloud Infrastructure 及其他領先 AI 基礎設施平台驗證的成熟解決方案。」WEKA 聯合創始人兼行政總裁 Liran Zvibel 表示，「擴展代理式 AI 不僅取決於原始運算力，更在於透過智能數據路徑來解決記憶體牆問題。Augmented Memory Grid 讓客戶能在每個 GPU 上運行更多 Token，支援更多並發用戶，並為長文本工作負載解鎖全新的服務模式。OCI 的裸機基礎設施配合高性能 RDMA 網絡及 GPUDirect Storage 功能，使其成為大規模加速推論的獨特平台。」

現今的推論系統面臨一項根本限制：GPU 高頻寬記憶體 (HBM) 速度極快但容量有限，而系統 DRAM 雖空間較大但頻寬不足。一旦這兩層記憶體飽和，鍵值緩存數據便會被清除，迫使 GPU 重新運算已處理過的 Token，造成運算週期、電力與時間的浪費。

WEKA 的 Augmented Memory Grid 透過在 GPU 記憶體（通常是 HBM）與快閃儲存之間建立高速橋樑，成功突破 GPU 記憶體牆。它利用 RDMA 及 NVIDIA Magnum IO GPUDirect Storage 技術，在 GPU 記憶體與 WEKA 的 Token 倉庫之間持續傳輸鍵值緩存數據，從而達致記憶體級別的速度。這讓大型語言模型及代理式 AI 模型能夠存取更多語境資訊，無需重新運算先前的 KV Cache 或已生成的 Token，大幅提升效率與可擴展性。

經 OCI 驗證的效能與生態系統整合
獨立測試（包括在 OCI 上的驗證）已確認以下成果：

• KV Cache 容量增加 1000 倍，同時保持接近記憶體的效能。
• 在處理 128,000 個 Token 時，相較於重新運算預填充階段，首個 Token 生成時間加快 20 倍。
• 在八節點叢集中錄得 750 萬次讀取 IOP 及 100 萬次寫入 IOP。

對於 AI 雲端供應商、模型供應商及企業 AI 開發者而言，這些效能提升從根本上改變了推論的經濟效益。透過消除多餘的預填充操作並維持高緩存命中率，機構可最大化租戶密度，減少閒置 GPU 週期，並顯著提高每千瓦時的投資回報率 (ROI)。模型供應商現可具成本效益地提供長文本模型服務，大幅削減輸入 Token 成本，並圍繞持久、具狀態的 AI 會話建立全新商業模式。

本次正式商用反映了 WEKA 與 NVIDIA 及 Oracle 等領先 AI 基礎設施夥伴的深度合作。該解決方案與 NVIDIA GPUDirect Storage、 NVIDIA Dynamo及 NVIDIA NIXL 緊密整合，WEKA 更為 NVIDIA Inference Transfer Library (NIXL) 開源了一個專用插件。OCI 的裸機 GPU 運算配合 RDMA 網絡及 NVIDIA GPUDirect Storage 功能，提供了 WEKA 所需的高效能基礎，確保在雲端 AI 部署中提供效能毫不妥協的 Augmented Memory Grid。

「大規模推論的經濟性是企業的重要考量。」Oracle 雲端基礎架構多雲端副總裁 Nathan Thomas 表示，「WEKA 的 Augmented Memory Grid 正面迎擊了這一挑戰。我們在 OCI 聯合測試中錄得首個 Token 生成時間加快 20 倍的提升，這不僅是效能指標，更從根本上重塑了運行 AI 工作負載的成本結構。對我們的客戶而言，這意味著部署下一代 AI 將變得更簡單、更具成本效益。」

正式商用資訊
Augmented Memory Grid 現已作為 NeuralMesh 部署的一項功能正式推出，並已上架 Oracle Cloud Marketplace，未來將支援更多雲端平台。

有意部署 Augmented Memory Grid 的機構，請瀏覽 WEKA 的 Augmented Memory Grid 頁面，以了解更多解決方案詳情及資格標準。

關於 WEKA
WEKA 憑藉其智能、適應性網狀儲存系統 NeuralMesh™，正在變革機構建立、運行和擴展 AI 工作流程的方式。傳統的數據基礎設施會隨著工作負載擴展而變得更慢、更脆弱，與此不同，NeuralMesh 會隨著規模擴展而變得更快、更強、更高效，動態適應 AI 環境，為企業級 AI 和代理式 AI 創新提供靈活的基礎。NeuralMesh 深受 30% 的《財富》50 強企業信賴，幫助領先企業、AI 雲端服務供應商和 AI 開發者優化 GPU、加速擴展 AI 並降低創新成本。如欲了解更多，請瀏覽 www.weka.io 或追蹤我們的 LinkedIn 和 X。

WEKA 和 W 標誌乃 WekaIO, Inc. 的註冊商標，而此處其他商品名稱可能是其各自擁有人的商標。

WEKA：企業人工智能的基礎