Kioxia 發(fā)布開源 AiSAQ 技術,旨在降低生成式 AI 系統中的 DRAM 需求。該技術為 SSD 優(yōu)化的近似最近鄰搜索算法,可直接在 SSD 上搜索,無需將索引數據放入 DRAM,從而實現檢索增強生成 (RAG) 的可擴展性能。這一創(chuàng)新有望大幅提升大規(guī)模 RAG 應用的性能范圍。
微軟研究人員提出了一種新的內存技術——管理保留內存 (MRM),旨在解決 AI 基礎模型工作負載的存儲和 IO 問題。MRM 具有短期數據持久性,可優(yōu)化 AI 推理性能,同時降低能耗和成本。這一創(chuàng)新概念有望填補現有內存-存儲層級中的空白,為 AI 時代的內存技術發(fā)展開辟新方向。