/
d-Matrix推出IO加速器，宣稱AI推理延遲將達到全新低點
d-Matrix在AI基礎設施峰會上發(fā)布JetStream IO加速卡，這款定制PCI卡可提供400Gbps帶寬和2微秒延遲。該產(chǎn)品基于FPGA技術，可與去年發(fā)布的Corsair推理加速平臺配合使用，支持在服務器內(nèi)部和多節(jié)點間擴展。CEO表示，隨著行業(yè)重點從大模型訓練轉(zhuǎn)向商業(yè)化推理，該產(chǎn)品旨在解決內(nèi)存計算瓶頸后的IO瓶頸問題。JetStream采用標準以太網(wǎng)協(xié)議，可直接部署到現(xiàn)有數(shù)據(jù)中心。
AI推理初創(chuàng)公司Baseten獲1.5億美元融資
AI推理初創(chuàng)公司Baseten完成1.5億美元D輪融資，估值達21.5億美元。該輪融資由BOND領投，谷歌母公司Alphabet旗下CapitalG等多家知名機構(gòu)參投。Baseten提供AI推理加速平臺，聲稱性能比競品快50%，支持本地部署和云端托管。平臺采用拓撲感知并行技術優(yōu)化硬件使用，通過算子融合和量化工具提升模型性能，并提供完整的開發(fā)者工具鏈和監(jiān)控功能。
GridGain技術助力AI推理，分布式內(nèi)存架構(gòu)釋放計算潛能
GridGain軟件通過集群服務器實現(xiàn)內(nèi)存共享，使內(nèi)存密集型應用能在單獨內(nèi)存不足的服務器上運行。該技術在AI推理領域日益重要，因為所需令牌數(shù)量不斷增長。軟件提供跨x86服務器集群的分布式內(nèi)存空間，具備大規(guī)模并行架構(gòu)。GridGain聲稱其引擎可用于任何數(shù)據(jù)驅(qū)動的分析或事件處理項目，提供超低延遲的分布式多模型數(shù)據(jù)存儲和計算引擎，實時為AI推理引擎提供企業(yè)數(shù)據(jù)。
HPE Aruba推出適用于零售的網(wǎng)絡產(chǎn)品組合 捆綁安全的私有5g和Wi-Fi
網(wǎng)絡巨頭HPE Aruba推出了適用于零售的網(wǎng)絡產(chǎn)品組合，其中包括最現(xiàn)代的連接技術例如Wi-Fi 7、私有5G和邊緣計算。該產(chǎn)品組合可以將接入點、全新的蜂窩橋、緊湊型交換機與HPE旗艦網(wǎng)絡管理和AI平臺HPE Aruba Networking Central捆綁在一起。
深度丨AI芯片主戰(zhàn)場：從訓練轉(zhuǎn)向推理？
AI推理領域的重要性日益凸顯，市場重心從AI訓練轉(zhuǎn)向推理。Groq LPU推理卡解決了性能和成本問題，使AI推理大規(guī)模部署成為可能
窺見未來：英偉達AI推理的前進之路
在英偉達，負責引導研究朝著應用、而非純學術項目前進的，是斯坦福大學計算機科學與電氣工程兼職教授，公司首席科學家、高級研究副總裁以及GPU、網(wǎng)絡與CPU芯片設計師Bill Dally。
探索AI技術解決方案，NVIDIA X阿里云TensorRT模型優(yōu)化賽初賽啟動！
深度學習深刻改變了計算機應用程序的功能與形態(tài),為了加速深度學習模型的推理,NVIDIA 英偉達推出了高性能深度學習推理優(yōu)化器TensorRT。
京公網(wǎng)安備 11010802021500號
