西班牙AI初創(chuàng)公司Multiverse Computing發(fā)布兩款超小型AI模型,分別命名為"雞腦"和"蒼蠅腦"。該公司聲稱這是全球最小的高性能模型,具備聊天、語音和推理能力。這些模型專為物聯(lián)網(wǎng)設(shè)備、智能手機(jī)和平板電腦設(shè)計(jì),可在無網(wǎng)絡(luò)連接情況下本地運(yùn)行。公司采用量子啟發(fā)的CompactifAI壓縮技術(shù),在不犧牲性能的前提下大幅縮小模型體積。
隨著AI模型參數(shù)達(dá)到數(shù)十億甚至萬億級別,工程團(tuán)隊(duì)面臨內(nèi)存約束和計(jì)算負(fù)擔(dān)等共同挑戰(zhàn)。新興技術(shù)正在幫助解決這些問題:輸入和數(shù)據(jù)壓縮技術(shù)可將模型壓縮50-60%;稀疏性方法通過關(guān)注重要區(qū)域節(jié)省資源;調(diào)整上下文窗口減少系統(tǒng)資源消耗;動態(tài)模型和強(qiáng)推理系統(tǒng)通過自學(xué)習(xí)優(yōu)化性能;擴(kuò)散模型通過噪聲分析生成新結(jié)果;邊緣計(jì)算將數(shù)據(jù)處理轉(zhuǎn)移到網(wǎng)絡(luò)端點(diǎn)設(shè)備。這些創(chuàng)新方案為構(gòu)建更高效的AI架構(gòu)提供了可行路徑。
Multiverse Computing宣布完成2.15億美元B輪融資,用于加速部署其量子計(jì)算啟發(fā)的AI模型壓縮技術(shù)。該技術(shù)可將大語言模型體積縮小95%而不影響性能表現(xiàn),大幅降低AI推理成本。公司的CompatifAI技術(shù)采用量子啟發(fā)算法和先進(jìn)張量網(wǎng)絡(luò),能識別并剔除AI模型中的冗余部分。壓縮后的模型運(yùn)行速度提升4-12倍,推理成本降低50%-80%,可在云端、本地?cái)?shù)據(jù)中心甚至邊緣設(shè)備上運(yùn)行。
微軟團(tuán)隊(duì)推出名為 BitNet b1.58 2B4T 的 2 億參數(shù) 1 位模型,通過將權(quán)重量化為 -1、0、1,實(shí)現(xiàn)了內(nèi)存和運(yùn)算效率的顯著提升,并能在 CPU(如蘋果 M2)上運(yùn)行,但目前僅支持特定硬件。