谷歌研究團(tuán)隊(duì)推出VaultGemma,這是其首個(gè)采用差分隱私技術(shù)的大語言模型。該模型基于Gemma 2構(gòu)建,擁有10億參數(shù),通過在訓(xùn)練階段引入校準(zhǔn)噪聲來防止模型"記憶"敏感用戶數(shù)據(jù)。研究團(tuán)隊(duì)建立了差分隱私縮放定律,平衡計(jì)算預(yù)算、隱私預(yù)算和數(shù)據(jù)預(yù)算。盡管添加差分隱私會(huì)影響準(zhǔn)確性,但VaultGemma在性能上與同規(guī)模非私有模型相當(dāng)。該模型現(xiàn)已在Hugging Face和Kaggle平臺(tái)開放下載。