模型蒸餾技術(shù)在Gartner 2025年AI技術(shù)成熟度曲線中已達(dá)到"啟蒙斜坡"階段。雖然中國(guó)DeepSeek近期將其推向聚光燈下,展示了如何用模型蒸餾訓(xùn)練出可媲美OpenAI的大語(yǔ)言模型,但該技術(shù)并非新發(fā)展,可追溯至2006年。隨著基礎(chǔ)模型計(jì)算成本高昂,企業(yè)開(kāi)始尋求以10%成本獲得80%性能的解決方案。模型蒸餾作為創(chuàng)新與可擴(kuò)展性的橋梁,正獲得商業(yè)關(guān)注。
DeepSeek今年1月發(fā)布R1模型引發(fā)行業(yè)震動(dòng),其創(chuàng)新在于以極低成本實(shí)現(xiàn)與科技巨頭相當(dāng)?shù)腁I性能。面對(duì)美國(guó)芯片限制,DeepSeek通過(guò)優(yōu)化現(xiàn)有資源、使用合成數(shù)據(jù)等策略,僅用OpenAI 1.2%的投入就達(dá)到更優(yōu)基準(zhǔn)測(cè)試結(jié)果。這種效率優(yōu)先的方法迫使OpenAI等公司重新審視發(fā)展策略,推動(dòng)行業(yè)向并行創(chuàng)新軌道發(fā)展,同時(shí)也引發(fā)了關(guān)于AI自主評(píng)估和數(shù)據(jù)治理的新思考。