隨著AI服務(wù)成本上升和數(shù)據(jù)隱私擔(dān)憂加劇,越來越多用戶開始嘗試本地部署大語言模型。硬件性能提升和軟件工具優(yōu)化使得在個人設(shè)備上運(yùn)行AI模型變得可行。通過量化技術(shù)降低模型精度要求,配合llama.cpp等開源工具,用戶可在消費(fèi)級硬件上運(yùn)行各類專業(yè)模型。雖然本地模型在通用性上仍遜色于云端大模型,但在特定場景下已能滿足需求,且在隱私保護(hù)和成本控制方面優(yōu)勢明顯。
谷歌DeepMind發(fā)布了名為Gemini Robotics On-Device的新語言模型,可在機(jī)器人上本地運(yùn)行任務(wù)而無需互聯(lián)網(wǎng)連接。該模型基于3月發(fā)布的Gemini Robotics模型構(gòu)建,能夠控制機(jī)器人動作,開發(fā)者可通過自然語言提示進(jìn)行控制和調(diào)優(yōu)。谷歌稱其性能接近云端版本,在演示中展示了機(jī)器人執(zhí)行拆袋和折衣等任務(wù)。