馬斯克旗下大模型公司開(kāi)發(fā)的Grok-1大語(yǔ)言模型已開(kāi)源,采用Apache2.0協(xié)議。Grok-1是一個(gè)混合專家架構(gòu)模型,參數(shù)總數(shù)3140億,每次推理激活860億。雖然在MMLU和GSM8K評(píng)測(cè)中表現(xiàn)不錯(cuò),但與同類模型相比資源消耗大而收益不顯著。開(kāi)源的僅為推理代碼,訓(xùn)練基礎(chǔ)設(shè)施和tokenizer的特殊token作用未透露。
北京第二十六維信息技術(shù)有限公司(至頂網(wǎng))版權(quán)所有. 京ICP備15039648號(hào)-7 京ICP證161336號(hào)京公網(wǎng)安備 11010802021500號(hào)
舉報(bào)電話:010-62641205-5060 涉未成年人舉報(bào)專線:010-62641208 舉報(bào)郵箱:jubao@zhiding.cn
網(wǎng)上有害信息舉報(bào)專區(qū):https://www.12377.cn