1. 首頁 > 生活百科 > >

手機也能跑大模型，騰訊混元推出多款小尺寸開源模型

騰訊aigithub

手機也能跑大模型，騰訊混元推出多款小尺寸開源模型

文章圖片

手機也能跑大模型，騰訊混元推出多款小尺寸開源模型

8月 4 日 ， 騰訊混元宣布開源四款小尺寸模型 ， 參數分別為 0.5B、1.8B、4B、7B ， 消費級顯卡即可運行 ， 適用于筆記本電腦、手機、智能座艙、智能家居等低功耗場景 ， 且支持垂直領域低成本微調 。
這四款模型的推出 ， 是騰訊混元大模型持續開源的一大舉措 ， 也進一步豐富了混元開源模型體系 ， 可為開發者和企業提供更多尺寸的模型選擇 。 目前 ， 四個模型均在 Github 和 HuggingFace 等開源社區上線 ， Arm、高通、Intel、聯發科技等多個消費級終端芯片平臺也都宣布支持部署 。

新開源的4 個模型屬于融合推理模型 ， 具備推理速度快、性價比高的特點 ， 用戶可根據使用場景靈活選擇模型思考模式——快思考模式提供簡潔、高效的輸出；而慢思考涉及解決復雜問題 ， 具備更全面的推理步驟 。
效果上 ， 四個模型均實現了跟業界同尺寸模型的對標 ， 特別是在語言理解、數學、推理等領域有出色表現 ， 在多個公開測試集上得分達到了領先水平 。



這四個模型的亮點在于agent和長文能力 ， 跟此前開源的Hunyuan-A13B模型一樣 ， 技術上通過精心的數據構建和強化學習獎勵信號設計 ， 提升了模型在任務規劃、工具調用和復雜決策以及反思等agent能力上的表現 ， 讓模型實際應用中可以輕松勝任深度搜索、excel 操作、旅行攻略規劃等任務 。
此外 ， 模型原生長上下文窗口達到了 256k ， 意味著模型可以一次性記住并處理相當于40萬中文漢字或50萬英文單詞的超長內容 ， 相當于一口氣讀完3本《哈利波特》小說， 并且能記住所有人物關系、劇情細節 ， 還能根據這些內容討論后續故事發展 。
部署上 ， 四個模型均只需單卡即可部署 ， 部分PC、手機、平板等設備可直接接入 。 并且 ， 模型具有較強的開放性 ， 主流推理框架（例如 ， SGLang ， vLLM and TensorRT-LLM）和多種量化格式均能夠支持 。
應用層面 ， 四款小尺寸模型都能夠滿足從端側到云端、從通用到專業的多樣化需求 ， 并且已經在騰訊多個業務中應用 ， 可用性和實用性經過了實踐的檢驗 ， 是真正實用的模型 。
例如 ， 依托模型原生的超長上下文能力 ， 騰訊會議AI小助手、微信讀書AI問書AI助手均實現對完整會議內容、整本書籍的一次性理解和處理 。
在端側應用上 ， 騰訊手機管家利用小尺寸模型提升垃圾短信識別準確率 ， 實現毫秒級攔截 ， 隱私零上傳；騰訊智能座艙助手通過雙模型協作架構解決車載環境痛點 ， 充分發揮模型低功耗、高效推理的特性 。
在高并發場景中 ， 搜狗輸入法基于模型的多模態聯合訓練機制使嘈雜環境下提升識別準確率；騰訊地圖采用多模型架構 ， 利用意圖分類和推理能力提升了用戶交互體驗；微信輸入法「問AI」基于模型實現輸入框與 AI 即問即答的無縫銜接 。
在需求各異、約束嚴苛的垂直行業應用中 ， 金融AI助手通過Prompt優化和少量數據微調實現95%+意圖識別準確率 ， 展現出金融級的高可靠性；游戲翻譯和QQ飛車手游NPC充分利用模型的理解能力在多語言理解能力、方言翻譯和智能對話方面有突出表現 ， 這些能力在專業客服、內容出海甚至電商直播等場景有巨大應用潛力 。
最近 ， 全球開源領域異常熱鬧 ， 中國大模型表現搶眼 。 騰訊混元大語言模型也在持續推進開源 ， 參與技術社區的共建之中 ， 其開源模型已覆蓋文本、圖像、視頻和3D生成等多個模態 。
在大語言模型領域 ， 騰訊混元此前陸續開源了激活參數量達52B的Hunyuan large和首個混合推理MoE模型 Hunyuan-A13B， 這些模型憑借架構上的創新以及在性能和效果上的不錯表現 ， 在開源社區受到廣泛關注 。
多模態方面 ， 混元還開放了完整多模態生成能力及工具集插件 ， 陸續開源了業界領先的文生圖、視頻生成和 3D 生成能力 ， 提供接近商業模型性能的開源基座 ， 方便社區基于業務和使用場景定制 ， 圖像、視頻衍生模型數量達到3000 個 。 上周 ， 騰訊發布并開源混元3D世界模型1.0 ， 這一模型一經發布即迅速登上Hugging Face趨勢榜第二 ， 下載量飆到近9k ， 混元3D世界模型技術報告還拿下了Hugging Face論文熱榜第一 。
開源是騰訊混元大模型長期堅持的方向 ， 未來騰訊混元也將不斷提升模型能力 ， 繼續積極擁抱開源 ， 推出更多尺寸、更多模特的模型 ， 加速產業落地和應用 ， 與開發者和合作伙伴共建大模型開源生態 。
【手機也能跑大模型，騰訊混元推出多款小尺寸開源模型】官網體驗地址：騰訊混元
Github:
Hunyuan-0.5B：GitHub - Tencent-Hunyuan/Hunyuan-0.5B
Hunyuan-1.8B：https://github.com/Tencent-Hunyuan/Hunyuan-1.8B
Hunyuan-4B：https://github.com/Tencent-Hunyuan/Hunyuan-4B
Hunyuan-7B：GitHub - Tencent-Hunyuan/Hunyuan-7B: Tencent Hunyuan 7B (short as Hunyuan-7B) is one of the large language dense models of Tencent Hunyuan
HuggingFace:
Hunyuan-0.5B：https://huggingface.co/tencent/Hunyuan-0.5B-Instruct
Hunyuan-1.8B：https://huggingface.co/tencent/Hunyuan-1.8B-Instruct
Hunyuan-4B：https://huggingface.co/tencent/Hunyuan-4B-Instruct
Hunyuan-7B：https://huggingface.co/tencent/Hunyuan-7B-Instruct
— 完 —
量子位 QbitAI
關注我們 ， 第一時間獲知前沿科技動態

    推薦閱讀