1. 首頁 > 生活百科 > >

谷歌開源Gemma 3 270M，性能超越Qwen 2.5同級模型

茅臺百度人工智能ai奔馳

谷歌開源Gemma 3 270M，性能超越Qwen 2.5同級模型

文章圖片

谷歌開源Gemma 3 270M，性能超越Qwen 2.5同級模型

機器之心報道
機器之心編輯部
下載下來只有 241 MB 。

本周四 ， 谷歌正式發布了 Gemma 3 的最新一款模型 。

Gemma 3 270M 是一款緊湊型、擁有 2.7 億個參數的小體量語言模型 ， 專為特定任務的微調而設計 ， 具備強大的指令跟蹤和文本結構化能力 。

【谷歌開源Gemma 3 270M，性能超越Qwen 2.5同級模型】它繼承了 Gemma 3 系列的先進架構和強大的預訓練功能 ， 同時為小尺寸模型帶來了強大的指令執行能力 。 谷歌展示的 IFEval 基準測試成績所示 ， 在同級模型上 ， Gemma 3 270M 樹立了新的性能水平 ， 使復雜的 AI 功能更容易應用于設備端和研究應用 。


IFEval 旨在測試模型執行可驗證指令的能力 。

Gemma 3 270M 的核心功能主要包括如下幾個方面：

緊湊而強大的架構：新模型共有 2.7 億參數：由于詞匯量龐大 ， 嵌入參數有 1.7 億個 ， Transformer 模塊則有 1 億個 。 得益于 256k 個 token 的龐大詞匯量 ， 該模型可以處理特定和罕見的 token ， 使其成為強大的基礎模型 ， 可以在特定領域和語言中進一步進行微調 。 極致節能：Gemma 3 270M 的一個關鍵優勢是其低功耗 。 在 Pixel 9 Pro 手機 SoC 上進行的內部測試表明 ， INT4 量化模型在 25 次對話中僅消耗 0.75% 的電量 ， 使其成為最節能的 Gemma 模型 。 指令遵循：谷歌發布了一個指令調整模型 ， 并附帶預訓練的檢查點 。 雖然該模型并非為復雜的對話用例而設計 ， 但它是一個強大的模型 ， 可以開箱即用地遵循通用指令 。 可用于生產的量化：量化感知訓練 (QAT) 檢查點可用 ， 使人們能夠以 INT4 精度運行模型 ， 同時最大程度地減少性能下降 ， 這對于在資源受限的設備上部署至關重要 。
對于 1.7 億個嵌入參數 ， 如何在訓練過程中保證不出現嵌入崩潰 ， 谷歌并沒有對技術細節進行太多解釋 。 不過在谷歌發布后 ， AI 社區很快開始了研究 。



Sebastian Raschka 第一時間進行了簡單的解讀 ， 他注意到了新模型的一些架構特點 。



谷歌表示 ， Gemma 3 270M 是一款高質量的基礎模型 ， 開箱即用 ， 適用于專業化的任務 。 在實踐中 ， 人們應從緊湊而強大的模型入手 ， 進而構建出精簡、快速且運營成本較低的生產系統 。

這種思路已在現實世界中取得了很好的成果 。 谷歌舉了 Adaptive ML 與 SK Telecom 合作的成果的例子 。 面對細致入微的多語言內容審核挑戰 ， 他們選擇了專業化 。 Adaptive ML 沒有使用大規模通用模型 ， 而是對 Gemma 3 4B 模型進行了微調 。 從結果上看 ， 專業化的 Gemma 模型達到甚至超越了更大型專有模型在其特定任務上的表現 。

Gemma 3 270M 旨在讓開發者更進一步利用這種方法 ， 為定義明確的任務釋放更高的效率 。 它是創建一系列小型專業模型的理想起點 ， 每個模型都是各自任務的專家 。

這種專業化的力量不僅適用于企業任務 ， 還能幫助個人開發者構建創意應用程序 。 例如 ， Hugging Face 團隊的成員使用 Gemma 3 270M 為一款使用 Transformers.js 的睡前故事生成器網頁應用提供支持 。 可知 ， 該模型的體量和性能使其非常適合離線、基于網頁的創意任務 。

谷歌表示 ， Gemma 3 270M 適用于以下場景：

有一個高容量且定義明確的任務 。 該模型非常適合情緒分析、實體提取、查詢路由、非結構化到結構化文本處理、創意寫作和合規性檢查等功能 。 需要精打細算 ， 時延要求高的任務 。 它可以大幅降低甚至消除生產中的推理成本 ， 并更快地為用戶提供響應 。 經過微調的 270M 模型可以在輕量級的基礎架構上運行 ， 也可以直接在設備上運行 。 需要快速迭代和部署的工作 。 Gemma 3 270M 的小巧體積使其能夠快速進行微調實驗 ， 幫助你在數小時內（而不是數天）找到適合您用例的完美配置 。 需要確保用戶隱私的任務 。 由于該模型可以完全在設備上運行 ， 你可以構建處理敏感信息的應用程序 ， 而無需將數據發送到云端 。 你需要一批專門的任務模型 。 構建并部署多個自定義模型 ， 每個模型都經過專業訓練 ， 能夠完成不同的任務 ， 而且不會超出預算 。
在新模型上 ， 谷歌提供了快速入門的方案和工具 。 你可以在 Gemma 文檔中找到使用 Gemma 3 270M 進行完整微調的指南：https://ai.google.dev/gemma/docs/core/huggingface_text_full_finetune 谷歌同時發布了 Gemma 3 270M 的預訓練模型和指令調優模型：https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d 你可以在 Vertex AI 上試用模型 ， 或使用 llama.cpp、Gemma.cpp、LiteRT、Keras 和 MLX 等熱門推理工具進行試用：https://console.cloud.google.com/vertex-ai/publishers/google/model-garden/gemma3
現在 ， 你也可以在 Colab 上嘗試自行嘗試微調 ， 只需不到 5 分鐘即可完成 。

過去幾個月 ， 谷歌的 Gemma 開放模型系列經歷了一系列發布 。 在 4 月到 5 月 ， 谷歌推出了 Gemma 3 和 Gemma 3 QAT ， 為單云和桌面級 GPU 提供了不錯的 AI 性能 。 隨后在 6 月 25 日 ， 面向移動端的 Gemma 3n 正式發布 ， 為手機等設備引入了強大的實時多模態 AI 能力 。

谷歌表示 ， 截止上周 ， Gemma 系列的累積下載量已經突破了兩億次 。

參考內容：
https://developers.googleblog.com/en/introducing-gemma-3-270m/

    推薦閱讀