文章圖片
文章圖片
文章圖片
文章圖片
文章圖片
文章圖片
夢晨 發自 凹非寺量子位 | 公眾號 QbitAI
Thinking Machines Lab發布首個產品：Thinker ， 讓模型微調變得像改Python代碼一樣簡單 。
也算是終于摘掉了“0產品0收入估值840億”的帽子 。
聯合創始人翁荔表示：GPU價格昂貴 ， 并且設置基礎設施非常復雜 ， 使研究人員和從業者使用前沿模型進行具有挑戰性 ， Tinker是提供高質量的研究工具、提高研究生產力的第一步 。
大神卡帕西直接評價這個產品“很酷”：
相比那種“上傳數據 ， 我們幫你訓練”的傳統模式 ， Tinker讓研究者保留了90%的控制權 ， 主要涉及數據、損失函數和算法本身 ， 而把那些通常不想碰的硬骨頭（基礎設施、LLM本身的前向/后向傳播、分布式訓練）都包辦了 。
與此同時 ， 還有消息稱Thinking Machines Lab正在嘗試“重新發明一個OpenAI” ， 重建OpenAI在規模變大、變的官僚主義之前的那個版本 。
創始人Murati 表示 ， Thinking Machines Lab將會是一家公開分享研究成果 ， 給研究人員更多自由的公司 。
什么是Tinker簡單來說 ， Tinker是一個用于微調語言模型的靈活API 。
讓研究人員能夠在實驗中控制算法和數據 ， 同時無需擔心基礎設施的管理 。
這符合Thinking Machines Lab的使命：讓更多人能夠研究前沿模型 ， 并根據自身需求進行定制 。
Thinker首批主要提供Qwen3和Llama3系列模型的支持 ， 從小模型切換到大模型 ， 只需在Python代碼中修改一個字符串就行 。
Thinker的API提供了forward_backward和sample這樣的底層訓練步驟 ， 同時仍自動處理調度、擴展和錯誤恢復 。
【Murati翁荔陳丹琦公司發布首個產品，讓大模型微調門檻暴降】還使用LoRA讓多個訓練任務共享相同的 GPU ， 降低成本并讓更多實驗并行運行 。
除了云托管服務之外 ， 他們還開源了一個Tinker Cookbook庫 ， 里面有各種現成的后訓練方法實現 。
有微軟研究員檢查了Tinker的代碼庫 ， 發現了更多細節：
沒有用DeepSeek提出的GRPO方法 ， 而是使用更經典的REINFORCE算法 ， 配合優勢函數 ， 沒有梯度裁剪 。
簡單概括其梯度更新策略為：
新參數 = 原參數 + 學習率 × 優勢值 × 對數概率的梯度
Tinker受到了業界的密切關注 。 AI基礎設施公司Anyscale的CEO Robert Nishihara等beta測試者表示 ， 盡管市面上有其他微調工具 ， 但Tinker在“抽象化和可調性之間取得了卓越的平衡”
來自普林斯頓、斯坦福、伯克利和Redwood Research的研究團隊則已經用Tinker搞出不少成果 。
大神卡帕西還在評論中特別指出 ， 社區還在探索微調相比直接prompt大模型的優勢在哪 。
從早期跡象看 ， 微調不只是給大模型的輸出換個風格 ， 更多是縮小任務范圍 。 特別是當你有訓練樣本數量很大時 ， 與其給大模型構建復雜的few-shot prompt ， 不如直接微調一個小模型專門處理特定任務 。
越來越多的AI應用變成了更大規模的流水線 ， 其中許多大模型在流程中協作 ， 其中一些環節適合用提示 ， 但更多環節用微調可能會更好 。
Tinker讓微調變得簡單 ， 可以在任意環節中實驗出最佳方案 。
One More ThingThinking Machines Lab這邊嘗試重新發明一個OpenAI 。
OpenAI則正在把自己變成下一個Meta 。
除了Sora 2驅動的“AI抖音”之外 ， ChatGPT的APP代碼中也被扒出要搞“社交模式” 。
具體來說是在“推送通知”功能中包括ChatGPT和“其他用戶”發送的消息 。
“當有人加入或離開聊天時推送通知”更意味著可能有群聊模式 。
與社交模式配套的設置頭像和昵稱功能也已經出現了 。
也是沒想到 ， ChatGPT中的“Chat”也可以包括人類之間的聊天 。
參考鏈接：[1
https://thinkingmachines.ai/blog/announcing-tinker/[2
https://x.com/lilianweng/status/1973455232341516731[3
https://x.com/theinformation/status/1973043939667058817[4
https://x.com/karpathy/status/1973468610917179630[5
https://x.com/DimitrisPapail/status/1973470706135605534[6
https://x.com/btibor91/status/1973512279141622185
