剛剛,馬斯克開源Grok 2.5:中國公司才是xAI最大對手

剛剛,馬斯克開源Grok 2.5:中國公司才是xAI最大對手

文章圖片

剛剛,馬斯克開源Grok 2.5:中國公司才是xAI最大對手

文章圖片

剛剛,馬斯克開源Grok 2.5:中國公司才是xAI最大對手

文章圖片

剛剛,馬斯克開源Grok 2.5:中國公司才是xAI最大對手

文章圖片

剛剛,馬斯克開源Grok 2.5:中國公司才是xAI最大對手

文章圖片

剛剛,馬斯克開源Grok 2.5:中國公司才是xAI最大對手

金磊 發自 凹非寺
量子位 | 公眾號 QbitAI
就在剛剛 , 馬斯克一手開源動作 , 引發了大伙兒的高度關注——
xAI現在正式開源Grok 2.5 , Grok 3將在半年后開源 。

其實早在本月初的時候 , 馬斯克就公開表示過:
是時候開源Grok了 , 將會在下周 。

雖然開源的時間已經超過了他說的節點 , 但也正如網友所說:
遲到總比沒有的好 。

42個文件 , 500個G目前 , Grok已經可以在HuggingFace中下載(鏈接附文末):

xAI官方建議用SGLang來運行Grok 2 , 具體步驟如下 。
第一步 , 下載權重文件 。
你可以把 /local/grok-2 換成任何你喜歡的文件夾名字:
hfdownload xai-org/grok-2—local-dir /local/grok-2官方表示 , 這個下載過程中可能會遇到一些錯誤 , 如果出錯了 , 可以多試幾次直到下載成功 。
下載成功后 , 文件夾里應該有42個文件 , 大小約為500GB 。
第二步 , 啟動服務器 。
xAI官方建議安裝最新版的SGLang推理引擎(版本號= v0.5.1 , 地址為:https://github.com/sgl-project/sglang/) 。
然后用下面的命令來啟動推理服務器:
python3-m sglang.launch_server —model /local/grok-2—tokenizer-path /local/grok-2/tokenizer.tok.json —tp8—quantization fp8 —attention-backend triton值得一提的是 , 這個模型需要8個GPU(每個都得有超過40GB的顯存)才能運行 。
最后一步 , 就是發送請求 。
這是一個經過預訓練的模型 , 所以我們需要確保使用的是正確的聊天模板:
python3 -m sglang.test.send_one —prompt “Human: Whatisyour name?|separator|\\Assistant:”發送請求后 , 我們就應該能看到模型會回復它的名字了 , 即Grok 。
那么xAI最新開源的Grok 2 , 到底是什么水平?
雖然其能力定然是不及當下的各種最先進的主流模型 , 但我們可以從去年xAI發布的Grok 2相關模型的技術博客中略知一二 。
當時 , 它在LMSYS排行榜上 , 總體Elo分數已經超越了Claude和GPT-4 。

并且在一系列學術基準測試中 , Grok 2系列在研究生級別科學知識(GPQA)、一般知識(MMLU、MMLU-Pro)和數學競賽問題(MATH)等領域達到了與其他前沿模型相競爭的性能水平 。

不過有一說一 , 網友們雖然覺得馬斯克開源的動作還挺好的 , 但也有不少詬病的言論 。
例如在HuggingFace中 , 我們并沒有看到xAI明確指出開源模型的參數權重 。
因此網友們就只能根據以往的信息 , 猜測它是2690億個參數的MoE模型 。
其次 , 就是開源協議的問題 , 因為xAI在HuggingFace中的表述是這樣的:

用網友的話來說 , 這基本上就是一個非商業許可的:
Mistral、Qwen、DeepSeek、微軟 , 甚至是OpenAI都在用MIT或Apache 2.0許可來開源模型 。

以及 , 也是最重要的一點 , 就是運行這個開源模型的條件:
【剛剛,馬斯克開源Grok 2.5:中國公司才是xAI最大對手】謝謝 , 我現在只需要8塊顯存超40GB的GPU……

Two More Thing:除了開源動作之外 , 馬斯克還發布了Grok APP上的一些新功能 。
這次的更新(v1.1.58)主要是聚焦在了AI視頻生成 , 具體效果如下:

感興趣的小伙伴可以在APP上體驗嘍 。
以及馬斯克還發了一段有趣的言論:
xAI很快就會超越谷歌 , 但中國公司才是最大對手 。

參考鏈接:[1
https://x.com/elonmusk/status/1959379349322313920[2
https://x.com/HuggingPapers/status/1959345658361475564[3
https://x.com/elonmusk/status/1959384678768447976[4
https://x.com/elonmusk/status/1959388879888302363
— 完 —
量子位 QbitAI · 頭條號
關注我們 , 第一時間獲知前沿科技動態

    推薦閱讀