【TechWeb】4月16日消息 ， Gartner預測 ， 到2030年 ， 生成式AI提供商對1萬億參數大語言模型（LLM）的推理成本將比2025年降低90%以上 。
AI Token是生成式AI模型處理的數據單位 。 本次分析中 ， 1 Token等于3.5字節數據 ， 約合4字符 。
Gartner高級研究總監Will Sommer表示：“推動這一成本下降的因素包括半導體和基礎設施效率的提升、模型設計方面的創新、芯片利用率的提高、專用推理芯片的普及以及針對特定用例的邊緣設備應用 。 ”
基于這些趨勢 ， Gartner預測 ， 到2030年 ， 大語言模型的成本效益將比2022年開發的同等規模早期模型高出多達100倍 。
然而 ， 生成式AI提供商的Token成本下降不會完全傳導給企業客戶 。 此外 ， 前沿智能所需的Token數量將遠超當前主流應用 。 例如 ， 代理式模型每項任務所需的Token數量是標準生成式AI聊天機器人的5至30倍并且能夠執行比人類使用生成式AI更多的任務 。
盡管Token單位成本的下降將推動生成式AI技術的進步 ， 但這些進步將導致Token需求急劇增長 。 由于Token消耗增速快于成本降幅 ， 預計整體推理成本仍將上升 。
Sommer表示：“首席產品官（CPO）不應將商品Token成本的下降與前沿推理的普及混為一談 。 隨著商品化智能的成本趨近于零 ， 支持高級推理所需的計算和系統資源依然稀缺 。 如果當前首席產品官用廉價的Token掩蓋架構的低效 ， 那么將來會在實現代理式應用規模化上遇到難題 。 ”
【Gartner：Token成本下降不會推動前沿智能普及化】為了創造價值 ， 平臺需要能夠編排多種不同模型的工作負載 。 常規的高頻任務必須發送到更高效的小型和領域專用語言模型 ， 這些模型如果能夠與專業工作流對齊 ， 則其性能會優于通用解決方案且成本僅為后者的一小部分 。 此外 ， 必須嚴格管控前沿級模型的高成本推理并且僅將其用于高利潤、復雜的推理任務 。
推薦閱讀
- 扔掉你的Token賬單吧，榮耀YOYO Claw技術把養蝦成本打下來了
- 高質量、低成本、廣覆蓋難以兼得？中國醫療的AI新路
- 轉嫁內存芯片成本，微軟大幅提高Surface電腦售價
- 解剖7年人體，這只手復刻了人類肌肉結構！成本僅2800美元
- 內存價格暴漲威脅旗艦“Ultra”手機：16GB+1TB成本已超驍龍芯片
- AI用少了要被開？硅谷員工比起“燒Token”
- AI初創公司Rocket推出低成本咨詢級產品策略報告平臺
- 裸辭北大博士帶17個Agent，49天造出首個AI開放世界！成本僅5000
- Gartner預測：到2028年，超過50%的企業將采用AI安全平臺
- 成本破萬！下一代手機可能沒有Ultra超大杯了