1. 首頁 > 生活百科 > >

Cloudflare推出智能體專用Markdown功能，網站自動適配AI訪問

人工智能aimanusminimaxopenclaw

Cloudflare推出智能體專用Markdown功能，網站自動適配AI訪問

Cloudflare這家知名的安全和內容分發網絡公司推出了一項名為\"智能體專用Markdown\"的新功能 ， 當AI智能體請求網頁時 ， 該功能可以自動將網頁從HTML格式轉換為Markdown格式 ， 最多可減少80%的Token使用量 。

為什么需要這項功能？大語言模型難道不能讀取HTML嗎？當然可以 ， 但從模型的角度來看 ， HTML是昂貴的噪音 。
典型網頁包含HTML格式元素如div標簽 ， 以及腳本和其他有效載荷 ， 這些都會轉換為模型必須\"付費\"讀取的Token 。 大語言模型并不關心文本周圍的這些標記 ， 最終只會浪費額外的Token 。
情況有多嚴重？Cloudflare自己發布這一消息的博客文章 ， 以HTML渲染時需要16180個Token 。 而轉換為Markdown格式后僅需3150個Token ， 節省了80%的Token使用量 。 這在推理成本方面是真正的節省 。
Cloudflare通過在邊緣實時進行HTML到Markdown轉換來處理這一問題 ， 適用于任何啟用智能體專用Markdown功能的網站 。 當客戶端包含Accept: text/markdown頭部時 ， Cloudflare從源站獲取原始HTML ， 將其轉換為Markdown ， 并提供轉換后的內容而不是完整的網頁標記 。 該公司表示 ， 像Claude Code和OpenCode這樣的流行編程智能體已經發送這些頭部 ， 這意味著許多現有AI工具可以立即利用這一功能 。
為了讓內容更適合機器處理 ， Cloudflare添加了一個x-markdown-tokens響應頭部 ， 暴露Token數量 ， 允許智能體確定文檔是否適合其上下文窗口或必須分塊處理 。 轉換后的響應還包含內容信號頭部（ai-train=yes search=yes ai-input=yes） ， 表示發布者默認允許AI訓練、搜索索引和智能體使用 。
Cloudflare表示 ， 未來版本將允許網站所有者自定義這些內容信號策略 ， 超越當前的默認設置 。
智能體專用Markdown依賴標準的HTTP內容協商 ， 使用Accept頭部來區分人類流量和AI爬蟲或其他純文本客戶端 。 AI智能體可以通過發送Accept: text/markdown（通常與text/html一起）來請求Markdown ， 而常規瀏覽器訪問繼續接收正常的HTML頁面 。 Cloudflare的邊緣隨后\"即時\"執行轉換 ， 無需對網站模板、CMS設置或單獨的Markdown端點進行任何更改 。
使用專業版和商業版計劃的Cloudflare客戶可以從Cloudflare儀表板的AI爬蟲控制部分開啟該功能 ， 智能體專用Markdown在此顯示為專用切換開關 。 相同的功能也可以通過Cloudflare API使用 。
對于使用Cloudflare for SaaS的SaaS提供商 ， 可以通過儀表板\"快速操作\"開關為所有自定義主機名啟用Markdown轉換 ， 或使用自定義元數據和配置選擇性地為每個主機名啟用 。
Cloudflare將Markdown定位為AI智能體的事實上的通用語言 。 Cloudflare遠非唯一發現使用Markdown用于智能體和機器學習優勢的公司 。
例如 ， 荷蘭互聯網企業家和WordPress開發者Joost de Valk擁有一個WordPress插件Markdown Alternate ， 該插件也適用于智能體 。 他寫道 ， 他的方法和Cloudflare可以協同工作 。 \"WordPress網站可以使用Markdown Alternate獲得豐富的、WordPress感知的markdown ， 具有專用URL和完整元數據 ， 而Cloudflare的功能為其網絡上的所有其他網站提供基準 。 插件為您提供控制和深度；Cloudflare為您提供廣度和零工作量 。 \"
還有更直接的競爭程序 ， 如Fasterize EdgeSEO（AI機器人的Markdown） 。 這是一個邊緣服務 ， 可以為已知的AI機器人動態將HTML頁面轉換為Markdown ， 無需單獨的.md URL 。 在這個領域的另一個Cloudflare競爭對手是Firecrawl 。 這是一個商業\"AI網絡數據API\" ， 用于爬取、抓取和規范化網站以供大語言模型使用 。
對于構建消費網絡內容的AI驅動工作流程的團隊來說 ， 某種形式的HTML到Markdown轉換正迅速成為必需品 。 Cloudflare的邊緣原生方法降低了入門門檻：網站所有者只需輕輕一點 ， 每個頁面都變得智能體就緒 。
Q&A
Q1：Cloudflare的智能體專用Markdown功能是什么？
A：這是Cloudflare推出的一項新功能 ， 當AI智能體訪問網站時 ， 自動將HTML網頁轉換為Markdown格式 ， 可以減少高達80%的Token使用量 ， 從而降低AI模型的推理成本 。
Q2：為什么AI模型需要Markdown而不是HTML？
A：雖然大語言模型可以讀取HTML ， 但HTML包含大量格式標記、腳本等\"噪音\"內容 ， 這些都會轉換成Token增加處理成本 。 而AI模型實際上并不關心這些標記 ， 只需要純文本內容 。
Q3：如何啟用Cloudflare的智能體專用Markdown功能？
【Cloudflare推出智能體專用Markdown功能，網站自動適配AI訪問】A：專業版和商業版的Cloudflare客戶可以在儀表板的AI爬蟲控制部分找到專用切換開關來啟用此功能 ， 也可以通過Cloudflare API進行配置 。 啟用后無需修改網站代碼 ， 功能會自動生效 。

    推薦閱讀