1. 首頁 > 生活百科 > >

降低大模型幻覺、讓企業AI輸出更靠譜，亞馬遜云科技掏出10年家底

機器人廣東省人工智能ai廣東時政

降低大模型幻覺、讓企業AI輸出更靠譜，亞馬遜云科技掏出10年家底

智東西
作者 | ZeR0
編輯 | 漠影
智東西9月16日報道 ， 生成式AI幻覺問題是令人們不敢信任AI的一大痛點 。 對此 ， 亞馬遜云科技將其核心云服務中長期使用的自動推理技術拿出來 ， 作為Amazon Bedrock Guardrails中的一項功能 ， 供客戶直接使用 。
Amazon Bedrock Guardrails自動推理檢查（Automated Reasoning checks）功能已正式可用 ， 同時新增5項功能 。 該功能通過基于數學和邏輯的形式化驗證機制 ， 幫助客戶依據其領域知識 ， 提高檢測和驗證模型輸出的準確性 ， AI響應驗證準確率高達99% ， 能夠有效降低AI幻覺帶來的風險 。
這種方法與概率推理方法有著本質區別 。 概率推理方法是通過為結果分配概率來處理不確定性 ， 而自動推理檢查功能做到將AI輸出轉化為邏輯可驗證的命題 ， 幫企業把數學嚴謹性嵌入到AI應用的防護中 。
當模型輸出存在多種解釋時 ， 自動推理檢查功能還能輔助檢測歧義情況 。
在預覽版的基礎上 ， 該功能正式版新增了多項能力：可支持處理長達80K token的文檔 ， 保存和復用驗證測試 ， 自動生成測試場景 ， 以自然語言形式反饋策略優化建議 ， 并允許客戶自定義置信度閾值 。 這些增強功能讓自動推理檢查從概念性探索走向可規模化落地 ， 給業務層面加筑一道AI可信防線 。

一、十年打磨的幕后武器 ， 首次走向客戶應用幻覺是大語言模型輸出內容不靠譜的關鍵問題之一 。 企業客戶希望獲得更加確定性的結果：一是語法表達和事實表達上的正確性 ， 即不希望出現幻覺；二是業務表達上的準確性 ， 即希望大模型能夠真正理解業務場景 ， 輸出符合業務邏輯的內容 。
降低幻覺的一個常見做法是把整個原始文檔作為提示詞和上下文傳給大模型 ， 這樣方式往往會消耗大量Token ， 成本很高 ， 還考驗模型能不能從大量內容里準確提取 ， 成本和準確性都有風險 。
通過規則補充模型能力 ， 是大模型生產化落地的一個可取方法 。
自動推理檢查功能相當于“大模型的邏輯監督員” ， 在模型輸出前 ， 加了一道邏輯校驗 ， 來進一步提升AI輸出內容的可信度 。
其背后技術原理是符號式AI（Symbolic AI） ， 核心思想是把人類世界的各種描述抽象成邏輯表達 ， 再通過嚴格的邏輯控制 ， 確保AI的輸出或自動生成的內容符合實際結果 。
在Amazon S3、Amazon IAM等核心服務中 ， 亞馬遜云科技已使用自動推理技術十余年 ， 驗證代碼正確性、優化性能、縮短迭代周期 。
比如在Amazon S3存儲桶中客戶需要對訪問權限做嚴格控制 ， 在Amazon VPC中涉及大量的網絡連接和權限控制 ， 背后都是基于自動推理實現的 。
通過Amazon Bedrock Guardrails ， 亞馬遜云科技首次將這一工具開放給客戶 ， 提供AI安全與合規的即開即用能力 ， 進一步改善實際業務中大模型幻覺問題 。
正式推出的Amazon Bedrock Guardrails自動推理檢查功能新增5大特性：
（1）可處理大型文檔：支持在單次構建中處理大型文檔 ， 最多可達80K tokens長文檔 ， 能輕松處理海量文檔資料 ， 相當于多達100頁的內容 。
（2）簡化策略驗證流程：可保存驗證測試并反復運行 ， 便于隨時間推移對策略進行維護和驗證 ， 讓策略驗證擁有類似“回歸測試”的工程屬性 。
【降低大模型幻覺、讓企業AI輸出更靠譜，亞馬遜云科技掏出10年家底】（3）自動場景生成：根據客戶的定義自動創建測試場景 ， 能降低使用門檻 ， 節省時間和精力 ， 有助于實現更全面的場景覆蓋 。
（4）增強的策略反?。 耗芄灰宰勻揮镅緣男問轎唄員涓峁┙ㄒ?， 從而簡化策略優化流程 ， 讓并非邏輯學專家的開發者和合規人員也能快速上手 。
（5）可定制的驗證設置：可根據具體需求調整置信度分數閾值 ， 使企業對驗證嚴格程度擁有更靈活的控制權 。
這些新特性的推出 ， 意味著自動推理檢查功能已經從一個面向專業領域的“概念驗證工具” ， 發展成為可以大規模、標準化應用的工程化能力 ， 從實驗室走向生產環境 。

二、判斷AI助手回答是否符合規則 ， 精準定位矛盾點將一份自然語言寫成的政策文檔上傳到Amazon Bedrock Guardrails模塊后 ， 系統會通過自動推理 ， 把自然語言的表述轉化為符號化的邏輯表達 ， 即自動抽取一系列規則和變量 ， 進行符號化處理 ， 再組合成規則 。
這一過程在控制臺中包含完整的邏輯鏈路：用戶在“Automated Reasoning”下創建策略 ， 輸入名稱和描述并上傳規則文檔；系統會自動生成由規則（Rules）、變量（Variables）和自定義類型（Custom Types）組成的邏輯結構 ， 并應用在Amazon Bedrock Guardrails的最終防護環節 。
這些規則的作用是驗證大模型的輸出結果 。 大模型本身并不知道企業內部的規則 ， 只是基于概率生成的 。 通過這樣一道邏輯校驗 ， 就能捕捉模型的輸出 ， 判定它是有效（Valid）、無效（Invalid）還是部分滿足（Satisfiable） 。
規則定義了變量之間的邏輯關系并具唯一ID以便追溯 ， 變量抽取原文中的關鍵概念 ， 如首付比例或信用評分 ， 自定義類型則用于限定取值范圍 ， 例如區分“有保險貸款”和“常規貸款” 。
在“Tests”環節 ， 用戶可以先利用“自動生成場景”快速得到覆蓋全面的測試用例 ， 再補充手動測試 ， 并為每個用例設定預期（Valid、Invalid、Satisfiable） ， 同時可設置置信度閾值 。
前期抽象出規則的過程是自動完成的 ， 不需要人工參與 ， 效率更高 。 這個過程可能存在幻覺 ， 所以系統提供了自定義接口 ， 讓領域專家能對這些規則進行修改和修訂 ， 確保邏輯正確 。 規則修改完成后 ， 就可以把它們推到線上 。
當企業員工和大模型真正交互時 ， 這些規則會作為一道過濾器 ， 對模型輸出進行檢查 。 這樣一來可以更好地控制模型輸出 ， 避免業務邏輯上的錯誤 。
運行驗證后 ， 系統不僅能判斷AI助手的回答是否符合審批規則 ， 還能在失敗時精確定位到引發矛盾的規則 ， 幫助用戶優化策略或修正測試 。
完成驗證后 ， 單個Guardrail最多可附加兩份自動推理策略 ， 并能與內容過濾、上下文基礎核查等其他防護機制協同工作 ， 從而形成覆蓋邏輯、內容與語境的多層次安全保障 。
在實際應用中 ， 自動推理檢查功能會集成在業務流程里 。 該模塊可以和防違規模型一起用 ， 也可以獨立應用 ， 把任何模型的輸出結果傳到Guardrails進行管控 。
這些防護措施不僅適用于Amazon Bedrock的模型 ， 還可通過API擴展到第三方模型 ， 并能與Strands Agents及基于Amazon Bedrock AgentCore的Agent配合使用 ， 在多Agent協作場景中同樣發揮作用 。

三、優化公用事業停電管理系統 ， 讓企業AI部署合規可靠亞馬遜云科技在官方博客中以房貸審批為例 ， 演示了Amazon Bedrock Guardrails自動推理檢查功能的實際應用 。
在示例中 ， 用戶只需上傳房貸審批規則文檔 ， 系統即可將其轉化為邏輯定義 ， 并自動生成測試場景 。 隨后 ， 用戶可以補充手動測試 ， 為每個用例設定預期結果 ， 并運行驗證 。 當輸出與規則不一致時 ， 系統能準確定位矛盾點 ， 幫助用戶調整策略 。
完成驗證后 ， 這些策略可直接應用到Guardrails中 ， 用于約束AI助手的回答 。
這一示例表明 ， 自動推理檢查功能能夠把日常業務規則轉化為可驗證的邏輯 ， 并通過自動化測試和持續驗證機制 ， 讓AI的輸出始終符合合規和業務要求 。
亞馬遜云科技還與普華永道共同開發了一套解決方案 。 借助自動推理檢查 ， 公用事業公司可通過以下方式實現運營優化：
（1）自動協議生成：創建符合監管要求的標準化流程 。
（2）實時計劃驗證：確保應急響應計劃符合既定政策 。
（3）結構化工作流構建：制定基于嚴重程度的分級工作流 ， 并明確響應目標 。
該解決方案的核心在于將智能策略管理與優化后的響應協議相結合 ， 運用自動推理檢查技術來評估AI生成的回復 。 一旦發現回復無效或存在可滿足性方面的問題 ， 便會利用自動推理檢查的結果 ， 優化完善或者直接重新編制答案 。
這套方案體現了AI如何變革傳統公用事業運營模式 ， 通過將數學層面的精準性與實際需求相結合 ， 使其更高效、更可靠、更及時響應客戶需求 。
Amazon Bedrock Guardrails自動推理檢查功能已在美國東部（俄亥俄州、北弗吉尼亞州）、美國西部（俄勒岡州）以及歐洲（法蘭克福、愛爾蘭、巴黎）區域正式可用 ， 按處理文本量計費 。

結語：給“AI護欄”加道“數學保險鎖”十多年來 ， 亞馬遜云科技在Amazon S3、Amazon IAM、加密引擎等核心云服務中 ， 率先應用自動推理技術 ， 用數學和邏輯的方法論驗證系統的正確性 。 這些經驗成為支撐復雜大規模云服務實現安全和可靠的重要力量之一 。
市面上的AI安全手段大多依賴過濾或概率閾值 ， 難以給出確定性保障 。 Amazon Bedrock Guardrails自動推理檢查功能首次具備邏輯可證明的審查能力 ， 讓AI的安全性不僅依賴概率和經驗判斷 ， 還增加了數學邏輯上的可驗證能力 ， 從“可信”進一步邁向“可證明” 。
這相當于為AI加了一道“數學保險鎖” ， 進一步提升了AI的可靠性 ， 讓企業能夠邏輯化地驗證AI輸出是否符合政策與規則 ， 有助于規避因“幻覺”引發的事實性錯誤 。

    推薦閱讀