1. 首頁 > 生活百科 > >

如何創造\謙遜\的人工智能

ai人工智能

如何創造\謙遜\的人工智能

人工智能在幫助醫生診斷患者和個性化治療方案方面顯示出巨大潛力 。 然而 ， 由麻省理工學院領導的國際科學家團隊警告稱 ， 目前設計的AI系統存在將醫生引入錯誤方向的風險 ， 因為它們可能會過于自信地做出錯誤決定 。

研究人員表示 ， 防止這些錯誤的一種方法是將AI系統編程得更加\"謙遜\" 。 這樣的系統會在對診斷或建議缺乏信心時主動表明 ， 并在診斷不確定時鼓勵用戶收集更多信息 。
\"我們現在把AI當作神諭使用 ， 但我們可以把AI當作教練 。 我們可以把AI當作真正的副駕駛 。 這不僅會增強我們檢索信息的能力 ， 還會增強我們連接各種信息點的能力 ， \"MIT醫學工程與科學研究所高級研究科學家、Beth Israel Deaconess醫療中心醫生、哈佛醫學院副教授Leo Anthony Celi說 。
Celi和他的同事創建了一個框架 ， 他們說這可以指導AI開發者設計顯示好奇心和謙遜的系統 。 研究人員表示 ， 這種新方法可以讓醫生和AI系統作為合作伙伴工作 ， 并幫助防止AI對醫生決策產生過大影響 。
Celi是這項研究的資深作者 ， 該研究今天發表在《BMJ健康與護理信息學》上 。 論文的主要作者是Sebastián Andrés Cajas Ordonez ， 他是MIT Critical Data的研究員 ， 這是一個由MIT醫學工程與科學研究所計算生理學實驗室領導的全球聯盟 。
融入人類價值觀
據MIT團隊稱 ， 過度自信的AI系統可能在醫療環境中導致錯誤 。 先前的研究發現 ， ICU醫生會依賴他們認為可靠的AI系統 ， 即使他們自己的直覺與AI建議相反 。 當AI建議被認為具有權威性時 ， 醫生和患者都更容易接受錯誤的AI建議 。
研究人員表示 ， 醫療機構應該使用與臨床醫生更協作的AI系統 ， 而不是提供過度自信但可能錯誤建議的系統 。
\"我們正在努力將人類納入這些人機AI系統中 ， 這樣我們就能促進人類集體反思和重新想象 ， 而不是讓孤立的智能體做所有事情 。 我們希望人類通過使用AI變得更有創造力 ， \"Cajas Ordonez說 。
為了創建這樣的系統 ， 該聯盟設計了一個框架 ， 包括幾個可以集成到現有AI系統中的計算模塊 。 其中第一個模塊要求AI模型在做出診斷預測時評估自己的確定性 。 由聯盟成員、墨爾本大學的Janan Arslan和Kurt Benke開發的認識論美德評分充當自我意識檢查 ， 確保系統的信心被每個臨床場景的固有不確定性和復雜性適當調節 。
有了這種自我意識 ， 模型就可以根據情況調整其反應 。 如果系統檢測到其信心超過了可用證據支持的水平 ， 它可以暫停并標記這種不匹配 ， 請求能夠解決不確定性的特定檢查或病史 ， 或建議專科會診 。 目標是讓AI不僅提供答案 ， 還要在這些答案應該謹慎對待時發出信號 。
\"這就像有一個副駕駛會告訴你 ， 你需要尋求新的眼光來更好地理解這個復雜的患者 ， \"Celi說 。
Celi和他的同事此前已經開發了可用于訓練AI系統的大規模數據庫 ， 包括來自Beth Israel Deaconess醫療中心的重癥監護醫療信息市?。 ∕IMIC）數據庫 。 他的團隊現在正在將新框架實施到基于MIMIC的AI系統中 ， 并將其介紹給Beth Israel Lahey健康系統的臨床醫生 。
研究人員表示 ， 這種方法也可以在用于分析X光圖像或確定急診室患者最佳治療方案的AI系統中實施 。
邁向更具包容性的AI
這項研究是Celi和他的同事創建AI系統的更大努力的一部分 ， 這些系統由最終將受到這些工具影響最大的人員設計和使用 。 許多AI模型 ， 如MIMIC ， 都是在美國公開可用的數據上訓練的 ， 這可能導致對某種醫療問題思考方式的偏見 ， 并排除其他觀點 。
Celi說 ， 引入更多觀點對于克服這些潛在偏見至關重要 ， 強調全球聯盟的每個成員都為更廣泛的集體理解帶來了獨特的視角 。
用于診斷的現有AI系統的另一個問題是 ， 它們通常在電子健康記錄上訓練 ， 而這些記錄最初并不是為此目的而設計的 。 這意味著數據缺乏在做出診斷和治療建議時有用的大量背景信息 。 此外 ， 許多患者由于缺乏訪問權限（如生活在農村地區的人）從未被納入這些數據集 。
在MIT Critical Data主辦的數據研討會上 ， 數據科學家、醫療專業人員、社會科學家、患者等群體共同設計新的AI系統 。 在開始之前 ， 每個人都被提示思考他們使用的數據是否捕獲了他們旨在預測的所有驅動因素 ， 確保他們不會無意中將現有的結構性不公平編碼到他們的模型中 。
\"我們讓他們質疑數據集 。 他們對自己的訓練數據和驗證數據有信心嗎？他們認為是否有患者被無意或有意排除 ， 這將如何影響模型本身？\"他說 。 \"當然 ， 我們不能停止甚至延遲AI的發展 ， 不僅是在醫療保健領域 ， 在每個行業都是如此 。 但是 ， 我們必須在如何做這件事上更加深思熟慮和周到 。 \"
這項研究由韓國衛生產業發展研究院通過波士頓-韓國創新研究項目資助 。
Q&A
Q1：什么是謙遜的人工智能？它與傳統AI有什么不同？
A：謙遜的人工智能是指能夠在缺乏信心時主動表明不確定性的AI系統 。 與傳統過度自信的AI不同 ， 謙遜AI會在診斷不確定時鼓勵用戶收集更多信息 ， 避免誤導醫生做出錯誤決定 。
Q2：認識論美德評分是什么？它如何幫助AI變得更謙遜？
A：認識論美德評分是由墨爾本大學研究人員開發的計算模塊 ， 充當AI的自我意識檢查 。 它確保系統的信心被每個臨床場景的固有不確定性和復雜性適當調節 ， 讓AI在信心超過證據支持水平時能夠暫停并標記不匹配 。
Q3：為什么現有的醫療AI系統容易產生偏見？
【如何創造\謙遜\的人工智能】A：現有醫療AI系統容易產生偏見主要有兩個原因：一是許多模型在美國公開數據上訓練 ， 導致對某種醫療問題思考方式的偏見；二是訓練數據基于電子健康記錄 ， 缺乏診斷所需的背景信息 ， 且許多患者因缺乏醫療access未被納入數據集 。

    推薦閱讀