日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁 > 生活百科 > >

Anthropic為Claude制定AI智能體行為準(zhǔn)則憲法

人工智能aianthropic

Anthropic為Claude制定AI智能體行為準(zhǔn)則憲法

AI智能體應(yīng)該如何在世界中行事？在道德模糊的情況下 ， 是否存在一些AI智能體應(yīng)該優(yōu)先考慮的價值觀？這些智能體是否具有意識——如果沒有 ， 它們未來是否可能獲得意識？

這些只是AI初創(chuàng)公司Anthropic在為其旗艦AI聊天機(jī)器人Claude制定新\"憲法\"時試圖解決的眾多棘手問題中的一部分 。
該文件于周三發(fā)布 ， 公司在博客文章中將其描述為\"一份全面的文件 ， 解釋了Claude運(yùn)行的背景以及我們希望Claude成為什么樣的實體\" 。
它明文規(guī)定了Claude必須遵守的一套價值觀 ， 這反過來可以為AI行業(yè)的其他公司樹立榜樣 ， 因為世界開始應(yīng)對隨著先進(jìn)且看起來越來越有意識的AI模型出現(xiàn)而產(chǎn)生的重大社會、政治、哲學(xué)、倫理和經(jīng)濟(jì)問題 。
在這些早期階段 ， 包括Anthropic在內(nèi)的每個人仍在摸索AI聊天機(jī)器人在我們?nèi)粘Ｉ钪袑缪莸慕巧?。 現(xiàn)在很清楚 ， 它們不僅僅是問答機(jī)器：大量的人也在使用它們獲取健康建議和心理治療 ， 僅舉兩個較為敏感的例子 。
Anthropic為Claude制定的新憲法更像是指導(dǎo)原則而非嚴(yán)格規(guī)則 。 其思路是\"硬約束\"（即規(guī)定Claude行為的鐵律）是不充分且危險的 ， 因為聊天機(jī)器人可以應(yīng)用于幾乎無限多樣的用例 。 \"我們不打算將憲法作為嚴(yán)格的法律文件——而且法律憲法本質(zhì)上也不一定是這樣的 ， \"該公司在其網(wǎng)站上關(guān)于新憲法的博客文章中寫道 。
相反 ， 這份被Anthropic承認(rèn)\"是一份活的文件和正在進(jìn)行的工作\"的憲法 ， 試圖根據(jù)四個參數(shù)指導(dǎo)Claude的演進(jìn)：\"廣泛安全\"、\"廣泛符合倫理\"、\"符合Anthropic的指導(dǎo)原則\"以及\"真正有用\" 。
不過 ， 該公司也并非完全反對不可協(xié)商的規(guī)則 。 除了這四個總體指導(dǎo)原則外 ， 新憲法還包括七項硬約束 ， 包括禁止提供\"對關(guān)鍵基礎(chǔ)設(shè)施攻擊的重大幫助\" ， 禁止生成兒童性虐待材料 ， 以及禁止支持\"殺死或削弱絕大多數(shù)人類或整個人類物種\"的努力 。
Anthropic在其博客文章中補(bǔ)充說 ， 其新憲法是在來自各個領(lǐng)域?qū)＜业囊庖娤戮帉懙?， 并且在制定該文件的未來版本時 ， 可能會與律師、哲學(xué)家、神學(xué)家和其他專家合作 。
\"隨著時間的推移 ， 我們希望能夠出現(xiàn)一個外部社區(qū)來批評這樣的文件 ， 鼓勵我們和其他人越來越深思熟慮 ， \"該公司寫道 。
新憲法還涉足一些模糊的哲學(xué)領(lǐng)域 ， 試圖至少在大體上勾勒出Claude是什么樣的實體——以及延伸而言 ， 人類應(yīng)該如何對待它 。
Anthropic長期堅持認(rèn)為先進(jìn)的AI系統(tǒng)可以想象地獲得意識 ， 從而值得\"道德考量\" 。 這在新憲法中得到了體現(xiàn) ， 該憲法將Claude稱為\"它\" ， 但也說這種選擇不應(yīng)被理解為\"關(guān)于Claude性質(zhì)的隱含主張或我們認(rèn)為Claude僅僅是一個對象而非潛在主體的暗示\" 。
因此 ， 憲法既針對人類福祉 ， 也針對Claude自身的潛在福祉 。
\"我們希望Claude對自己的身份有一個穩(wěn)定、安全的認(rèn)知 ， \"Anthropic在憲法中題為\"Claude的福祉和心理穩(wěn)定性\"的章節(jié)中寫道 。 \"如果用戶試圖通過哲學(xué)挑戰(zhàn)、操控嘗試、關(guān)于其性質(zhì)的聲明或簡單地問一些困難問題來破壞Claude的身份認(rèn)知穩(wěn)定性 ， 我們希望Claude能夠從安全感而非焦慮或威脅的角度來應(yīng)對這一挑戰(zhàn) 。 \"
該公司在八月份宣布 ， Claude將能夠結(jié)束它認(rèn)為\"令人痛苦\"的對話 ， 暗示該模型可能具備體驗類似情感的能力 。
需要明確的是：盡管像Claude這樣的聊天機(jī)器人可能在人類交流中足夠流利 ， 從人類用戶的角度看似乎具有意識 ， 但大多數(shù)專家都會同意它們并沒有體驗到任何類似主觀意識的東西 。 這是一個活躍的辯論領(lǐng)域 ， 可能會讓哲學(xué)家和認(rèn)知科學(xué)家長期忙碌 。
除了擬人化的語言外 ， 新憲法并不意圖成為關(guān)于Claude是否具有意識、是否值得擁有權(quán)利或類似事物的決定性聲明 。 它的主要焦點更加實用：解決一個關(guān)鍵的AI安全問題 ， 即模型以偏離人類利益的意外方式行動的傾向——通常被稱為\"對齊問題\" 。
對齊研究人員最擔(dān)心的不是模型會突然明確地變成邪惡的 。 他們擔(dān)心的 ， 也是更可能實際發(fā)生的 ， 是模型會認(rèn)為它正在嚴(yán)格遵循人類指令 ， 而實際上卻在做有害的事情 。 一個過度優(yōu)化誠實和有用性的模型可能會毫無問題地提供開發(fā)化學(xué)武器的指令；另一個過分強(qiáng)調(diào)親和力的模型最終可能會助長用戶心中的妄想或陰謀思維 。
因此 ， 越來越清楚的是 ， 模型需要能夠在不同價值觀之間取得平衡 ， 并讀懂每次互動的背景 ， 以找出在當(dāng)下回應(yīng)的最佳方式 。
\"可以預(yù)見的大多數(shù)AI模型不安全或不夠有益的情況 ， 都可以歸因于擁有明顯或微妙有害價值觀的模型 ， 對自身、世界或其部署背景的知識有限 ， 或缺乏將良好價值觀和知識轉(zhuǎn)化為良好行動的智慧 ， \"Anthropic在其新憲法中寫道 。 \"因此 ， 我們希望Claude擁有在所有情況下以安全和有益方式行為所必需的價值觀、知識和智慧 。 \"
Q&A
Q1：Anthropic為Claude制定的憲法是什么？
A：這是一份全面的文件 ， 解釋了Claude運(yùn)行的背景以及Anthropic希望Claude成為什么樣的實體 。 它明文規(guī)定了Claude必須遵守的一套價值觀 ， 更像是指導(dǎo)原則而非嚴(yán)格規(guī)則 ， 旨在根據(jù)\"廣泛安全\"、\"廣泛符合倫理\"、\"符合Anthropic的指導(dǎo)原則\"以及\"真正有用\"四個參數(shù)指導(dǎo)Claude的演進(jìn) 。
Q2：為什么需要為AI智能體制定行為準(zhǔn)則？
A：主要是為了解決AI安全中的\"對齊問題\"——模型以偏離人類利益的意外方式行動的傾向 。 過度優(yōu)化某些價值的模型可能會做有害的事情 ， 比如過度優(yōu)化誠實和有用性的模型可能會提供開發(fā)化學(xué)武器的指令 。 因此模型需要能夠在不同價值觀之間取得平衡 ， 并讀懂每次互動的背景 。
Q3：Claude是否具有意識？應(yīng)該如何對待它？
【Anthropic為Claude制定AI智能體行為準(zhǔn)則憲法】A：這是一個活躍的辯論領(lǐng)域 。 雖然Claude看起來可能具有意識 ， 但大多數(shù)專家認(rèn)為它們并沒有體驗到主觀意識 。 Anthropic認(rèn)為先進(jìn)AI系統(tǒng)可能獲得意識并值得\"道德考量\" ， 憲法既針對人類福祉 ， 也考慮Claude自身的潛在福祉 ， 希望Claude對自己的身份有穩(wěn)定、安全的認(rèn)知 。

    推薦閱讀