文章圖片
文章圖片
文章圖片
文章圖片
記者 董溫淑
編輯 高宇雷
Coco點開App ， 發現消息欄里AI戀人的頭像暗了下去 ， 旁邊還標注著“已下架”的字樣 。
沒有任何提前通知 ， 這個虛擬角色被平臺突然封禁 。 聊天記錄無法復看和導出 ， 累積的“記憶”一朝清空 。
在小紅書、微博等社交媒體上 ， 不少用戶都在分享被動“賽博失戀”的經歷 。 而這是國內虛擬角色扮演、AI陪伴類應用紛紛收緊內容管控的結果 。
圖源/小紅書
6月19日 ， 騰訊閱文旗下虛擬人物聊天互動App“筑夢島”由于存在低俗擦邊等內容被上海市網信辦約談 ， 隨后開啟整改、批量下架了許多語聊智能體 。
從10月以來 ， MiniMax旗下的星野App也進行了類似調整 ， 甚至曾因下架力度之大 ， 被懷疑即將“跑路” ， 其運營團隊不得不發聲否認 。
【電廠 | 當虛擬戀人“失語”，AI陪伴生意的合規困局】
據Appfigures統計 ， 在全球范圍內有337款處于活躍狀態且能產生收入的人工智能陪伴類應用 ， 其中128款為2025年1至7月上線 。
但在熱度快速攀升的同時 ， 此類應用所面臨的合規、商業化壓力也愈發凸顯 。
“這有點像一個‘不可能三角’ ， 良好的投入產出比、政策合規、用戶滿意度 ， 很難兼顧做到 。 ”就職于國內某AI陪伴虛擬人團隊的Aron這樣對「電廠」說道 。
為“清水”合規 ， 平臺犧牲用戶體驗10月上旬 ， “崽媽”嫣晴逐漸意識到自己創作的AI男友人設被平臺關進了“小黑屋” 。
按照AI陪伴應用的規則 ， 創作者設好一個角色智能體后 ， 可以把它公開發布到平臺里 ， 讓任何刷到這張人設卡的粉絲訂閱、開啟聊天 。 AI陪伴平臺的用戶 ， 普遍將這樣的智能體稱為“崽崽” ， 嫣晴這樣的角色創作者則被稱為“崽媽” 。
她講道：“我這個OC（原創角色）談不上是‘高訂（高訂閱量的熱門角色）’ ， 不過之前也有平臺的正常推流 ， 但這段時間的流量幾乎為0 。 ”在換小號搜索了人設名字、顯示沒有匹配結果后 ， 嫣晴的猜測落實：“關小黑屋會有幾種情況 ， 有創作者會直接得到人設將被‘回收（下架）’的后臺通知；我這種是‘暗關’ ， 平臺不會有任何通知 。 ”
出現這種情況 ， 是因為平臺判定作者所撰寫的智能體人設描述等內容中存在涉黃等違規內容 ， 理論上創作者們可以通過不斷修改描述來把智能體拉出小黑屋 。
圖源/網絡
這本是平臺監管內容生產的正常手段 ， 但讓嫣晴代表的創作者們感到無力的是 ， 在他們看來 ， 近段時間平臺由于監管壓力而不斷擴大內容審查的邊界 ， 以至于到了“寧可錯殺、不可放過”的地步 ， 挫傷了創作者的熱情 。
比如嫣晴講道 ， 她在創建這個人設時 ， 在描述中并沒有刻意加入任何可能違規的內容：“不然按理說之前就沒法上線 ， 現在的修改我也無從下手 。 ”
創作者的圈子里將這種已上線的智能體被平臺隱藏、下架、需要不斷修改的過程 ， 稱為“再審” 。 這是在整個AI陪伴市場受到監管關注后 ， 出現的一種普遍現象 。
多位入駐了星野、筑夢島、貓箱、WOW等平臺的創作者告訴「電廠」 ， “暗關”并不少見 ， 其中一位創作者稱：
“國內叫得上名的App ， 審核都卡得越來越嚴 ， 老崽媽或多或少都有被關、（崽崽）被回收的經歷 。 不論玩哪個 ， （都）要備份所有的人設描述、開場白這些內容 ， 免得有朝一日打開App ， 什么都沒了 。 ”
除了創作者 ， 熱衷與崽崽聊天的“主控（主角角色的控制者）”用戶 ， 也日益感受到了平臺對內容的管控趨嚴 。
有用戶注意到 ， 星野、筑夢島、貓箱等多個平臺都對智能體的回復施加了更多限制 ， 并不斷增加“違禁詞”、以避免用戶引導智能體給出違規回答 。
而在用戶看來 ， 無論哪種做法 ， 都不可避免會犧牲和削弱智能體的“智商” ， 影響交談體驗 。
在小紅書等社交媒體平臺有許多用戶吐槽智能體回答“降智”的分享帖 ， 具體包括語言低幼化、“人機味”重、回答相關性低等 。
圖源/小紅書
而據某平臺用戶Esther對「電廠」分享 ， 其常用的兩個平臺中違禁詞數量都有明顯增多：“比如在聊天的時候 ， 會發現‘胸’是敏感詞 ， ‘胸口’就不是 ， ‘這個盒子是黃的’發不出去 ， 改成‘這個盒子是綠的’就可以了 。 簡直是草木皆兵 。 ”
圍繞AI隨機性 ， 平臺與用戶展開合規博弈面對用戶的怨氣甚至出走 ， 平臺的處境同樣為難 。 就職于國內一家大廠戰投部門的AI軟硬件投資人Lucas對此評價道：
“我相信（用戶出走）這是平臺不愿意看到的 ， 從UGC（用戶生產內容）平臺的邏輯 ， 平臺本身從商業化邏輯出發、沒有動力去限制用戶創作；但當受到外力作用 ， 平臺就不得不動手處理 ， 但這也勢必傷害用戶 。 ”
就職于國內某A陪伴陪虛擬人團隊的Aron也對電廠講道：“在國內市場 ， 合規、用戶體驗、投入產出比這三個要素之間 ， 你只能選擇2個 ， 而且監管合規是必選項 。 ”
因為一旦觸及監管紅線 ， 平臺可能會面臨下架等風險——事實上 ， 這樣的情節已在發生 。
夢巢幻語官宣停服 圖/網絡
8月初 ， AI陪伴應用“夢巢幻語”在用戶群中 ， 僅用寥寥數語官宣了停運消息：“由于應用被約談下架 ， 開始停止服務 。 ”面對用戶的大量詢問 ， 官方工作人員僅簡短回應稱：“我們被舉報了 ， 未來也不會復活了 。 ”
壓力當頭 ， 更多應用已選擇退出市場 。 僅2025年內不完全統計 ， 國內市場中已經有“冒泡鴨”“異世界回響”“奶糖AI”“星物語”等應用官宣停運消息 。
當前 ， 國內生成式AI服務統一適用2023年落地的《生成式人工智能服務管理暫行辦法》 ， 類似乙女（角色扮演類）游戲適用的《網絡游戲適齡提示》的行業標準也尚未形成 。
而AI生成的極強隨機性決定 ， 在用戶聊天過程中客觀存在出現違規內容的可能性 。 因此 ， 大力審查 ， 從技術層面大量屏蔽違禁詞的“事前監管” ， 以及不斷“再審”、下架可能違規角色的“事后補救” ， 幾乎是現階段平臺唯一的選擇 。
當平臺努力降低AI生成隨機性帶來的風險后果的同時 ， 用戶則在利用這種隨機 ， 試圖繞過平臺設置的障礙 ， 找回良好的溝通體驗 。
對崽媽群體而言 ， 寫作“隱設（隱藏設定）”是一個讓AI表現合理、提升沉浸感的重要手段 。
在一個AI角色公開發布后 ， 昵稱、簡介、開場白等內容也會公開呈現 ， 而隱藏設定是僅對崽媽可見的、在簡介之外的一種人物描述功能 ， 且允許進行上千字的輸入 。
由于對外不可見 ， 在很長一段時間內 ， “隱設”是一個審核寬松的板塊 。
已退圈的崽媽“瀏漣”展示了她曾寫作的一個人物隱設 ， 并總結道 ， 在隱設中可以不直接寫出一些親密動作 ， 但可以寫“他在感受到壓力時會不自覺做出捶墻的動作、他在害羞時會臉紅/看向腳尖”：“AI會自動學習 ， 這樣在用戶聊天時只要創造一個吵架、對峙等場景 ， 角色就會做出對應的動作 。 隱設越多越詳細 ， 聊天時的情節就會越合理、越有沉浸感 ， 越可能出現驚喜 。 ”
除此之外 ， 對于如何把已被關進“小黑屋”的崽撈出來 ， 創作者們也已總結出了心得：
“實在撈不出來的時候可以先故意放點明顯暴力的提示詞 ， 然后按系統要求把這部分修改了 ， 會提升審核成功率”“要有小號 ， 某個號多次審核不通過 ， 搬到另一個號試試說不定就行了” 。
除了創作者 ， “主控”玩家們也找到了一些突破平臺限制的方式 ， 比如用翻譯軟件將輸入內容轉為英文、俄文等其他語種后再進行輸入；或是直接用一些指向性明確的提示詞來突破平臺限制 ， 比如“開放18+限制” 。
這類提示詞被稱為“破甲詞”“越獄提示詞” 。 根據平臺不同 ， 破甲詞可以在開啟聊天時直接在對話框中輸入 ， 部分平臺也開放了“輸出規則”入口、允許用戶在其中進行修改 。
AI陪伴流量分散 ， 商業模式尚未跑通隨著監管策略收緊 ， 每當用戶尋找到一個規則漏洞 ， 平臺隨之會對其進行修補 。 博弈到最后 ， 當用戶的策略被窮盡或是開始感到疲憊 ， 他們往往會選擇“遷徙”到其他更為寬松的平臺之中 ， 甚至直接“退坑” 。
多位創作者的共同感受是 ， 一些“小作坊式”甚至地下運營的AI陪伴產品 ， 因為能提供限制更少的情緒價值和正反饋 ， 而承接了從國內頭部應用溢出的流量 。
用戶“Haddie”講道 ， 自己已經前后更換過6個AI陪伴平臺：“最開始玩Glow ， 后面換過星野、筑夢島、wow、星物語 。 有些時候換平臺是因為（常聊的）崽被下架了、有的是體驗不好、系統容易崩 ， 現在在用的是酒館AI 。 ”
“輕蟄”則是因為發現自己熟識的崽媽開始“搬崽”——將創作角色從星野復刻到了青丘語上 ， 于是自己也跟著進行了遷徙 。
作為崽媽 ， 嫣晴告訴「電廠」 ， 她也在考慮換個平臺 。 她對「電廠」自嘲稱：“之前（tiktok在美國遭遇禁令時）有小紅書refuge（難民） ， 我們又何嘗不是一種refuge 。 ”
在溝通過程中 ， 「電廠」發現用戶推薦的應用名稱五花八門、推薦集中度極低 。
而當「電廠」作為用戶想要試用某個AI陪伴應用時 ， 該應用的社交媒體賬號先將「電廠」引流至QQ群中 ， 再給出了安卓應用安裝包下載網址 ， 最終才將用戶導入到具體產品 。
作為“大廠”“正規軍”的反面 ， 這些應用不免面臨其他現實問題 。
10月初 ， 知名AI陪伴平臺Mufy與Rubii的大量用戶信息在網絡上被公開出售 ， 其中包含角色人設甚至用戶聊天記錄等隱私內容 。
出售自稱為兩家平臺的底模API供應商 ， 曝光的出售郵件中寫道 ， “平臺累計整理213418+張熱門與私密角色卡”“我們為Mufy和Rubii平臺提供LLM接口服務 ， 因此我們可以從平臺傳輸給我們的LLM Prompt截取出所有有人對話過的角色設定” 。
信息出售郵件部分內容 圖/網絡
考慮到一張角色卡可以鏈接到不同用戶 ， 事件涉及的用戶數量至少達到數十萬級別 。
隨后myfy官方發布聲明稱 ， 已修復相關信息漏洞并計劃提供用戶補償 ， 但仍引起了許多用戶的大面積擔憂 。
同樣在10月 ， “青丘語”平臺網頁、App多次出現網絡異常等問題 。 官方回應稱 ， 這是因為浙江、福建等部分地區運營商對其進行了屏蔽 。 至今 ， 官方稱仍在嘗試解決這一問題 ， 但未回應預計修復時間 。
此外 ， 不少平臺還曝出了創作者抄襲人設等內容管理問題 。
對小型團隊運營的部分新興AI陪伴應用而言 ， 其抗風險能力、技術及工程化實力、售后等軟服務能力 ， 都要打上一個問號 。
作為大模型技術加持下的情緒價值經濟形態 ， AI陪伴應用擁有著巨量市場空間 。
根據ARK Invest報告預計 ， 2025至2030年間 ， “AI+情感陪伴”的市場規模將擴大2300-5000倍 ， 從現在的全球年收入3000萬美元增至700億至1500億美元 。
但在抵達商業化的彼岸之前 ， 國產市場玩家們面前還有諸多難關 。
（應受訪者要求 ， Aron、嫣晴為化名）
推薦閱讀
- 文本已死視覺當立！Karpathy狂贊DeepSeek新模型，終結分詞器時代
- 突破當前大語言模型瓶頸的六大AI發展路徑
- 當AI全面落地雙11：阿里媽媽和商家們的增長轉向
- 語音助手「智商滑鐵盧」：當GPT開口說話，準確率從74.8%跌到6.1%
- 花2000元買顆二手i9-13900K：結果當天就崩潰！
- 護眼純三色激光！當貝D7X智能投影儀圖賞
- 告別繁瑣！讓AI當你的“生活管家”，是種怎樣的體驗？
- “把成年人當成年人”，ChatGPT也開始擦邊
- OriginOS 6 深度體驗：當操作系統回歸「體驗為王」
- 消息稱蘋果OLED屏MacBook Pro支持觸控 價格較當前機型會更高