AI謠言氾濫,周杰倫、雷軍躺槍,AI生成合成內容須新增標識

新規重點解決“哪些是生成的”“誰生成的”“從哪裡生成的”等問題,推動由生成到傳播各環節的全流程安全管理
文|《財經》研究員 樊朔
編輯 | 郭麗琴
人工智慧技術為生成合成文字、圖片、音訊、影片等資訊提供了便利工具,同時也產生了濫用生成合成技術、虛假資訊傳播擴散加劇等問題。
3月14日,國家網信辦、工信部、公安部、廣電總局聯合釋出《人工智慧生成合成內容標識辦法》(下稱《標識辦法》)以規範人工智慧生成合成內容標識。
標識主要包括顯式標識和隱式標識兩種形式,顯式標識是指在生成合成內容或者互動場景介面中新增的,以文字、聲音、圖形等方式呈現並可以被使用者明顯感知到的標識;隱式標識是指採取技術措施在生成合成內容檔案資料中新增的,不易被使用者明顯感知到的標識。
其中,《標識辦法》明確,人工智慧生成合成內容服務提供者在提供智慧寫作、合成人聲、人臉替換等可能導致公眾混淆或者誤認的深度合成服務時,應當對文字、音訊、圖片、影片、虛擬場景等生成合成內容新增文字、角標、語音、節奏等顯式標識。在提供生成合成內容下載、複製、匯出等功能時,應當確保檔案中含有滿足要求的顯式標識。
《標識辦法》將於2025年9月1日起施行。
此外,配套《標識辦法》,強制性國家標準《網路安全技術 人工智慧生成合成內容標識方法》(下稱《標識標準》),已由國家市場監督管理總局、國家標準化管理委員會正式批准釋出,將與《標識辦法》同步實施。
中國政法大學資料法治研究院教授、聯合國人工智慧高層顧問機構中方成員張凌寒表示,《標識辦法》是在人工智慧生成合成內容生產傳播、使用的鏈條上,透過隱式標識和顯示標識的具體規定,在不影響使用者體驗的情況下,儘量去杜絕虛假有害資訊內容的傳播,並且為相關內容的進一步追溯提供和創造條件。
AI謠言氾濫,周杰倫、雷軍曾躺槍
AI謠言的傳播已多次引發社會關注。
2025年3月,“某超一線男星在澳門豪賭輸掉10億至20億元”的訊息在網路上廣泛傳播,引發大量猜測和熱議,許多網友將矛頭指向周杰倫。對此,周杰倫的經紀公司“傑威爾音樂”於3月11日釋出闢謠宣告,明確指出該傳聞與周杰倫無關,並呼籲公眾勿再以訛傳訛。
3月14日當天,公安部網安局公佈相關調查結果。網民徐某強於2025年3月10日10時,使用軟體“某書”中AI智慧生成功能,輸入社會熱點詞製作了標題為“頂流明星被曝境外豪賭輸光十億身價引發輿論海嘯”的謠言資訊,並透過網際網路平臺對外發布,造成謠言迅速傳播擴散,嚴重擾亂公共秩序,徐某強被處以行政拘留8日處罰。
2025年1月,西藏日喀則地震期間,一張被壓在廢墟下的兒童圖片被大量轉發,但實際上該圖片是AI生成的,並非真實災區影像。
2024年國慶期間,大量使用AI技術偽造的“雷軍”配音影片廣泛傳播,內容涉及對國慶堵車、調休、遊戲等熱門話題的吐槽,甚至包含低俗謾罵等不當言論。這些影片因高度還原雷軍的聲音特徵而引發廣泛關注,播放量超1.2億次。
雷軍在2025年全國兩會期間表示,此類AI換臉和擬聲技術濫用已經成為違法侵權的重災區,他本人也因此陷入“被罵8天”的維權困境。
生成、傳播時應新增標識
《標識方法》將標識分為顯性標識和隱性標識。
對於顯性標識,《標識辦法》明確服務提供者應當對文字、音訊、圖片、影片、虛擬場景等生成合成內容新增顯式標識,在提供生成合成內容下載、複製、匯出等功能時,應當確保檔案中含有滿足要求的顯式標識。
具體而言,對於文字,服務提供者應當在起始、末尾或中間適當位置新增文字提示或通用符號提示;對於音訊,應當在起始、末尾或中間適當位置新增語音提示或音訊節奏提示;對於圖片,應當在適當位置新增顯著提示標識;對於影片,應當在起始畫面、播放周邊或中間適當位置新增顯著提示標識;對於虛擬場景,應當在起始畫面或持續服務過程中適當位置新增顯著提示標識。
此外,AI服務提供者應在生成合成內容的檔案元資料中新增隱式標識,包含內容屬性資訊、服務提供者名稱或編碼、內容編號等製作要素資訊,鼓勵新增數字水印等形式的隱式標識。
《標識方法》規定,應當在使用者服務協議中明確說明生成合成內容標識的方法、樣式等規範內容,並提示使用者仔細閱讀並理解相關的標識管理要求。
張凌寒透露,對於內容生產者在上傳需要標識但未標識的生成合成內容,如何設定傳播平臺的義務,在《標識方法》制訂過程中,尤其受到關注。
《標識方法》第六條規定,傳播平臺應該採取適當方式在釋出內容周邊新增顯著的提示標識,明確提醒公眾該內容屬於生成合成內容,包括:核驗檔案元資料中是否含有隱式標識,檔案元資料明確標明為生成合成內容的;檔案元資料中未核驗到隱式標識,但使用者宣告為生成合成內容的;檔案元資料中未核驗到隱式標識,使用者也未宣告為生成合成內容,但檢測到顯式標識或者其他生成合成痕跡的。
《標識方法》規定,任何組織和個人不得惡意刪除、篡改、偽造、隱匿生成合成內容標識,不得為他人實施上述惡意行為提供工具或者服務,不得透過不正當標識手段損害他人合法權益。
從源頭遏制AI虛假資訊
國家網信辦相關負責人答記者問時表示,《標識辦法》重點解決“哪些是生成的”“誰生成的”“從哪裡生成的”等問題,推動由生成到傳播各環節的全流程安全管理,力爭打造可信賴的人工智慧技術。
考慮到企業需要時間充分理解相關規定和標準規範,針對性地開展能力建設和功能研發,基於標識技術實施的複雜程度、試點試行的實踐經驗,設定《標識辦法》和配套強制性國家標準六個月左右的施行過渡期,將於2025年9月1日起施行。
張凌寒表示,《標識方法》是為了明確AI生成合成內容的標識的具體的方法,對此前出臺的《網際網路資訊服務演算法推薦管理規定》《網際網路資訊服務深度合成管理規定》《生成式人工智慧服務管理暫行辦法》規定情形的網路資訊服務提供者開展人工智慧生成合成內容標識活動進一步銜接。
北京師範大學法學院博士生導師、中國網際網路協會研究中心副主任吳沈括表示,《標識方法》規定了內容強制標識義務。AI生成合成內容的強制標識能夠幫助受眾快速地識別資訊真偽,提高鑑別能力。同時,《標識方法》規定了全鏈條的主體責任,從研發者、應用者到平臺都有各自應當遵循的相關合規義務,搭建了標識體系執行的全鏈條的責任閉環。此外,還構建了動態監管的機制,特別是要求就演算法模型和生成規則做出相應的備案,能夠建立溯源機制,透過國家監測平臺的引入,實現動態的技術防護。
吳沈括認為,《標識方法》一方面是有助於從源頭來遏制AI虛假資訊內容的生成、傳播和擴散;另一方面,透過內容可驗證的機制設計,提高網路空間中資訊內容本身的可信性和真實性。
一位不具名的律師表示,目前元資料、水印等技術仍在發展過程中,其有效性、互操作性以及抗篡改能力是否達標,以及使用者、內容分發平臺和監管機構是否擁有可靠的合成內容識別工具,可能是影響《標識辦法》實施效果和各方責任分配的關鍵因素。
責編 | 張生婷

相關文章