本文授權轉載自“南風窗”，點選上方關注。ID：SouthReviews
作者 | 南風窗記者 奚佑
編輯 | 阿樹
又是靳東。
連續兩年全國兩會，政協委員靳東都提交了有關AI技術與網路平臺立法的建議。
3月5日，在政協小組討論上，靳東回應稱：“一些喜歡我影視劇的觀眾，被AI換臉影片騙得很慘，這個性質非常惡劣。希望能建立更好的規則。”
靳東回應AI換臉導致的詐騙問題
靳東所指的，讓人們聯想到了去年11月，江西宜春，一位老人來到銀行，揚言要貸款200萬，給網戀男友“靳東”拍戲。她的材料不全，銀行沒給辦，但堅持不肯離開。好在民警趕來勸阻，才知所謂靳東是AI換臉影片。一場騙局險些成真。
這不是孤立案件。“AI假靳東”登上熱搜後，一些網友紛紛講起在家幫老人和AI“鬥法”的過程。老人們沉迷刷AI靳東，無法自拔。幫他們破除AI迷障，成了家庭生活的日常。
考慮到靳東在中老年群體中的觀眾基礎，即便類似詐騙近年來屢見報端，但“假靳東”依然在網際網路的隱秘處招搖。
2020年秋天，江西都市頻道報道了當地一則軼聞，一名61歲女子，因與“假靳東”網戀數年，離家出走。“假靳東”至此廣為人知，但大都是演員靳東的影視片段，配上腔調生硬的機械男聲，有的甚至操著濃重的地方口音，破綻百出。
五年過去，騙術套路未變，技術卻愈發逼真了。有了AI換臉和AI擬聲技術的加持，“假靳東”在方寸螢幕之間愈發栩栩如生、真假難辨起來。
換臉技術不新鮮。只是，如今AI技術以假亂真，網際網路空間AI資訊氾濫成災。年輕一代網友“衝浪”經驗豐富，練就了“火眼金睛”，依然難免被騙，何況中老年和未成年群體，對AI技術不甚瞭解，所以存在巨大認知盲區。
因此，對人工智慧生成內容的規範和治理，也成了今年全國兩會期間多個委員代表的關注議題。
全國人大代表、小米集團創始人雷軍建議，加強“AI換臉擬聲”違法侵權重災區治理——去年國慶期間，“AI雷軍”那句“開小米Su7創死你們”，就讓他本人深受其擾。全國政協委員、四川大學華西醫院教授甘華田則稱，應當加快制定針對AI生成虛假資訊的專項法律法規。
雷軍深受AI擬聲惡搞影片所擾
甘華田在接受媒體採訪時強調，AI生成的虛假資訊“已嚴重干擾公眾判斷、損害社會公信力和穩定”。
清華大學新聞與傳播學院副教授陸洪磊告訴南風窗，如果對AI謠言放任自流，很可能會對社會的信心和穩定在造成巨大沖擊。
他說：“我們正在面臨一場前所未有的認知戰爭。”
真與假的邊緣
一個看起來不過週歲左右的嬰兒，左手端握著瓷碗，右手熟練地使用筷子，把沾滿辣椒醬的麵條喂進嘴中、咀嚼吞下。
光是文字描述，大多數人都能立刻意識到上述場景違反常理之處，如果進一步仔細辨認其中的細節，人們會發現，麵條在被夾起以後驟然變得稀疏，與嬰兒吞嚥的節奏並不一致——顯然，這是AI生成的“傑作”。
但僅憑這樣粗糙的完成度，就足以令一部分中老年使用者蒙在鼓中。在AI生成的嬰幼兒短影片的評論區，鮮花、愛心和大拇指的表情包，被“人海沉浮”“上善若水”們反覆敲下，堆砌成一片熱烈的海洋。
一則廣為流傳的AI影片中，一群胖嘟嘟的嬰兒，抱著碩大的金元寶，迎面走來。評論區清一色是“爺爺（或奶奶）接住了。”
春節期間，有網友回家過年，發現家中老人對著這樣一段短短幾秒的影片，反覆觀看了一個小時，笑得合不攏嘴，“老人沉迷假孫子”現象，這才引起了廣泛的關注，也讓AI假資訊在老年群體中的泛濫問題，引發了廣泛討論。
部分AI短影片底部，會附以一行半透明的小字：“作者提示：內容為AI技術製作，虛構內容請謹慎甄別。”先不論這行不起眼的小字能否被中老年人的老花眼睛看清，“AI”究竟是什麼、有什麼用，他們或許都不甚清晰，只懷抱著一副樸素的心態瀏覽網際網路上的種種奇觀：“影片怎麼會騙人呢？”
被AI矇騙，並非中老年人的“專利”。就在上個月，正值壯年的“80後”也被AI謠言玩弄於股掌之中：一則“中國80後累計死亡率為5.20%”的資訊在網路上肆意蔓延，而中國人民大學教授李婷對此公開闢謠時稱，這一虛假資料很有可能“來源於AI大模型的錯誤”。
甚至股市也會被AI謠言操縱。2023年5月，一網友利用某生成式AI撰寫資訊發表於某股市平臺，造成科大訊飛當日午後遭遇股價跳水，盤中一度跌超9%。
AI生成的資訊導致股價跳水
陸洪磊告訴南風窗，AI謠言的可怕之處就在於，“它與新聞的邊界正在變得越來越模糊”。
傳統謠言更像一則模糊的資訊，模糊之中存在大量邏輯漏洞，普通人很容易辨別。而AI可以賦予謠言確切的時間、地點、人物，甚至是信源和圖片，“一本正經地胡說八道”，更像一則真實發布的新聞資訊。
這種高度的逼真性，讓謠言的威力提升至一個新的水平。陸洪磊打了個比方，如果說網際網路的誕生讓謠言從“冷兵器”進入“熱兵器”時代，那麼AI謠言的破壞力就是“核武器”。
“良心活”
據《法治線上》報道，去年1月，一則“西安突然響起巨大爆炸聲”的謠言，在網路上迅速傳播，後經查證，該謠言的釋出賬號，隸屬江西一家MCN機構，“從文字到圖片都是AI生成”。
其基本的操作邏輯是，將關鍵詞指令輸入AI，它便會自動生成幾百至上千字的文字，配上幾幅貌似與事件有關的圖片，編造成一篇煞有介事的謠言。
經警方調查，該賬戶負責人王某釋出該謠言，目的就是為了推高賬戶閱讀量，以換取平臺的流量激勵。他所經營的MCN機構，最高一天可以生成4000至7000篇文章，其中流量最高的一篇文章收入達700元。初步估算，其每天收入在一萬元以上。
每天數千篇文章，遠遠超出全世界任何一家媒體的單日產能，從中足以看到，AI生成資訊，正以何種爆炸式的速度，擠佔整個網際網路空間。
這股浪潮的背後，是整個人類的資訊生產方式的變革。低成本、高利潤，伴隨著生成式大模型技術的突飛猛進，製造謠言的門檻大大降低，催生了一大批以此為生的灰黑產業。
對此追查卻十分不易。鄭州市公安局負責人在相關媒體採訪中稱，AI書寫段落的語言能力很高，還可以隨機插入素材和圖片，這要求他們必須對每一處資訊要素都加以印證，事實核查的成本大大提高。
輸入關鍵詞，AI軟體會自動在網路上抓取資訊，生成文字及配圖
於是，闢謠的速度被迫放緩。而在“傳謠”與“闢謠”速度逐漸拉開的時間差之中，AI謠言對公共輿論空間的破壞性，就此肆意放大和顯現。
那麼，我們是否能“以其人之道，還治其人之身”，運用AI去治理AI謠言呢？
一個技術性的客觀現實是，AI生成影像檢測技術的發展，目前依然落後於生成模型技術的發展速度，並將在未來一段時間始終面臨“道高一尺，魔高一丈”的困境。
另一重挑戰則來源於跨平臺協作。
我國自2023年1月10日起實行《網際網路資訊服務深度合成管理規定》，其中明確要求，深度合成服務提供者對使用其服務生成或者編輯的資訊內容，應當採取技術措施新增不影響使用者使用的標識。然而在實踐中，限於各平臺技術水平、內容特性和標準化的各項差異，當一則AI生成內容被下載或截圖，再上傳至另一平臺，“原先的水印有可能就消失了”。
陸洪磊說，高水平的水印和影像檢測技術高度依賴於大規模的資金和人力投入，目前只有規模較大的企業能夠去承擔其成本。“一些中小型平臺檢測技術依賴開源工具，且往往難以承擔計算資源和維護成本，準確率較低”。
更何況，單純基於商業角度考慮，對水印和檢測技術的龐大投入收益究竟如何，“需要打一個問號”。在陸洪磊看來，在缺乏相關法律法規的狀況下，平臺對AI生成內容的規範治理並無嚴格約束，“更像個良心活”。
“人機對齊”
AI生成的影像和影像，人們尚且可以透過它的光影變化規則、邊緣物理規律的異常去細心辨別。比如今年1月在網路上廣泛流傳的合成影片，“西藏地震小男孩被廢墟掩埋”，只要細心觀察，男孩的左手由六根手指組成，肉眼就能“檢測”出來——至少，目前還不難，未來卻不好說。
而對AI文字謠言的甄別，卻幾乎無從下手。
“當前AI生成文字語義一致性之高，已經到了專家學者都難以區分的水平。”陸洪磊說。當下，對AI文字謠言的檢測，“更多時候需要深入其意義表達去判別，目前尚無特別有效的手段攻克”。
就比如上文所述那則“中國80後累計死亡率為5.20%”的謠言，若非長期研究人口的學者公開闢謠，對統計學和人口普查專業知識知之甚少的普羅大眾，很容易便會信以為真。
對於文字資訊的治理，平臺目前的普遍做法，集中於對同質化內容的識別和處理。個別MCN機構利用AI批次生成相似內容大規模投放，而平臺透過對文字相似性的比對，可以及時發現異常、即時整治。儘管卓有成效，“但在同質化內容與謠言之間，依然存在一定的概念差異。”有學者向南風窗表示。
技術條件日新月異，行業秩序尚未建立，繁蕪叢雜之中，亟盼相關法律法規的完善與規範。
而這也正是今年兩會期間數位委員代表共同關注的焦點。
我國於2023年8月15日起施行《生成式人工智慧服務管理暫行辦法》，如今形成了以此暫行辦法為核心，輔以資料安全法、個人資訊保護法等單行法的人工智慧規範。
2023年7月10日，國家網際網路資訊辦公室聯合國家發展改革委等七部門聯合釋出《生成式人工智慧服務管理暫行辦法》
全國政協委員、安徽省律師協會監事長周世虹在媒體採訪中介紹，目前依然缺乏高位階的專門立法，現有管理體系覆蓋範圍較為有限，尚且難以應對快速的技術發展可能引發的各種社會問題。
全國人大代表，TCL創始人、董事長李東生也在《關於加強AI深度偽造欺詐管理的建議》中寫道：我國相關立法雖有關注這一議題，“但已出臺的規章制度尚不成體系，還不具備可操作的細則和明確的處罰標準”。
陸洪磊提到了一個概念，叫做“人機對齊”。即AI的內容創造，應當受到人類倫理規範的約束，“人類造謠會面臨的結果，AI造謠應該一視同仁”。
只是，落實這一原則的過程中，責任應該指向哪個主體、細化至怎樣的程度，還需視具體情況共同商定。
而無論如何，陸洪磊相信，人類的智慧與經驗，不光可以體現在大模型技術的飛速迭代之上，它們同樣可以體現在對規範和管理機制的動態設計之中。
-END-
值班主編 | 張來
排版 | 阿車
關注它，能讓你聽到更多真話多一分對世界的理解。
本文經授權轉載自南風窗（ID：SouthReviews），如需二次轉載請聯絡原作者。歡迎轉發到朋友圈。