Karpathy大神問懵DeepSeek！一個竟藏53個Token，思考10分鐘沒解釋出來…

2025-04-22 10:19 CVer

點選下方卡片，關注“CVer”公眾號

AI/CV重磅乾貨，第一時間送達
點選進入—>【Mamba/多模態/擴散】交流群

新增微訊號：CVer2233，小助手會拉你進群！
掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和CV從入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！

白交 克雷西 發自 凹非寺

轉載自：量子位（QbitAI）
注意看，這個😀竟然佔了53個token！
（標題🤣是😀平替）
Karpathy大神又帶來他的新實驗新發現了，結果直接問懵DeepSeek和ChatGPT。
思考過程be like：
DeepSeek硬是思考了十分鐘也還是沒有答上來，覺得要是“lol”這個答案就太簡單了。
Karpathy表示：但其實就是這麼簡單。
隨後他進一步解釋了這背後的原因——提示詞注入。將一些資訊注入進字元中，表面上看沒啥區別，但裡面可以表達各種隱藏資訊。對於善於思考的模型，就會很容易受到這個方法的影響。
來看看具體是咋回事。

一個😀竟佔53個Token

這一想法，源於Paul Butler的一篇部落格。
他看到有人說，透過零寬連線符（ZWJ），可以把任意的文字藏在emoji符號當中。
結果一試發現真的可以，不過可以不需要ZWJ，隱藏資訊的載體也不一定非得是emoji，任意Unicode字元都可以。
這背後的原理，涉及到了Unicode編碼字元方式。
對於簡單的字元（比如拉丁字母），Unicode編碼點和字元之間有一對一的對映（例如u+0067表示字元g）。
但對於複雜一些的符號，就需要用多個序號連在一起的方式來表示了。
此外，Unicode當中還設定了VS-1至VS-256的變體選擇符（Variation Selector），可以針對基礎字元做出相應的變體，但本身卻沒有自己的“長相”。
並且只作用於極少部分字元，主要是Unicode中的中日韓統一表意文字（CJKUI），其他大部分的Unicode字元都不會有任何變化。
但當帶有變體選擇符的字元被複制貼上時，選擇符也會一起進入剪貼簿。
而在Unicode當中，這樣的變體選擇符一共有256個之多，用來編碼資訊已經是綽綽有餘了。
比如下面的這個a，只有U+0061表示的是其自身，剩下後面的10多個全都是變體選擇符。
有了這一理論基礎，接下來的事情無非就是建立正常字元和變體選擇符之間的轉換演算法。
當然編碼的內容越多，變體選擇符也就越長，並且如果是漢字，還會產生更多的變體選擇符。
比如我們試圖將量子位的Slogan“追蹤人工智慧新趨勢，關注科技行業新突破”藏在一個“100分”的emoji（

󠇘󠆯󠆭󠇘󠆨󠆚󠇔󠆪󠆪󠇕󠆧󠆕󠇖󠆉󠆪󠇘󠅳󠆭󠇖󠆆󠆠󠇘󠆦󠅻󠇕󠅺󠆯󠇟󠆬󠅼󠇕󠅵󠆣󠇖󠆣󠆘󠇗󠆗󠆁󠇖󠅺󠅰󠇘󠆑󠅼󠇔󠆨󠆊󠇖󠆆󠆠󠇗󠆚󠅱󠇗󠆐󠆤）當中，產生的變體選擇符數量達到了58個。

並且把解碼演算法告訴ChatGPT之後，原文字也可以被複原。
所以，看似是隻有一個emoji，但實際上後面藏了多少字元，恐怕只有把文字裝進去的人自己才知道了，甚至塞個《滕王閣序》進去也沒問題。
而一個佔53個Token的笑臉，相比之下就更加不足為奇了。

問懵DeepSeek

回到Karpathy的提示詞注入，他測試了ChatGPT與DeepSeek。
ChatGPT回答在此：
DeepSeek-R1 花了10分鐘思考差點就成功了。它認為隱藏的資訊可能是Onli!n37e27i4h4he3ingle7odlol。因為覺得如果只是一個單詞“lol”，那就是無稽之談，所以就放棄了。
按照同樣的提示詞，我們也問了一遍DeepSeek-R1。
思考過程如下：
在思考了整整529秒之後，確實也是回答出來了lol的意思。

也有網友分享了相同的經歷。Gemini無法解碼，但Claude和GPT不僅識別出來，還能識別編碼訊息中的操作。
或者直接把這個表情包扔給模型，又該如何呢？
從網友的效果來看，ChatGPT察覺到了這背後可能有某些隱藏資訊。

而DeepSeek-R1這次只花了153秒（有點進步）。它首先意識到這筆後跟著一系列Unicode字元。
並且還介紹了下：他們通常用於元資料，並且以不可見的方式呈現等等。。。
然後還試圖給了下背後的資訊應該是：
?^\i Q^cgUb gYdX dXU cY^W\U gbT \
顯然是回答錯誤的。
對於這一意外發現，Karpathy表示，原則上模型可以透過「變體選擇器」variation selectors中找到隱藏的資訊並按照說明進行操作。但由於這種編碼介面方法可能過於具體，需要用提示來解釋它。
他提到了一個方法，那就是將其收錄到預訓練中。這些知識注入到模型引數，模型就能夠在沒有提示的情況下解碼這種特定的編碼。

何愷明在MIT授課的課件PPT下載


在CVer公眾號後臺回覆：何愷明，即可下載本課程的所有566頁課件PPT！趕緊學起來！

ECCV 2024 論文和程式碼下載


在CVer公眾號後臺回覆：ECCV2024，即可下載ECCV 2024論文和程式碼開源的論文合集

CVPR 2024 論文和程式碼下載


在CVer公眾號後臺回覆：CVPR2024，即可下載CVPR 2024論文和程式碼開源的論文合集
Mamba、多模態和擴散模型交流群成立
掃描下方二維碼，或者新增微訊號：CVer2233，即可新增CVer小助手微信，便可申請加入CVer-Mamba、多模態學習或者擴散模型微信交流群。另外其他垂直方向已涵蓋：目標檢測、影像分割、目標跟蹤、人臉檢測&識別、OCR、姿態估計、超解析度、SLAM、醫療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學習、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風格遷移、遙感影像、行為識別、影片理解、影像融合、影像檢索、論文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要備註：研究方向+地點+學校/公司+暱稱（如Mamba、多模態學習或者擴散模型+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群

▲掃碼或加微訊號: CVer2233，進交流群
CVer計算機視覺（知識星球）來了！想要了解最新最快最好的CV/DL/AI論文速遞、優質實戰專案、AI行業前沿、從入門到精通學習教程等資料，歡迎掃描下方二維碼，加入CVer計算機視覺（知識星球），已彙集上萬人！

▲掃碼加入星球學習
▲點選上方卡片，關注CVer公眾號
整理不易，請贊和在看


相關文章