DeepSeek 解決 AI 記憶難題 - Two Minute Papers

如果讓AI記住一本書的最佳方式是停止閱讀它 會發生什麼？ 你看到AI讀的每一個詞都會被轉化爲標記 而這些標記的成本很高 書越長，AI就越難以處理 但人類卻做着奇怪的事情 我們並不完美地記住所有內容 一些細節會逐漸模糊 年紀越大的爺爺，上學時表現越好 而DeepSeek的科學家們提出了一個問題 如果讓AI也這樣做呢 讓人工智能進行人工遺忘 但這是一個瘋狂的提議 爲什麼要這麼做 這樣做甚至有什麼意義呢？ 嗯，我們一起來看看吧 當我們不斷與一個AI系統交流時 交流時間越長，附加的文檔越多 系統持續運行的成本就越高 因爲它需要記住所有內容 現在DeepSeek OCR說不用擔心 讓我們把這大波信息甚至是文本都轉化爲圖像 然後對這張圖像進行壓縮 有點像JPG壓縮對圖像所做的那樣 但用基於標記的方式實現的 現在這些數據變得小了很多 但這樣做還是不太容易理解 那這樣有什麼好處呢？ 我是說，我們損失了很多信息，對吧？ 好了，各位學者，抓緊你們的論文 讓我們看看，在十倍壓縮級別下 幾乎丟棄了所有信息 只用了九十更少空間的情況下 我們到底損失了多少信息 這壓縮率非常高 那這到底是什麼呢？ 我們可以恢復超過96%的文本 這太驚人了 那麼，爲什麼不進一步推進呢？ 嗯，當我們壓縮到接近20倍時 OCR的準確率會下降到60 哇，我原本預期會低得多 好，現在有一個重要的問題 這真的是新的嗎？ 我是說，一開始我對這項工作有點困惑 因爲這是一篇關於OCR的不起眼論文 是的，它確實做了OCR 你給他一份文件，甚至是一份手寫的便條 他就會把文本還給你 正式來說，它會將少量壓縮的視覺標記 轉換為大量文本標記 但這只是JPG吧 我的意思是這項技術已經超過了30年歷史 這個想法不錯但這只是把JPG插進AI系統裏嗎 不完全是這裡有很多新東西 親愛的各位學者 這裡是 Karoly Zsolt Neffie 奈菲爾博士的 2-Minute Papers 你看,JPG壓縮的是像素,而這個壓縮的是記憶 首先,這些記憶被轉換成一張圖片 然後我們再壓縮這張圖片 但我們的工作還沒完成 不,不 不遠沒到那一步 關鍵的技巧是 他們創造了一個編碼器 專門設計用於處理超高分辨率文檔 而不會導致成本爆炸 要做到這一點 首先它使用了局部窗口注意力機制 其次使用了16倍的卷積壓縮器 第三它進行了全局視覺處理 那麼這意味著什麼呢 換句話說 他不會用全部注意力盯著每一個像素 它是快速瀏覽壓縮信息然後才進行閱讀 這裏有一個非常聰明的點 一旦能夠以足夠低的成本做到這一點 突然之間，這不僅僅是關於記憶舊數據的問題 等等 這意味着它不僅能理解文檔 還能幫助生成新的數據嗎 是的 論文中提到它可以在單塊A10 GPU 上每天生成超過20萬頁的訓練數據 用於大型語言模型和視覺語言模型，驚人的速度 現在，我們都是擴展能力的人，所以也會看看它的侷限性 論文本身指出，僅靠OCR不足以證明真正的文本壓縮 而後續的壓力測試則表明，該模型可能嚴重依賴語言先驗知識 而不僅僅是視覺記憶 換句話說，當圖像壓縮到一定程度時 它可能再也無法真正看到缺失的文本 但它會根據上下文猜測最可能的詞語 有點像自動補全，但更好 總的來說，這絕對是棒極了 這不僅是一個對所有人都免費的開放系統 它還生成訓練數據，幫助其他開放模型的誕生 這簡直太令人驚歎了 活在這個時代真是太棒了 別忘了，每一篇研究論文都在推動人類前進 但未來屬於那些理解它的人 如果你覺得這個視頻不錯 不妨訂閱並點擊鈴鐺圖標 我用 Lambda 來複現 AI 研究論文 通常只需幾分鐘 訓練你自己的模型，或微調現有模型也非常棒 運行推理文本到圖像或視頻，輕鬆搞定 運行一個 DeepSeek 聊天機器人或代理 速度快，可靠性高 Lambda 爲你提供強大的 NVIDIA GPU 讓你運行自己的實驗 我測試我所報道的論文中的想法 片刻之後就能看到結果 太喜歡了，真的 現在就去 Lambda Tech Papers 嘗試吧