摘要：
本影片介紹了 Google 新發表的 HOPE 模型，旨在解決當前大型語言模型（LLM）面臨的「健忘症」問題。影片以生動的比喻，將現有 AI 比作患有順行性遺忘症的天才，僅能處理當下對話，卻無法形成長期記憶。這源於現有模型預訓練後知識庫被鎖定，無法持續學習和更新。Google 的 HOPE 模型引入了「內嵌學習」的全新範式，借鑒人類大腦記憶機制，透過多時間尺度的處理系統（如連續譜記憶系統 CMS）和自適應的自指泰坦模組，實現了持續學習、處理長文本和高效訓練。實驗結果顯示 HOPE 模型在克服遺忘、處理海量資訊及持續學習新類別方面均表現出色，預示著 AI 可能從靜態知識庫轉變為動態、具備歷史感和個性化的學習夥伴。
觀點：
- 現有大型語言模型存在「健忘症」，無法形成長期記憶，限制了其持續學習能力。
- AI 模型的知識庫在預訓練後被鎖定，無法動態更新，使其本質上是靜態的。
- Google 的 HOPE 模型引入「內嵌學習」範式，模仿人類大腦記憶機制解決遺忘問題。
- 內嵌學習的核心是將 AI 模型視為相互嵌套的多層次優化問題集合。
- 人類大腦的多時間尺度處理和統一結構是內嵌學習的關鍵啟示。
- 優化器（如動量法）被視為內嵌的學習模組，而非單純的數學技巧。
- HOPE 模型透過連續譜記憶系統（CMS）實現多層次記憶，緩解遺忘。
- 自指泰坦模組使模型能生成訓練目標，實現學習如何學習。
- HOPE 模型在克服健忘、處理長文本和持續學習方面表現優異。
- AI 未來的發展趨勢是動態學習系統，而非單純擴大模型規模。
相關文章：
- Introducing Nested Learning: A new ML paradigm for continual learning(引入嵌套學習：一種用於持續學習的新型機器學習範式)