從「猜下一個字」到「猜下一個概念」:語言模型的下一步
新研究 NCP-ArchPreview 讓語言模型不只預測下一個字,還同時學習預測跨越多個字的「概念」,用一半訓練量就打平、甚至超越同級模型的表現。
· 閱讀時間約 3 分鐘10
2 篇結果
標籤 #Embedding
新研究 NCP-ArchPreview 讓語言模型不只預測下一個字,還同時學習預測跨越多個字的「概念」,用一半訓練量就打平、甚至超越同級模型的表現。
Yann LeCun 認為現在的 LLM 只是「超級進化版的鸚鵡」——會說話，但不懂意思。他提出的世界模型與 JEPA 架構，究竟想解決什麼根本問題？