如何評價Google剛剛發(fā)布的 Gemini Diffusion? 會代替自回歸模型成為下一代模型嗎？

首先谷歌的 llm diffusion 和之前發(fā)布的 llm diffusion (e.g Large Language Diffusion Models)不同. 它是在生成 token 后對已有的token做了refine. 關(guān)于這一點可以從發(fā)布的***demo看到. 在第一幀時,生成的answer是錯誤的. 到第三幀時,生成了正確的answer. Large Language Diffusion Models 中的 diffusion 更像是 multi token prediction. 相比這種 multi token prediction. 谷歌的 llm diffusion 更優(yōu)雅,也更符合人類的思考…。