Gemma-10M 模型使用一种称为 Infini-Attention 的技术，将 Gemma 2B 的上下文窗口扩展到 10M。其主要方法是通过循环局部注意力和压缩记忆，实现长距离依赖关系的保留。
特性：
Support authors and subscribe to content
This is premium stuff. Subscribe to read the entire article.
Login if you have purchased
将 Gemma 2B 的上下文窗口扩展到 1000万的技术方法
发布时间：2024年05月18日
PrometheanAI，是一个让艺术家和设计师能够更高效、更自由、更有创意地制作出精美的虚拟场景，无论是用于游戏、电影、动画还是其他媒体的AI工具。