Gemma-10M 模型使用一种称为 Infini-Attention 的技术，将 Gemma 2B 的上下文窗口扩展到 10M。其主要方法是通过循环局部注意力和压缩记忆，实现长距离依赖关系的保留。 特性： 支持高达1000万长度的序列。 使用不超过32GB内存。 针对CUDA进行本地推理优化。 使用递归局部注意力，实现O(N)内存占用。 Github: https://github.com/mustafaaljadery/gemma-10M-mlx/ HuggingFace: https://hugg…