通过针对现代硬件的优化设计,NSA加快了推理速度,同时降低了预训练成本,而不会影响性能。在一般基准测试、长上下文任务和基于指令的推理上,它与完全注意力模型相匹配或优于完全注意力模型。 责任编辑:刘明亮 ...
PC版:https://www.cnbeta.com.tw/articles/soft/1479672.htm
手机版:https://m.cnbeta.com.tw/view/1479672.htm
cnBeta.COM
DeepSeek宣布推出NSA 用于超快速长上下文训练和推理 - AI 人工智能 - cnBeta.COM
DeepSeek宣布推出NSA,用于超快速的长上下文训练和推理。据其介绍,NSA是一种与硬件一致且本机可训练的稀疏注意力机制,用于超快速的长上下文训练和推理。
via cnBeta.COM中文业界资讯站 - Telegram Channel