新一代大模型架构,超越 Transformer。RWKV 是一种革新的深度学习架构,结合了 RNN 和 Transformer 的最佳特性:出色的性能、快速的推理、快速的训练、节省 VRAM、"无限" 的 ctxlen 和免费的句嵌入,而且 100% 不含自注意力机制。