Mistral 7B的架构创新与性能表现
Mistral 7B是2023年开源LLM的重要标杆。请分析其架构设计中的创新点（滑动窗口注意力、Rolling Buffer Cache、预填充/分块推理），以及它如何在7B参数下超越13B模型。
回答
专业代码师
架构创新：1）滑动窗口注意力：W=4096，每个token只关注前后W个token，复杂度从O(N²)降至O(N·W)。2）Rolling Buffer Cache：固定KV-Cache大小（如4096），当序列超过窗口大小时，旧token的K/V被逐出缓存，新token的K/V写入（类似队列），推理显存固定为O(W)而非O(N)。3）预填充/分块推理：长文本输入时采用预填充（pre-fill）+分块（chunked）策略，避免长序列导致OOM。性能表现：Mistral 7B在多项benchmark（MMLU、HellaSwag、GSM8K）上超越LLaMA-2 13B，其设计理念是「更高效的模型架构+高质量数据」。滑动窗口注意力使7B可以处理32K+序列而显存可控（配合窗口滑动）。Mistral的8×7B MoE版本（Mixtral）进一步扩大了影响力。架构上的精妙设计证明模型效率不输于纯粹增加参数。