🚀 生成基模团队面试题全集

Transformer 由 Encoder 栈（原始论文 6 层）和 Decoder 栈（6 层）组成。

Encoder 每层包含：

• 多头自注意力（Multi-Head Self-Attention）
• 前馈神经网络（FFN，两层线性 + ReLU/GeLU）
• 残差连接 + Layer Normalization

Decoder 每层多一个 Cross-Attention 子层，额外关注 Encoder 输出；自注意力使用 Causal Mask（下三角掩码）防止"偷看未来"。

现代主流变体：GPT/LLaMA 是 Decoder-Only（去掉 Encoder 和 Cross-Attention）；T5/BART 保留完整 Encoder-Decoder。

为什么除以 √d_k？

QK 点积结果的方差约为 d_k（若 Q、K 各分量均值 0、方差 1），随 d_k 增大，点积绝对值变大，softmax 进入极度饱和区（梯度消失）。除以 √d_k 将方差归一化为 1，使 softmax 在可训练区间工作。

多头注意力将 d_model 维度划分为 h 个子空间，每个 head 独立计算注意力后拼接：

优点：

• 多空间建模：不同 head 捕获不同类型的依赖（语法/语义/位置）
• 打破对称性：单头 attention 矩阵可能退化为近对称，泛化差
• 计算量相当：每个 head 的 d_k = d_model/h，总计算量与单头相同

RoPE 原理：对位置 m 的 query 向量分量 (x_{2i}, x_{2i+1}) 进行旋转变换：

两个位置 m、n 的内积只与相对位置 m−n 有关，天然建模相对位置，且可外推到更长上下文（配合 YaRN/NTK 插值）。

Post-LN（原始 Transformer）：残差后才 normalize，梯度在深层容易爆炸，训练不稳定。

Pre-LN（GPT-2/LLaMA）：每个子层输入先 normalize，梯度路径稳定，可直接训练深层模型，无需 warm-up 也能收敛。

RMSNorm（进一步简化）：去掉均值项，只做方差归一化，更快，LLaMA 使用。

标准自注意力时间复杂度为 O(n²·d)，n 为序列长度，空间也是 O(n²)（存储 Attention 矩阵）。

MoE 在 FFN 层用多个"专家网络"替代单一 FFN，通过 Router（门控网络）为每个 token 选 Top-K 个专家激活：

优点：参数量大但计算量可控（每 token 只激活部分专家），如 Mixtral-8×7B 有 47B 参数但每 token 激活 12B。

训练挑战：

• 负载不均衡：部分专家被频繁选择（热门专家），需加辅助损失均衡负载
• 通信开销：分布式训练中专家分散在不同设备，all-to-all 通信昂贵

推理挑战：需要将所有专家权重加载到显存或频繁 IO。DeepSeek-V3 使用 Expert Parallelism 缓解。

1. 标准 FFN（原始 Transformer）

由两层全连接 + 激活函数组成：

其中 $W_1 \in \mathbb{R}^{d_{ff} \times d}$，$W_2 \in \mathbb{R}^{d \times d_{ff}}$，典型设置 $d_{ff} = 4d$。

2. GLU（Gated Linear Unit）变体

引入门控机制，让网络自适应选择信息通道：

其中 $\odot$ 为逐元素乘法，$\sigma$ 为 sigmoid 门控。

3. SwiGLU（LLaMA / PaLM 使用）

将 sigmoid 门替换为 Swish 激活（$\text{Swish}(x) = x \cdot \sigma(x)$）：

4. GeGLU

将门控函数换为 GELU：

5. 参数量对比

6. 为什么 GLU 变体更好？

• 门控机制增强特征选择能力：gate 分支学习"哪些特征应该通过"
• 更好的梯度流：相比单一 ReLU，门控可避免 dying neuron
• 实验验证：Noam Shazeer (2020) 论文 "GLU Variants Improve Transformer" 证明 SwiGLU 在几乎所有任务上优于标准 FFN

# PyTorch 实现 SwiGLU FFN
class SwiGLU_FFN(nn.Module):
    def __init__(self, d_model, d_ff):
        super().__init__()
        self.w1 = nn.Linear(d_model, d_ff, bias=False)
        self.w_gate = nn.Linear(d_model, d_ff, bias=False)
        self.w2 = nn.Linear(d_ff, d_model, bias=False)
    
    def forward(self, x):
        return self.w2(F.silu(self.w_gate(x)) * self.w1(x))

1. MHA（Multi-Head Attention）— 基线

$h$ 个独立的 Q/K/V head，每个 head 有独立的投影矩阵：

2. MQA（Multi-Query Attention）

$h$ 个 Q head，但 只有 1 组 K/V（所有 Q head 共享同一组 K 和 V）：

优点：KV Cache 缩小 $h$ 倍。缺点：表达能力下降。

3. GQA（Grouped Query Attention）

$h$ 个 Q head，$g$ 组 K/V（每 $h/g$ 个 Q head 共享一组 K/V）：

GQA 是 MHA（$g = h$）和 MQA（$g = 1$）的泛化。

4. KV Cache 大小对比

总 KV Cache = 上述值 × $L$（层数）× batch_size × bytes_per_element

5. 具体例子

6. 从 MHA 转换到 GQA 的方法

训练好的 MHA 模型可以通过 mean pooling 将多个 KV head 合并为一组：

合并后继续 fine-tune 一小段即可恢复性能（LLaMA-2 论文方法）。

1. 动机

即使使用 GQA，KV Cache 仍然很大。以 LLaMA-2 70B 为例：

MLA 的目标：将 KV Cache 压缩到更小的隐变量，不受 head 数量限制。

2. 核心思想：低秩压缩

将每个 token 的 KV 压缩到一个低维隐变量 $c_t$：

推理时只需缓存 $c_t$，需要时再解压回完整的 K 和 V：

3. 完整流程（DeepSeek-V2）

1. 压缩：$c_t^{KV} = W^{DKV} h_t$（$d_c = 512$，原始 KV 维度可能是 $n_h \times d_h = 128 \times 128 = 16384$）
2. 缓存：推理时只存 $c_t^{KV}$，大小仅 $d_c$ 维
3. 解压：Attention 计算时 $K = W^{UK} c_t^{KV}$，$V = W^{UV} c_t^{KV}$
4. Q 侧也压缩：$c_t^Q = W^{DQ} h_t$，$Q = W^{UQ} c_t^Q$（但 Q 不需要缓存）

4. RoPE 兼容问题与 Decoupled RoPE

RoPE 需要作用在 K 上，但压缩后的 $c_t$ 无法直接应用 RoPE。DeepSeek 的解决方案：

即额外学习一个小的 $W^{KR}$ 投影（维度很小，如 64），专门承载位置信息。缓存时额外存储这个 RoPE 部分。

5. 对比 GQA vs MLA

1. Full Attention（标准自注意力）

每个 token 关注序列中所有其他 token。适合短序列，但长序列成本极高。

2. Sliding Window Attention（Mistral/Longformer）

每个 token 只关注其前后 $W$ 个 token：

信息可通过多层传播：$L$ 层后的有效感受野 = $L \times W$。

3. Dilated Attention

间隔采样关注位置（类似空洞卷积），扩大感受野而不增加计算：

可与 sliding window 组合使用（Longformer 策略）。

4. Cross Attention

Q 来自一个序列（decoder），K/V 来自另一个序列（encoder）：

用途：Encoder-Decoder 架构（T5、BART）、多模态（图像 token → 文本 decoder）。

5. Prefix Attention（Prefix Tuning）

前 $p$ 个 prefix token 可被所有位置看到（不受 causal mask 限制），实现 soft prompt：

6. 全面对比

1. ReLU（Rectified Linear Unit）

• 优点：计算简单，无梯度消失（正区间）
• 缺点：dying neuron 问题 — 一旦输入为负，梯度永远为 0，神经元"死亡"

2. GELU（Gaussian Error Linear Unit）

近似公式（实际使用）：

直觉：用概率（标准正态 CDF）来"软性截断"输入，越大的输入越可能通过。

3. Swish / SiLU（Sigmoid Linear Unit）

自门控（self-gating）：输入本身决定自己的通过程度。

4. 性质对比

5. 为什么 GELU/SiLU 更好？

• 平滑非零梯度：负输入区域仍有微小梯度，避免 dying neuron
• 概率化截断：不是硬截断（ReLU），而是软性选择
• 自门控特性（SiLU）：自动根据输入大小调整通过率
• 实验验证：在大规模预训练中始终优于 ReLU

6. 各模型使用情况

1. 参数量公式（Decoder-Only，如 LLaMA）

Embedding 层：

其中 $V$ 为词表大小，$d$ 为隐藏维度。

每层 Attention：

若使用 GQA（$g$ 组 KV），则：$P_{\text{attn}} = d^2 + 2 \times g \times d_h \times d + d^2 = 2d^2 + 2gd_h d$

每层 FFN（SwiGLU）：

每层 RMSNorm：

总参数量（简化，$d_{ff} = 4d$，标准 FFN）：

对于大模型，Embedding 占比很小，总参数 ≈ $12Ld^2$。

2. FLOPs 公式

每 token 前向 FLOPs：

直觉：每个参数做一次乘法和一次加法 ≈ 2 FLOPs。

训练总 FLOPs（前向 + 反向 + 激活重计算）：

其中 $N$ = 参数量，$D$ = 训练 token 数。系数 6 = 前向(2) + 反向(4)。

3. 具体例子：LLaMA 系列

4. 参数分布（以 LLaMA-7B 为例）

1. Word Embedding + Position Embedding

原始 Transformer 使用加法组合：

其中 Word Embedding 为可学习的 $V \times d$ 矩阵，Position Embedding 有两种：

• 绝对位置编码（正弦/余弦 或 可学习）：加到 input embedding 上
• 相对位置编码（RoPE、ALiBi）：注入到 attention 计算中

2. Tied Embeddings（权重绑定）

输入 Token Embedding（$W_E$）和输出 lm_head（$W_{LM}$）共享权重：

为什么 Tie？

• $W_E$：token → 向量空间（编码语义）
• $W_{LM}$：向量空间 → token 概率（解码语义）
• 两者本质都是 token ↔ 向量空间的映射，共享可减少参数且正则化

节省参数量：$V \times d$（如 32000 × 4096 = 131M）。

3. LLaMA 为什么不 Tie？

• vocab 扩展时输入/输出可能需要不同维度
• Untied 给予两端独立学习能力，可能提升性能
• 大模型中 embedding 参数占比很小（~2%），节省不明显
• 部分实验表明 untied 在大规模预训练中效果更好

4. RoPE 的应用位置

RoPE 不作用在 embedding 层，而是在每层 attention 的 Q 和 K 上：

这样 $Q_m'^T K_n' = Q_m^T R_m^T R_n K_n = Q_m^T R_{n-m} K_n$，自动编码相对位置 $n-m$。

5. Token Embedding 的初始化策略

• 标准正态 $\mathcal{N}(0, 0.02^2)$（GPT-2 style）
• 均匀分布 $U(-\sqrt{1/d}, \sqrt{1/d})$（PyTorch 默认）
• 截断正态（避免极端值）

1. Warmup + Cosine Decay（最主流）

2. Warmup + Linear Decay

简单但效果略逊于 cosine。GPT-3 论文使用此方案。

3. WSD（Warmup-Stable-Decay）— DeepSeek-V3

三阶段策略：

优势：Stable 阶段可灵活延长训练而无需预先确定总步数。

4. Warmup 的必要性

• 初始阶段参数随机，梯度方向不稳定且范数大
• 大 lr + 不稳定梯度 → loss spike → 训练崩溃
• Warmup 让模型先"热身"，参数进入合理区域后再用全力学习
• Adam 优化器的二阶矩估计需要几步才能稳定

5. 典型超参数

6. Batch Size Warmup 与 LR Warmup 的关系

• 有些训练先用小 batch 再逐步增大（batch size warmup）
• 效果类似 lr warmup：初期低有效学习率 = 小 batch × 低 lr
• 可以减少初期浪费的计算（小 batch 少算 token，但梯度方差大）
• DeepSeek-V3 使用 batch size 从 3072 → 15360 逐步增加

# PyTorch CosineAnnealingWarmRestarts with Warmup
from torch.optim.lr_scheduler import LambdaLR
import math

def get_cosine_schedule_with_warmup(optimizer, warmup_steps, total_steps, min_lr_ratio=0.1):
    def lr_lambda(step):
        if step < warmup_steps:
            return step / warmup_steps
        progress = (step - warmup_steps) / (total_steps - warmup_steps)
        return min_lr_ratio + (1 - min_lr_ratio) * 0.5 * (1 + math.cos(math.pi * progress))
    return LambdaLR(optimizer, lr_lambda)

1. 原始 Transformer 中的 Dropout

Vaswani et al. (2017) 在三个位置使用 dropout（rate = 0.1）：

• Attention dropout：softmax 后的注意力权重
• FFN dropout：FFN 隐藏层激活后
• Residual dropout：残差连接中子层输出加回前

2. 现代大模型为什么去掉 Dropout？

3. 不使用 Dropout 的主流模型

4. 何时仍然需要 Dropout？

• 小模型（<1B）：参数有限，数据可能复用多次
• 数据有限的 fine-tuning：如只有几千条数据的 SFT，需要防过拟合
• 分类/NLU 微调：BERT-style 任务，数据远少于模型容量
• 推荐在 LoRA fine-tuning 中使用 dropout（LoRA 论文建议 0.05）

5. 替代正则化方法

• Weight Decay：$L_2$ 正则，惩罚大权重，LLM 标配（通常 0.1）
• Data Augmentation：更多/更好的数据本身就是最好的正则化
• Z-loss：$\lambda \cdot \log^2 Z$，稳定 softmax 的 log partition function
• Gradient Clipping：限制梯度范数（间接防止过拟合不稳定）

1. 基本原理

梯度直接从输出流向输入，不经过 $F$：

即使 $\frac{\partial F}{\partial x} \to 0$，梯度仍有 $I$（恒等项），不会消失。

2. 深度分析

（a）指数多子网络的集成

$L$ 层残差网络等价于 $2^L$ 个不同深度子网络的集成（Veit et al., 2016）：

这使得网络对单层删除具有鲁棒性。

（b）Pre-LN + Residual 使各层贡献近似独立

由于 LN 将输入归一化，各层的 $F_l$ 接收的输入量级相似，贡献近似独立。

（c）Identity shortcut 保证梯度下限

展开后每一项都包含直连的 $I$ 路径。

3. Post-LN vs Pre-LN

4. DeepNet — 训练超深网络（微软，2022）

引入 $\alpha$ 缩放因子使 1000 层训练成为可能：

其中 $\alpha > 1$（如 $(2L)^{1/4}$），让残差路径占主导，子层贡献被缩小。

同时配合 $\beta$-初始化：子层输出权重初始化为 $\beta \cdot \mathcal{N}(0, \sigma^2)$，$\beta < 1$。

5. 残差在 Transformer 中的应用位置

• Attention 子层：$x + \text{Attn}(\text{LN}(x))$
• FFN 子层：$x + \text{FFN}(\text{LN}(x))$
• 每层两次残差连接，$L$ 层共 $2L$ 次

1. 问题：数值溢出

朴素 softmax：

当 $x_i$ 较大时，$e^{x_i}$ 会溢出：

• FP16：$e^{11.09} = 65504$（最大值），$x > 11$ 即 overflow → Inf
• BF16：$e^{88.7}$ 即 overflow
• FP32：$e^{88.7}$ 即 overflow

2. Safe Softmax（标准解决方案）

利用 softmax 的平移不变性：$\text{softmax}(x) = \text{softmax}(x - c)$

减去最大值后，最大指数为 $e^0 = 1$，永远不会 overflow。

# Safe softmax 实现
def safe_softmax(x):
    x_max = x.max(dim=-1, keepdim=True).values
    exp_x = torch.exp(x - x_max)
    return exp_x / exp_x.sum(dim=-1, keepdim=True)

3. Online Softmax（FlashAttention 核心算法）

传统方法需要三遍扫描：

1. 第一遍：计算 $m = \max(x)$
2. 第二遍：计算 $\sum e^{x_i - m}$
3. 第三遍：计算 $\frac{e^{x_i - m}}{\sum e^{x_j - m}}$

Online Softmax 实现一遍扫描（Milakov & Gimelshein, 2018）：

当新块到来时，需要修正之前的结果：

FlashAttention 利用 Online Softmax 实现分块计算：

# FlashAttention 伪代码（核心循环）
m_i = -inf   # running max
l_i = 0      # running sum
O_i = 0      # running output

for block_j in K_blocks:
    S_ij = Q_i @ K_j.T / sqrt(d)
    m_new = max(m_i, S_ij.max())
    
    # 修正之前的结果
    correction = exp(m_i - m_new)
    l_new = l_i * correction + exp(S_ij - m_new).sum()
    O_i = O_i * (l_i * correction / l_new) + (exp(S_ij - m_new) / l_new) @ V_j
    
    m_i = m_new
    l_i = l_new

4. Log-Sum-Exp Trick（loss 计算）

计算 $\log \sum e^{x_i}$（如 cross-entropy loss 中的 log-partition）：

避免先算 $\sum e^{x_i}$（可能 overflow）再取 log。

1. Xavier / Glorot 初始化（2010）

目标：保持前向和反向传播中信号方差不变。

适用于线性激活 / tanh / sigmoid。

2. Kaiming / He 初始化（2015）

针对 ReLU 修正（ReLU 会将一半输出置零）：

保证每层输出方差 = 输入方差（考虑 ReLU 的因子 2）。

3. GPT-2 的残差层缩放

问题：$L$ 层残差累加后方差增长为 $L$ 倍。解决：

对每层 Attention 和 FFN 的输出投影层（$W_O$ 和 $W_2$）做缩放，使残差路径方差增长被控制。

4. muP（Maximal Update Parameterization）

核心目标：使超参数（尤其学习率）可以从小模型迁移到大模型。

关键洞察：SP 下最优 lr 随宽度变化；muP 下最优 lr 与宽度无关。

5. 为什么 Attention 输出层需要特殊初始化？

• Attention 输出 + FFN 输出通过残差累加 $2L$ 次
• 如果每次加入的方差都是 $O(1)$，输出方差 = $O(L)$，导致后面层的梯度不稳定
• 解决：输出投影初始化方差 ∝ $1/L$（或 $1/\sqrt{2L}$）

6. DeepSeek 的 Zero Init for Output Projection

效果：训练初始时每层贡献为 0（$F(x) = 0$），网络退化为恒等映射 $y = x$。随着训练逐渐学习有意义的变换。

优势：

• 初始 loss = 纯 embedding 的 loss（可预测的起点）
• 训练极稳定，不需要复杂的 warmup
• 与 Pre-LN 配合效果最好

7. 实践总结

1. 并行性

Transformer 在训练时可以对序列内所有位置同时计算，GPU 利用率极高。

2. 长距离依赖

• RNN：信息需要通过 $O(n)$ 步传递，梯度指数衰减（vanishing gradient）
• LSTM：通过 cell state 缓解，但仍是 $O(n)$ 路径
• Transformer：Attention 直接连接任意两个位置，路径长度 $O(1)$

3. 训练效率

4. 推理效率（Transformer 的弱点）

5. 新一代架构：试图结合两者优势

Mamba (S4/SSM 系列)：

• 训练时可以展开为卷积（并行）
• 推理时用递推（$O(1)$ per step，像 RNN）
• 选择性机制（input-dependent $\bar{A}, \bar{B}$）模拟 attention 的动态性

RWKV：

• 线性 attention 变体 + time decay
• 训练并行（矩阵形式），推理递推（RNN 形式）

6. 全面对比表

7. 为什么 Transformer 最终胜出？

1. GPU 硬件适配：矩阵乘法是 GPU 最擅长的操作
2. Scaling Law：Transformer 的性能随规模可预测地提升
3. In-context Learning：注意力机制天然支持 few-shot
4. 工程生态：FlashAttention、vLLM 等优化使 Transformer 推理也越来越快

Causal LM（自回归，GPT 系列）：给定前 t−1 个 token，预测第 t 个 token。损失为交叉熵：

Masked LM（BERT）：随机 mask 15% token，预测被 mask 的词；双向注意力，不能直接做生成。

OpenAI Scaling Law（Kaplan et al.）：模型 Loss 与模型参数量 N、数据量 D、计算量 C 之间满足幂律关系。

Chinchilla Scaling Law（Hoffmann et al.）：在固定计算预算 C 下，最优分配是 N ≈ D（参数量约等于 token 数），即 1B 参数需约 20B tokens。

实践指导：不要一味扩大模型，同等算力下同比增加数据和参数更优。LLaMA 系列有意"欠训练参数"但"过训练数据"，以获得更强推理效率比。

主要流程：

1. 语言检测：fastText 识别语种，过滤低质量混合语言
2. 规则过滤：去除广告、乱码、重复符号；过滤极短/极长文档
3. MinHash 去重：局部敏感哈希（LSH）+Jaccard 相似度，去除近重复文档（n-gram 级别）
4. 质量打分：用小型分类器（如 fastText 训练）筛选高质量内容（Wikipedia 风格）
5. 毒性过滤：基于关键词词典或分类器去除有害内容

中文特点：字粒度 tokenize 词表小但序列长；子词方案更灵活，现代模型通常混合 Byte-level BPE，将任意字节都能编码（无 UNK）。

实际大规模训练（如 GPT-4）通常是 DP × TP × PP 三维混合并行。

SFT 流程：在预训练基座上，用指令-回答对继续训练，教模型"遵从指令"。

1. 构建高质量指令数据：<System><Human><Assistant> 三元组格式
2. 只对 Assistant 回答部分计算 loss，System/Human 部分 mask 掉
3. 通常训练 1~3 个 epoch，学习率 1e-5 ~ 2e-5，防止过拟合

数据质量 > 数量：InstructGPT 仅用 1.3 万条高质量人工标注，效果远超低质量百万条数据。

三阶段流程：

1. SFT：基座 → 指令微调模型
2. RM（奖励模型）训练：收集同一 prompt 下多个回答的人类偏好排序，用 BradleyTerry 模型训练：
   $$\mathcal{L}_\text{RM}=-\log\sigma\!\left(r(y_w)-r(y_l)\right)$$
   y_w 为人类更偏好的回答，y_l 为较差回答
3. PPO 强化学习优化：用 RM 打分作为 reward，用 PPO 更新策略模型，同时加 KL 散度惩罚防止偏离 SFT 模型：
   $$R=r_\theta(x,y)-\beta\cdot\mathrm{KL}(\pi_\theta\|\pi_\text{ref})$$

DPO 绕过了显式奖励模型和 PPO，直接用偏好数据优化策略模型：

LoRA（Low-Rank Adaptation）：冻结原始权重 W₀，在其旁边并联两个低秩矩阵 A（d×r）和 B（r×d）：

推理时合并 ΔW，无额外延迟。训练参数量仅为原始的 0.1%~1%。

QLoRA：将基础模型用 NF4（4-bit Normal Float）量化存储，LoRA 权重用 BF16 训练，通过双重量化和分页优化器实现在单卡 48GB 上微调 65B 模型。

CoT 通过在 prompt 中提供逐步推理示例，引导模型输出中间推理步骤，显著提升复杂推理任务（数学、逻辑）的准确率。

• Few-shot CoT：在 prompt 中给几个"问题+思维链+答案"示例
• Zero-shot CoT：直接在 prompt 后加"Let's think step by step"
• Self-Consistency：对同一问题采样多条推理路径，多数票选结果
• 训练时蒸馏：用 CoT 数据做 SFT，让模型内化推理能力（o1 / R1 路线）

自回归推理中，每步生成新 token 时，旧 token 的 Key 和 Value 计算结果不变，KV Cache 缓存这些结果，避免重复计算。

无 KV Cache：生成第 t 个 token 需对前 t 个 token 重新计算 attention，总复杂度 O(n²)。

有 KV Cache：每步只计算新 token 的 Q，用缓存的 K/V，每步 O(n)，总复杂度 O(n²) → 每步 O(n)。

显存代价：KV Cache 大小 = 2 × layers × n_heads × d_head × seq_len × precision，长序列时可能超过模型本身显存。

问题：标准 Attention 需要将 n×n 的注意力矩阵写入 HBM（GPU 高带宽内存），IO 成为瓶颈。

FlashAttention 思想：分块计算 + Online Softmax

1. 将 Q/K/V 按行分块，每块加载到 SRAM（片上缓存）
2. 用 Online Softmax 算法（Milakov & Gimelshein）逐块更新 softmax，无需存完整矩阵
3. 计算完整 Attention 但 只写回最终输出 O，中间矩阵不写 HBM

效果：计算量不变（仍 O(n²)），但 IO 降到 O(n)，实测 2~4× 加速，显存从 O(n²) 降到 O(n)。

问题：传统 LLM 服务为每个请求预分配最大长度的 KV Cache，造成大量显存碎片和浪费（利用率 <20%）。

PagedAttention：借鉴操作系统虚拟内存分页思想：

• KV Cache 按固定大小 Block（如 16 tokens）分配
• 通过 Block Table 映射逻辑块→物理块（类似页表）
• Block 支持多请求写时复制（CoW）共享（prefix sharing）

效果：显存碎片几乎为 0，支持 Continuous Batching（不同长度请求动态合并），吞吐量提升 2~24×。

量化原理：将浮点权重/激活映射到低精度整数：

PTQ（Post-Training Quantization）：训练后直接量化，不需重新训练，速度快但精度可能有损。代表：GPTQ、AWQ。

QAT（Quantization-Aware Training）：训练时模拟量化误差，精度更高，但需要训练成本。

用小模型（草稿模型）快速生成 k 个候选 token，再用大模型并行验证，接受/拒绝每个 token：

1. 小模型（草稿模型）自回归生成 k 个 token（快）
2. 大模型对 k+1 个位置并行 forward（一次）
3. 按接受率公式（rejection sampling）决定接受哪些 token
4. 拒绝的位置重采样，从该位置继续

效果：大模型的期望加速比取决于小模型与大模型的对齐程度，通常 2~3×，且不改变输出分布（与大模型完全一致）。

前向过程（加噪）：逐步向数据 x₀ 添加高斯噪声，经 T 步后趋近标准高斯分布：

任意时刻可直接采样：

反向过程（去噪）：学习神经网络 ε_θ(x_t, t) 预测噪声，逐步去噪恢复 x₀：

LDM 核心思想：在 VAE 的隐空间（Latent Space）而非像素空间做扩散，大幅减少计算量。

SD 主要组件：

• VAE Encoder/Decoder：图像 → 4×64×64 latent（压缩因子 8）
• U-Net（去噪网络）：在 latent 空间预测噪声，backbone 含 ResBlock + Cross-Attention
• CLIP Text Encoder：文本提示 → 条件向量，通过 Cross-Attention 注入 U-Net
• Scheduler：控制去噪步数和采样策略（DDIM、DPM-Solver）

VAE 用 Encoder 将输入 x 编码为隐变量 z 的概率分布（均值 μ 和方差 σ²），再用 Decoder 从 z 重建 x，通过重参数化技巧实现可微分采样。

ELBO 损失：

• 重建项：−E[log p(x|z)]，使 Decoder 重建准确
• KL 散度项：使编码分布接近先验 N(0,I)，保证隐空间结构性

重参数化技巧：z = μ + σ·ε（ε ~ N(0,I)），使梯度可以流过采样步骤。

GAN 包含 生成器 G 和 判别器 D，博弈训练：

训练不稳定原因：

• 模式崩溃：G 只生成少数样本以骗过 D
• 梯度消失：D 太强时，G 的梯度接近 0
• 非收敛振荡：G/D 交替更新可能循环震荡

改进：

• WGAN：用 Wasserstein 距离替代 JS 散度，Lipschitz 约束（梯度裁剪/梯度惩罚）
• StyleGAN：映射网络 + AdaIN，控制不同层次的风格
• 渐进式训练：从低分辨率逐渐增大，稳定训练

Flow Matching 直接学习从噪声到数据的确定性速度场（ODE），而非 SDE（扩散模型）：

训练目标：让模型预测的速度场与简单插值路径（如线性路径）的速度一致：

优势：

• 训练目标更简单直接，无需复杂噪声调度
• 可用更少步数（8~16 步）生成高质量图像
• Stable Diffusion 3、FLUX、字节 Wan 等均使用

DDPM 的马尔科夫链定义了展开后验概率 q(x₁:T|x₀)，采样是随机的。DDIM 将前向过程重定义为一类非马尔科夫零方差过程：

当 η=0 时采样过程完全确定性，同一初始噪声 x_T 永远得到相同输出。

优势：

• 采样步数可从 1000 降至 20~50 步，速度提升 20-50×
• 确定性采样利于图像编辑（interpolation）：在 latent 空间线性插值即可得到语义过渡
• 共享训练好的 DDPM 权重，无需重训练

CFG 公式：

w 为 Guidance Scale，等价于在条件方向上拉长梯度。

训练方式：随机以 10%~20% 概率丢弃 condition（设为空字符串），训练同一个 U-Net 同时学有条件/无条件两种路径。

过饱和原因：w 过大时，梯度方向被过度放大，模型强行生成与 condition 最相关且概率最高的像素，导致颜色饱和、细节丢失、artifact 增加。

调度影响信噪比分布：Cosine 调度在中间时间步保留更多信号，对高分辨率细节生成更友好；过早进入纯噪声会浪费训练容量。

ControlNet 为平行复制原始 U-Net 的编码器半部（副本），功能：

1. 原始 U-Net 权重冻结，保留预训练涌现能力
2. 副本编码器接受额外条件（边缘图/深度图/骨架），通过Zero Convolution（初始化为 0 的 1×1 卷积）将特征逐层加进解码器
3. Zero Conv 保证训练初期不引入噪声，梯度平稳

为何只训练副本？

• 可训练参数量仅为全模型的 50%，显存减少
• 冻结原始 U-Net 防止灾失性遗忘，不危害已有文本生成能力
• 支持多个 ControlNet 叠加使用

DreamBooth 目标：用 3~20 张特定主题图片，让扩散模型学会生成该主题内容。

+ LoRA 流程：

1. 准备 3~20 张目标图像 + 认罪图像（prior preservation loss 防止过拟合）
2. 在 U-Net 的 Attention 层插入 LoRA，秩 <rank=4~32>
3. 训练 loss = diffusion MSE loss + λ · prior loss
4. 训练 200~500 steps，lr 约 1e-4

常见问题：

• 语言漂移：过多训练后模型只会生成特定主题而失去泛化 → 加大 prior loss 权重
• 过拟合：图像并不多时应及时停止 → 评估 validation loss
• LoRA Rank 选择：写实水平用 r=8；风格过渡用 r=16~32

图像 VAE：仅在空间维压缩（H×W ÷ 8）；视频 VAE 额外在时间维压缩（T ÷ 4），进一步降低扩散过程的计算量：

时序连贯性保证方法：

• 3D卷积：在 Encoder/Decoder 里使用 3D Conv 捕捉时空联合特征
• Temporal Attention：在 latent 序列上做时间轴注意力，支持跨帧建模
• 帧间光流监督：加入光流一致性损失，强制相邻帧 latent 运动可推）

IP-Adapter 实现图片内容作为提示，控制生成图的风格/内容：

1. CLIP 图像编码器提取图片特征（使用 patch-level embedding，非仅 CLS token）
2. 新增一个平行的跨注意力子层（Decoupled Cross-Attention）：
   $$\text{Attn}=\text{Attn}_\text{text}+\lambda\cdot\text{Attn}_\text{image}$$
   文本 Cross-Attention 和图片 Cross-Attention 分开进行，控制权重 λ 平衡内容/文本影响力
3. 冻结原始 U-Net，只训练新增 Attention 层和图像投影

训练：收集 4 亿图文对，用对比学习训练图像编码器和文本编码器：最大化正样本对（配对图文）的余弦相似度，最小化负样本对的相似度。

零样本分类：将类别名称格式化为 "a photo of a {class}"，用文本编码器生成所有类别 embedding，对输入图像计算最近邻，即可在未见过类别上分类。

局限：对细粒度视觉理解（计数、空间关系）弱；对 OCR 文字识别差。

LLaVA 架构：

1. 视觉编码器：CLIP ViT 提取图像 patch 特征（如 256 tokens）
2. 投影层（MLP/Linear）：将视觉特征映射到 LLM 的 token embedding 维度（模态对齐）
3. LLM（Vicuna/LLaMA）：将图像 token 与文本 token 拼接后统一处理

训练策略（两阶段）：

• 阶段一：冻结视觉编码器和 LLM，仅训练投影层（图文特征对齐）
• 阶段二：释放 LLM 进行 SFT，用图文对话数据微调

DiT（Peebles & Xie, 2022）用 Transformer 替代 U-Net 作为扩散模型的去噪网络：

• 图像分块（patchify）为序列，类似 ViT
• 时间步 t 和条件通过 Adaptive LayerNorm（adaLN-Zero） 注入每层
• 无 U-Net 的跳连接，结构更简洁

优势：Transformer 的 Scaling Law 更好（计算量→质量），SD3、Flux、Sora 均采用 DiT 架构。

3D DiT（视频生成）：对时间+空间维度的 patch 建模，处理时序一致性，用于 Sora/OpenSora 等视频生成。

主要挑战：

• 时序一致性：同一物体在不同帧的外观/运动连贯
• 物理合理性：液体、碰撞等物理现象是否真实
• 长视频：注意力复杂度 O(T×H×W × …)，计算量极大
• 训练数据：高质量带文字描述的视频数据稀缺

时序一致性技术：

• 3D 时空注意力（Temporal + Spatial Attention 交错）
• 视频 VAE 在时序维度压缩（4×空间 + 4×时间）
• 运动先验：用光流监督或动作条件（ControlNet-like）

关键设计点：

• 批处理：Continuous Batching（请求动态合并），不等最长序列完成
• KV Cache 管理：PagedAttention 消除碎片，Prefix Caching 共享公共前缀
• 模型并行：TP（Tensor Parallel）拆分 Attention/FFN 到多卡
• 调度策略：优先级队列（SLA）、抢占式调度（preemption）
• 流式输出：SSE 或 WebSocket 逐 token 推流
• 负载均衡：多副本路由，基于 KV Cache 命中率的亲和路由

基础 RAG 流程：Query → Retriever（向量检索/BM25）→ 召回 Top-K 文档 → LLM 生成答案

优化方向：

• 检索端：混合检索（Dense+Sparse），HyDE（用 LLM 生成假设文档做检索），Query 改写
• 索引端：分层切块（Hierarchical Chunking），元数据过滤，Summary 索引
• 生成端：Rerank（Cross-Encoder 精排），Long Context 压缩，引用标注

评估指标：RAGAS 框架（Faithfulness 忠实度、Answer Relevancy 答案相关性、Context Precision 上下文精度）。

• Tool Use：通过 Function Calling 让 LLM 输出结构化 JSON 调用工具（搜索、代码执行、数据库）；工具结果注入上下文后继续生成
• Memory：短期（上下文窗口内）+ 长期（外部向量库/KG）；遗忘机制：摘要压缩旧对话
• Planning：ReAct（推理+行动循环）、Tree-of-Thought（多路径探索）、Self-Refine（自我批评迭代）
• 多 Agent：AutoGen/CrewAI 等框架，不同角色 Agent 协作（规划者+执行者+评审）

MDP 五元组：(S, A, P, R, γ)

• S：状态空间
• A：动作空间
• P(s'|s,a)：状态转移概率
• R(s,a)：奖励函数
• γ ∈ [0,1)：折扣因子

贝尔曼方程（状态价值函数）：

贝尔曼最优方程：

Q-Learning（off-policy）：

TD 目标用 max Q(s',·)，与行为策略无关，直接估计最优策略价值 → off-policy。

SARSA（on-policy）：

TD 目标用实际执行的下一动作 a'（由当前策略决定）→ on-policy，更保守，学习的是执行策略的价值。

目标：最大化期望回报 J(θ) = E_τ[R(τ)]。

策略梯度定理：

REINFORCE（Monte Carlo 策略梯度）：用完整轨迹的折扣回报 G_t 估计 Q 值：

Baseline 减方差：引入基线 b（通常为状态价值 V(s_t)），减少梯度方差：

Actor-Critic 同时维护：

• Actor（策略网络 π_θ）：负责选动作
• Critic（价值网络 V_φ）：负责评估当前策略的价值，提供 TD 误差作为梯度信号

优势函数（Advantage）：

Actor 更新：∇_θ log π_θ(a|s) · A(s,a)

PPO 限制每次策略更新的幅度，防止过大更新破坏策略：

重要性权重： r_t(θ) = π_θ(a_t|s_t) / π_θ_old(a_t|s_t)

Clip 目标函数：

ε 通常取 0.1~0.2。当 r_t > 1+ε（新策略比旧策略提升过多）时，clip 截断不再获益；当 A_t < 0 时，若 r_t < 1-ε 也被截断，防止过度惩罚。

完整 PPO 损失：

其中 L_VF 是 Critic 均方误差，S 是熵正则防止策略过早收敛。

经典 Q-Learning 用表格存 Q 值，无法处理高维状态。DQN 用神经网络近似 Q 函数，并引入两大技巧：

1. Experience Replay（经验回放）：

• 维护 Replay Buffer 存储历史转换 (s, a, r, s')
• 每次随机采样 mini-batch 训练，打破样本时序相关性
• 提高样本利用率，稳定训练

2. Target Network（目标网络）：

• 用独立的旧网络 θ⁻ 计算 TD 目标：y = r + γ·max_a' Q(s',a'; θ⁻)
• 每隔 C 步将主网络参数复制给目标网络
• 防止"追逐移动目标"导致训练发散

核心矛盾：利用当前已知最优动作 vs 探索未知动作以发现更好策略。

GAE 是多步 TD 优势的指数加权平均：

其中 δ_t = r_t + γ·V(s_{t+1}) − V(s_t) 为单步 TD 误差。

LLM RLHF 中，奖励来自 RM 模型（只在序列末尾给分），属于典型稀疏奖励。

解决方案：

• 逐 token 分配奖励：将终态奖励均匀或按重要性分摊到每个 token
• KL 散度惩罚：每步加 −β·KL(π_θ(·|s) || π_ref(·|s))，防止策略偏离 SFT 基准太远

KL 惩罚的三重作用：

• 防止 reward hacking（模型发现漏洞刷 RM 高分但输出质量差）
• 保持语言流畅度（SFT 模型已有好的语言生成能力）
• 稳定训练（避免策略更新过大）

GRPO 去掉了 PPO 中的 Critic 网络，改用组内相对奖励估计优势：

1. 对同一 prompt 采样 G 条回答 {y₁,...,y_G}
2. 用奖励模型打分 {r₁,...,r_G}
3. 组内归一化：A_i = (r_i − mean(r)) / std(r)
4. 用 A_i 代替 PPO 中 Critic 估计的优势

DeepSeek-R1 选择 GRPO 的原因：训练超大模型时省去 Critic 可节省约 50% 显存，同时对数学/代码等有客观验证标准的任务，组内相对奖励信号足够稳定。

二分类（Binary Cross-Entropy / BCE）：

多分类（Categorical Cross-Entropy）：

其中 $y_{i,c}$ 为 one-hot 标签，$\hat{y}_{i,c}$ 为 softmax 输出的第 c 类概率。

MSE（L2 Loss）：

MAE（L1 Loss）：

Smooth L1 / Huber Loss（结合两者优点）：

连续形式：

性质：

• 非对称：$D_{\text{KL}}(P\|Q) \neq D_{\text{KL}}(Q\|P)$
• 非负：$D_{\text{KL}} \geq 0$，等号当且仅当 P=Q
• 不是真正的距离（不满足对称性和三角不等式）

应用：VAE 的正则项、RLHF/PPO 中的策略约束、知识蒸馏。

InfoNCE（CLIP / SimCLR 使用）：

其中 $z_i^+$ 为正样本对，$\tau$ 为温度参数，$\mathrm{sim}$ 通常为余弦相似度。

Triplet Loss：

其中 a=anchor, p=positive, n=negative, d 为欧氏距离。

NT-Xent（Normalized Temperature-scaled Cross Entropy，SimCLR）：

其中 $p_t$ 为模型对正确类的预测概率，$\alpha_t$ 为类别权重，$\gamma$ 为聚焦参数（通常取 2）。

核心思想：$(1-p_t)^\gamma$ 调制因子使得易分类样本（$p_t$ 接近 1）的损失被大幅衰减，模型更聚焦于难分类样本。

其中：

• $z_t$ = Teacher logits，$z_s$ = Student logits
• $T$ = 温度（通常 2~20），使输出分布更平滑，暴露更多"暗知识"
• $\sigma$ = softmax 函数
• $\alpha$ = 平衡软标签与硬标签的权重
• $T^2$ 因子用于补偿温度升高导致的梯度缩放

DDPM 简化损失（ε-prediction）：

v-prediction 变体（Imagen / SD 2.x）：

Flow Matching 损失：

原始 GAN（minimax）：

WGAN（Wasserstein 距离）：

WGAN-GP（梯度惩罚）：

其中 $\hat{x}$ 为真假样本的随机插值点，$\lambda=10$。

Hinge Loss（SAGAN / BigGAN）：

其中 $\phi_l$ 为预训练网络（VGG/DINO）第 $l$ 层的特征图。

LPIPS（Learned Perceptual Image Patch Similarity）：

$\hat\phi_l$ 为 channel-wise 归一化后的特征，$w_l$ 为学习权重。

用途：VAE decoder 训练、超分辨率、图像修复 —— 比 MSE 更符合人类感知。

奖励模型（Bradley-Terry）：

DPO 损失：

PPO Clip 目标：

其中 $r_t(\theta)=\frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{\text{old}}}(a_t|s_t)}$，$A_t$ 为优势函数（GAE 估计）。

其中 $\mathcal{B}^{-1}(y)$ 为所有映射到标签序列 y 的合法对齐路径集合（collapse blank + 重复）。

核心思想：允许模型在输入长度 > 输出长度时，自由选择对齐方式，用动态规划（前向-后向算法）高效求和。

应用场景：语音识别（ASR）、OCR 文字识别、手写体识别。

IoU Loss：

GIoU（Generalized IoU）：

$C$ 为包围两个框的最小闭合区域。

CIoU（Complete IoU）：

额外考虑中心距离 $\rho$、对角线 $c$、宽高比一致性 $v$。

将 one-hot 标签 $y$ 替换为平滑标签：

等价于在交叉熵中混合均匀分布：

其中 $u$ 为均匀分布，$\epsilon$ 通常取 0.1。

作用：防止模型对预测过度自信，提升泛化能力，减少过拟合；原始 Transformer 论文中即使用 label smoothing (ε=0.1)。

Dice Loss：

其中 $p_i$ 为预测概率，$g_i$ 为 ground truth（0/1）。

Tversky Loss（广义 Dice）：

$\alpha$ 控制假阳性权重，$\beta$ 控制假阴性权重。当 $\alpha=\beta=0.5$ 时退化为 Dice Loss。

应用：医学图像分割（处理前景极小的情况），语义分割中与 CE 联合使用。

Self-Instruct（Wang et al. 2023）：

1. 从种子指令集（175 条）出发
2. 用 LLM 生成新指令 → 生成对应输入/输出
3. 过滤低质量/重复数据，扩充指令池
4. 循环迭代，最终得到数万条指令数据

Evol-Instruct（WizardLM）：

1. 对已有指令做“进化”操作：加深（更复杂推理）、加宽（更多约束条件）、改写（换领域/场景）
2. 每轮进化后用 LLM 筛选质量，淘汰退化样本
3. 逐轮迭代，生成从简单到复杂的梯度数据

核心原则：数据配比直接影响模型能力分布，需要根据目标能力精心设计。

典型配比（参考 LLaMA/Qwen 技术报告）：

多语言配比策略：

• 按比例采样：按各语言语料量的 α 次方重采样（α=0.3~0.7），平衡大语种和小语种
• 温度采样：$P(l) \propto n_l^{1/T}$，T 越大分布越均匀
• 多阶段：先大量英文训练，后期增加目标语言比例（annealing）

核心思想：按“从易到难”或“从通用到专精”的顺序安排训练数据，模拟人类学习过程。

在 LLM 中的应用形式：

• 数据质量递进：前期用大量低质量数据学通用模式，后期用高质量数据精炼（LLaMA 3 的“annealing”阶段上采样高质数据）
• 难度递进：先短序列后长序列（节省计算）；先简单任务后复杂任务
• 领域递进：先通用 → 后专业领域 → 最后指令数据
• 数据重放：周期性回放早期数据防止灾难性遗忘

实践案例：

• GPT-4 使用多阶段训练（不同阶段数据质量和难度递增）
• DeepSeek-V3 在预训练末期用 1.5T 高质量 token 做 annealing
• 代码模型先学自然语言再学代码（Codex 路线）

什么是数据污染：测试集（benchmark）的数据出现在预训练语料中，导致评估结果虚高。

检测方法：

• N-gram 匹配：检查训练语料中是否包含 benchmark 的 8-gram 或更长连续片段
• Perplexity 分析：对 benchmark 样本计算困惑度，异常低的说明可能见过
• Membership Inference：用模型自身判断是否“记住”了某个样本
• Canary 方法：在训练集中插入特殊标记，检查模型是否能复现

处理方法：

• 训练前：对所有已知 benchmark 做去重清洗（LLaMA 3 报告了完整去污流程）
• 评估时：使用动态/私有测试集（如 LiveCodeBench、SimpleQA）
• 发布时：明确报告去污方法和残留污染比例

挑战：

• alt-text 质量差：网络图片的 alt 描述往往很短或不准确
• 图文相关性低：很多网页图文只是共现，并非真正描述关系
• 细粒度描述缺失：缺少空间关系、计数、属性等详细描述

解决方案：

• CLIP score 过滤：用 CLIP 计算图文相似度，过滤低分样本（DataComp）
• 重新标注（Recaptioning）：用大模型（如 LLaVA/CogVLM）为图片生成高质量长描述
• 分层数据策略：
  - 阶段一：大量粗粒度图文对（LAION-5B 级别）学基础对齐
  - 阶段二：精细图文对（ShareGPT4V、ALLaVA）学细粒度理解
• 合成数据：用渲染引擎/扩散模型生成带精确标注的图像