SOFT TARGETS / 软目标
温度改变了什么？
固定同一前缀下的 4 个候选 token。调高温度，让低概率候选的相对信息变得更明显。
0.5 · 更尖锐5.0 · 更平滑
0 · 仅硬标签1 · 仅软目标
L = (1 − α) CE(y, pS1)
+ ατ² KL(pTτ ‖ pSτ)
+ ατ² KL(pTτ ‖ pSτ)
—硬标签 CE · nats
—τ² × KL · nats
—加权总损失
RESEARCH NOTES · 2026.10参考文献 ↗
01 / THE BIG PICTURE
大模型蒸馏全景图
把教师的能力，转化为学生的学习信号。沿着六个维度，理解方法、取舍与落地闭环。
教师 T → 知识信号 → 学生 S蒸馏迁移的是行为与表征；不要求参数量更小，也不保证所有能力都能保留。
没有找到匹配概念。试试“KL”“LoRA”或“推理”。
当前节点关联概念六个维度可交叉组合
| 知识载体 / 方法 | 教师要求 | 学生学习目标 | 适用场景 | 主要取舍 |
|---|
这些不是互斥选项。 推理步骤可以通过响应蒸馏学习；on-policy 决定训练前缀来自谁，KL 方向决定如何比较分布。LoRA 是参数更新方式，量化是数值表示方式，它们都可与蒸馏组合。
ONE PREFIX / 同一个上下文
“天空通常是 ___ 的”
教师 logits = [4, 2, 1, 0]，学生 logits = [2, 2.5, 1, 0.5]。硬标签为“蓝色”。
教师分布 pT学生分布 pS
pᵢ = exp(zᵢ / τ) / Σⱼ exp(zⱼ / τ)。使用自然对数；τ² 是经典温度补偿，具体实现可不同。
这是固定 logits 的计算实验。 滑块只重算分布和损失，没有更新模型参数；损失数值随温度变化不代表能力提高。蒸馏温度与实际生成时的采样温度用途不同；逐 token KL 还要求词表与位置可比较。
覆盖真实输入、难度与语言；先隔离测试集。
记录版本、提示、采样配置和授权范围。
规则、测试、验证器和抽样人工复核。
兼顾领域覆盖、通用能力和可学习难度。
基于开发集失败补数据，保留盲测集。
QUALITY GATES / 教学样本
留下哪些训练样本？
用 8 条虚构样本演示过滤。同一条样本可以同时命中多个规则。
—
保留比例只描述这组教学样本，不代表真实数据通过率。
样本审阅台
规则变化会即时更新
“教师说得像”不等于“数据正确”。 对数学和代码优先使用可执行验证；对开放问题增加来源、人工复核和跨评审一致性检查。仅靠同一个教师自评，容易放大它原本的偏差。
START WITH CONSTRAINTS
先明确你的约束
得到一条可验证的起步路线，不把选型规则当作性能保证。
推荐的前提： 已获得可用于训练的数据和教师输出权限；学生有足够的语言、代码或工具基础；词表不兼容时先考虑文本蒸馏，不能直接套用逐 token KL。
0 / 12
勾选已准备好的验证项。完成清单表示评测准备情况，不代表模型已通过验收。
至少比较三个版本： 原始学生、仅用真实任务数据 SFT 的学生、蒸馏后的学生。在同一任务、提示、解码条件下评测质量；在同一硬件与负载、等价服务条件下测量成本。量化收益应单独做消融，避免全部归因于蒸馏。
从软目标，到推理能力迁移
代表性工作 · 非穷尽目录
按首次公开年份展示。页面是教学综述，不是模型榜单；所列方法适用不同任务和模型。参考资料核对于 2026-10-03。