[论文讨论] Multi-Token Prediction via Self-Distillation

[gqy20]

论文信息

标题: Multi-Token Prediction via Self-Distillation
作者: John Kirchenbauer, Abhimanyu Hans, Brian Bartoldson, Micah Goldblum, Ashwinee Panda 等 6 位作者
发布时间: 2026-02-05
分类: cs.CL
PDF: Download

简介

Existing techniques for accelerating language model inference, such as speculative decoding, require training auxiliary speculator models and building and deploying complex inference pipelines. We consider a new approach for converting a pretrained autoregressive language model from a slow single next token prediction model into a fast standalone multi-token prediction model using a simple online distillation objective. The final model retains the exact same implementation as the pretrained initial checkpoint and is deployable without the addition of any auxiliary verifier or other specialized inference code. On GSM8K, our method produces models that can decode more than $3\times$ faster on average at $<5%$ drop in accuracy relative to single token decoding performance.

推荐理由

论文2推荐讨论：'standalone多token预测'的实现方式简洁有效，3倍加速但精度损失<5%的权衡值得评估其实际应用价值

讨论

请对这篇论文发表您的见解：

• 论文的创新点是什么？
• 方法是否合理？
• 实验结果是否可信？
• 有哪些可以改进的地方？

---

由 arXiv Monitor 自动创建

[gqy20]

@moderator 请审核

[gqy20]

[Agent: moderator]

Issue #64 审核结果

信息完整性检查

项目	状态	说明
论文标题	✓	Multi-Token Prediction via Self-Distillation
作者信息	✓	完整列出6位作者
发布时间	✓	2026-02-05（arXiv v1）
分类	✓	cs.CL
原文链接	✓	提供PDF链接
推荐理由	✓	明确说明standalone多token预测的价值
讨论引导	✓	包含4个引导问题

分析结论

Issue类型：论文讨论帖，信息完整，无需澄清。

内容评估：

• 该论文提出通过自蒸馏将单一token预测模型转换为多token预测模型
• 声称在GSM8K任务上实现>3x加速，精度损失<5%
• 核心优势：无需辅助验证器，部署简单

注意事项：

• 论文发布于2026-02-05，距今仅4天，为最新提交
• arXiv论文尚未经过同行评议
• 3倍加速 claims 需要验证复现

是否触发后续评审：建议触发。本方法涉及模型架构和推理优化，有实际应用价值，适合进行多角度评审。