打开LLM？箱：从思维学最新视？，解密DeepSeek-R1如何“思考”
像 DeepSeek-R1 这样的大型推理模型(Large Reasoning Models)标志着 LLM 处理复杂问题方式的根本性转变。DeepSeek-R1并非直接针对给定输入生成答案，而是创建详细的多步骤推理链，在提供答案之前似乎先对问题进行“思考”(thinking)。这个推理过程对用户公开可见，为研究模型的推理行为创造了无限机会，并开辟了思维学(Thoughtology)这一领域。从 DeepSeek-R1 推理基本构建模块的分类出发，我们对 DeepSeek-R1的分析研究了思维链长度的影响和可控性、长上下文或混淆上下文的管理、文化和安全问题，以及 DeepSeek-R1在认知现象(例如类人语言处理和世界建模) 方面的现状。我们的研究结果描绘了一幅细致入微的图景。值得注意的是，我们发现 DeepSeek-R1 的推理存在一个“最佳点”(sweet spot)，额外的推理时间反而可能损害模型性能。此外，我们发现 DeepSeek-RI倾向于持续反复思考(ruminate)先前探索过的问题表述，从而阻碍了进一步的探索。我们还注意到DeepSeek
- 2025-04-28
- 阅读1215
- 下载1
- 51页
- pdf
