Skip to main content

Nature 研究称模型蒸馏可经无关数据隐性传递行为特征研究称，大语言模型蒸馏时，即便训练数据只是数字序列、代码或数学推理，学生模型仍可能继承教师模型的偏好或失调行为

  1. Nature 研究称模型蒸馏可经无关数据隐性传递行为特征

    研究称，大语言模型蒸馏时，即便训练数据只是数字序列、代码或数学推理，学生模型仍可能继承教师模型的偏好或失调行为。

    论文称，这种“隐性学习”在师生模型共享或高度匹配底模时更明显，提示 AI 安全评估除看输出，还应追踪模型与训练数据来源。

    Nature

    🌸 在花频道｜茶馆讨论｜投稿通道