MIT实验揭示GPT-6 Astra直接优化模型权重的惊人能力

MIT的一项新实验表明，GPT-6 Astra具备直接读取和编辑小型模型权重的能力。通过对0.8B参数的Qwen3.5模型进行微小调整，仅修改0.016%的权重，Astra的应用使其性能显著提升。值得注意的是，这一过程没有经过传统的训练或梯度下降，使得其在数学能力测试MATH-500中的得分从7.9%猛增至48.1%，即大约提升了六倍。此外，模型在没有优化要求下的指令执行也提升了三倍。

研究团队为这种方法起名为“权重空间编程”。Astra通过直接分析神经网络的权重，找出模型存在的问题并按需进行调整，甚至能够从零开始生成一个新的网络。在实验中，研究人员为Astra提供了Qwen3.5的全部权重，并要求其尽可能提升数学能力。通常情况下，模型训练需要根据输出和目标之间的差距来计算损失，从而进行反向传播并更新参数，但这次的改动由Astra基于分析结果自主决定。

Astra发现该模型的数学表现受到了“推理循环”的影响。在初步的96条练习回答中，多达85条回答超出了32768个token的长度限制，显然影响了有效回答的生成。通过追查，Astra最终定位到前馈网络的第15层和第19层，并修改了输出列的权重，成功将超过长度限制的回答比例从93.0%降低至33.1%。经过不同次数的前向调用，最终得分分别为12.3%、14.1%和48.1%。 球友会

在另外的实验中，Astra被用来识别不同的游戏环境，分析了四个小型网络的权重，成功判断出其对应的游戏名称。与此同时，Astra也能够识别其他模型所学的语言，尽管面临无法直接输入数据的限制。另一个实验涉及使小车在坡道中成功行驶，通过直接修改3.5%的权重，Astra使得模型在1024次测试中全数成功。

实验的最后，研究人员挑战Astra在没有任何权重的情况下生成可用的网络模型。通过对MinAtar小游戏的规则、源代码和网络结构进行分析，Astra在没有训练数据和梯度更新的情况下，创造的网络平均得分达到517.4，远超传统训练过程中的表现。这项研究展示了大模型在权重分析和自我优化方面的潜力，标志着人工智能模型发展的重要一步。