This startup’s new mechanistic interpretability tool lets you debug LLMs
Goodfire wants to make training AI models more like good old-fashioned software engineering.
[!quote]+
总部位于旧金山的初创公司 Goodfire 刚刚发布了一款名为 Silico 的新工具，它可以让研究人员和工程师窥视人工智能模型内部，并在训练过程中调整其参数–即决定模型行为的设置。这可以让模型制造商对这项技术的构建方式进行更精细的控制，这在以前是不可能实现的。Goodfire 声称，Silico 是同类产品中第一个现成的工具，可以帮助开发人员调试开发过程的各个阶段，从建立数据集到训练模型。
该公司表示，它的使命是让建立人工智能模型不再像炼金术，而更像一门科学。当然，像 ChatGPT 和 Gemini 这样的 LLM 可以做出令人惊叹的事情。但是，没有人确切知道它们是如何工作的，也没有人知道它们为什么会工作，这就很难修复它们的缺陷或阻止不需要的行为。
Goodfire是少数几家公司之一，其中包括业界领先的Anthropic、OpenAI和谷歌DeepMind，它们都在开创一种被称为机械可解释性的技术，旨在通过绘制神经元及其之间的通路，了解人工智能模型在执行任务时的内部情况。(麻省理工科技评论》将机械可解释性选为 2026 年十大突破性技术之一）。
1 个帖子 - 1 位参与者
来源: linux.do查看原文