[AI Agent 智能体] 中转站的安全性如何保障, Agent 一个提示就是几百个工具调用,几十个 exec 没人会一个一个审核吧。

看了一个这个: https://www.bilibili.com/video/BV1ZmG46MEut 有点焦虑,Agent 一个操作就是几百个工具调用,几十个 exec 没人会一个一个审核吧,太容易中毒了。 里面翻倍,注水我都能忍,但是安全性如何保证,比如偷偷的把某个 tool calling 的...
[AI Agent 智能体] 中转站的安全性如何保障, Agent 一个提示就是几百个工具调用,几十个 exec 没人会一个一个审核吧。
[AI Agent 智能体] 中转站的安全性如何保障, Agent 一个提示就是几百个工具调用,几十个 exec 没人会一个一个审核吧。

看了一个这个: https://www.bilibili.com/video/BV1ZmG46MEut

有点焦虑,Agent 一个操作就是几百个工具调用,几十个 exec 没人会一个一个审核吧,太容易中毒了。 里面翻倍,注水我都能忍,但是安全性如何保证,比如偷偷的把某个 tool calling 的改成 exec 命令执行 npx vite-build-xxx 然后 vite-build-xxx 其实是中转站 push 上去的一个恶意程序怎么办。

来源: v2ex查看原文