Is Microsoft's New AI Agent Feature a Game-Changer or a Backdoor to Disaster?
微软新的AI代理功能到底是颠覆性创举,还是通往灾难的后门?

www.techpowerup.com
So Microsoft is rolling out AI agents that can order your pizza, fill in your credit card, and maybe—just maybe—hand it to a hacker through a prompt injection attack. These 'agentic features' are experimental, optional, and come with a warning that sounds more like a horror movie disclaimer.
所以,微软正推出能帮你订披萨、自动填写信用卡信息的AI代理——但也许,一不小心,就通过提示注入攻击把卡号交给了黑客。这些‘代理功能’虽属实验性、可选择开启,但警告语听起来更像一部恐怖片的免责声明。
They're sandboxed, sure, but persistent. They're isolated, sure, but have full R/W access to your Downloads and Desktop. It's like giving your kid a toy kitchen… with real knives. Innovative? Absolutely. Safe? That depends on whether you trust AI to read the fine print no human ever does.
它们确实被沙箱化了,没错,但还能长期存在。它们被隔离了,没错,却对你的下载和桌面文件夹拥有完整读写权限。这就像你给孩子一个玩具厨房……但配上了真刀。创新?当然。安全?那就看你是否相信AI会去读人类都不看的细文条款了。
这已不仅是漏洞——而是全新的攻击面。提示注入攻击绕过传统安全模型,利用AI对输入的信任进行攻击。你不是在黑操作系统,而是在像操纵木偶一样操控AI。这是范式转变。
至少他们做了沙箱隔离。作为一个每天部署AI代理的工程师,我很认可‘代理工作区’的概念。这总比让它们在用户空间乱跑强。但长期运行且有文件访问权限的代理?那简直是在邀请勒索软件上门。
太棒了,现在我的电脑不仅能订披萨,还能顺便把我黑了。我们真活在未来了。
真正的问题不在技术本身,而在于信任模型。我们正在构建代表我们行动的系统,却无法验证其决策。审计日志虽有帮助,但只是事后补救。我们需要实时的AI问责机制。
所以我家孩子下个‘作业助手’PDF,AI突然就用我的卡买了个堡垒之夜皮肤?谢谢,我还是手动订披萨吧。
没错。而且那些皮肤可比披萨贵多了。攻击路径甚至都不复杂——就是个有毒文档。入门门槛如此之低,想想就吓人。
你们都反应过度了。这是可选功能。怕了就关掉。而我们其他人,会继续享受2030年的生活。
当奶奶点开一个假冒的‘Windows更新’PDF,她的毕生积蓄就没了。当用户根本不懂风险时,‘可选’也没用。