SusBench

Computer-use agent 开始替用户在真实界面上自主操作了。网站上有很多 dark pattern，也就是故意诱导用户做出非本意操作的界面设计。

我们想回答的是：这些原本用来骗人的设计，会不会也骗到 agent？

这个问题难在评测环境。要测得准，dark pattern 得可控：出现在哪、属于哪一类都要能设计。但环境又得足够真实，不然结果代表不了 agent 在真实网站上的表现。

自己搭假网站可控但不真实，直接用线上网站真实但不可控。

我们的做法是在真实的消费类网站上，用代码注入的方式构造 dark pattern。从已有的分类体系里选了 9 类常见的 dark pattern，在 55 个网站上设计了 313 个评测任务。

为了验证注入得够不够真，我们做了一个 29 人的用户实验，绝大多数参与者没有发现这些 dark pattern 是研究团队加进去的。

然后在这个 benchmark 上评测了 5 个 SOTA 的 computer-use agent。

人和 agent 的弱点很像：都特别容易中预选项（Preselection）、误导性措辞（Trick Wording）和隐藏信息（Hidden Information）这三类；对比较明显的 dark pattern，反而都有抵抗力。

这项工作指向三个方向：

1. 可信：怎么做出更值得信任的 computer-use agent。
2. 评估：agent 有可能代替人去评估欺骗性设计。
3. 监管：当上网的越来越多是 agent 时，线上环境该怎么监管。

我主要负责两块。

搭建评测框架。 把“在真实网站上注入 dark pattern、让 agent 执行任务、判断它有没有被诱导”这条链路搭起来，让 5 个 agent 能在同一套环境下被评测。

设计评测用例。 把 9 类 dark pattern 落到具体网站的具体任务上。每个用例要定清楚三件事：

1. 任务目标是什么。
2. dark pattern 注入在哪一步。
3. agent 做了什么操作算被诱导。

最终的 benchmark 覆盖 55 个网站、313 个任务。