缓解 AI 机器人的影响

过去几年，仓储遇到了越来越多的机器人试图访问其资源。这些机器人（又称爬虫）在互联网上漫游，为搜索引擎和大语言模型以及其他用途收集数据、索引信息。虽然其中一些机器人相当无害，但另一些则足够激进，会导致仓储（及其他学术交流基础设施）的服务中断。
机器用户一直是仓储至关重要的受众群体，因为搜索引擎、聚合器和其他索引服务是仓储资源被发现的主要机制。因此，尽管某些机器人的行为日益激进，确保仓储对友好的机器人和爬虫保持开放和可访问，非常符合社群的利益。
COAR 于 2025 年初开展了一项调查，以评估仓储在多大程度上因「机器人」——如抓取或收割系统等自动化 Web 客户端——活动突然大幅增加而受到不利影响。随后的报告《AI 机器人与爬虫对开放仓储的影响》（The impact of AI bots and crawlers on open repositories）于 2025 年 6 月发布。报告清楚地表明：
针对调查结果，COAR 召集了「应对机器人」任务组，为仓储管理者开发建议和支持信息，帮助他们应对这一现象。
任务组的主要成果是一个「应对机器人」网站，旨在帮助仓储管理者根据自身情境，就是否采用相应策略以实现这种平衡做出知情决策。
这项工作的一项重要结论是，该问题并不存在「银弹」式的解决方案。显然，Web 上的流量性质已经改变，而且几乎可以肯定，仓储将继续面对各种各样的机器人（无论欢迎与否），而且在许多情况下这类机器人的行为将成问题。仓储需要在保护自身运营不被无良行为者的流量压垮，与坚守为合法用户和机器提供开放访问的核心使命之间走出一条精细的平衡线。
下一步，COAR 将启动一个试点项目，评估那些既能保护仓储、又能让仓储尽可能保持开放的新兴措施。COAR 将于 2026 年 10 至 11 月招募感兴趣的仓储。这将有助于就应对机器人的良好有效实践形成共识。