我们公司服务器日志里全是AI爬虫抓数据 请求量越来越大怎么办

昨天晚上十点多我还在公司加班,顺手看了一眼服务器日志,发现有几个陌生的IP段一直在疯狂请求我们的公开接口,抓取的内容基本是产品描述和用户评论。

一开始以为是正常爬虫,后来仔细看User-Agent里带了些大模型相关的关键词,估计是拿去训练AI了。我们之前加过robots.txt,但明显没用。

现在最担心的是公司一些还没公开的策略描述也被抓走了,万一被竞争对手拿去分析就麻烦了。想问问有没有简单有效的办法,能直接把这些爬虫挡掉,又不影响正常用户访问?