自己小网站的文章被AI整段搬走 在网页上写禁止抓取到底管不管用

我自己弄了个小站卖点手作的东西,顺便写写教程,上个月发现有两篇文章被整段搬到了一个AI问答站里,连我拍的照片都还在上面。 后来问了个做开发的朋友,他说可以在robots.txt里写不让抓,也可以在每个页面加一行声明。我照着加了,结果这两天又刷到一篇,几乎一模一样,就换了个标题。我是真搞不懂了。 这个声明到底有没有用啊?是不是大模型那边根本不看robots?还是我加的格式写错了位置?我这个小站也没啥钱去告谁,就想知道怎么写才能真的管点用。有懂这块的朋友说下吗。

Viewed 12

我自己弄了个小站卖点手作的东西,顺便写写教程,上个月发现有两篇文章被整段搬到了一个AI问答站里,连我拍的照片都还在上面。

后来问了个做开发的朋友,他说可以在robots.txt里写不让抓,也可以在每个页面加一行声明。我照着加了,结果这两天又刷到一篇,几乎一模一样,就换了个标题。我是真搞不懂了。

这个声明到底有没有用啊?是不是大模型那边根本不看robots?还是我加的格式写错了位置?我这个小站也没啥钱去告谁,就想知道怎么写才能真的管点用。有懂这块的朋友说下吗。

3 Answers

这件事分情况。robots.txt 和页面内声明能约束“守规矩的爬虫”和合规平台,但对不少AI抓取器和洗稿站不一定生效,尤其是已经被别人转载后的二次抓取。建议两条线并行:一是正确配置“禁止抓取/禁止训练”的技术信号,把门关到位;二是为侵权取证和维权留出选项,优先走平台投诉的低成本路径。

robots.txt 和“声明”到底管不管用

  • 有用的前提
    • 搜索引擎、主流平台的爬虫会遵守 robots.txt 与页面元标签,不抓或不收录。
    • 一些大模型厂商宣布尊重“选择退出训练”的信号,例如在站点级或页面级声明。
  • 失效的原因
    • 灰色爬虫/镜像站不看 robots.txt,直接抓页面 HTML 与图片。
    • 你被第三方先转载一次后,AI站点再从“二道来源”抓取,绕过了你站的禁抓规则。
    • 仅加“文字声明”无技术可识别信号,机器看不见或故意无视。
    • robots.txt 写法或路径错误、CDN 缓存未更新,导致爬虫仍视为允许。

换句话说:对“愿意遵守”的爬虫,robots/元标签有用;对“故意无视”的,技术声明不构成法律上的“护身罩”,只能降低风险而非彻底阻断。

正确写法:禁止抓取 vs 禁止用于AI训练

  • 站点级 robots.txt(放在根目录 /robots.txt)

    • 全站不抓
      • User-agent: *
      • Disallow: /
    • 只禁某目录(例如 /tutorials/)
      • User-agent: *
      • Disallow: /tutorials/
    • 注意事项
      • 确保可经 https://你的域名/robots.txt 直接访问
      • 发布后清 CDN/缓存,再用各平台“抓取测试”核验
      • robots.txt 是“抓取指令”,不是版权授权书
  • 页面级禁止抓取/索引(每个 HTML 页内)

    • 适用:告诉主流搜索不要收录、不要存档、不要索引图片
    • 局限:对不遵守规则的爬虫不起效
  • 页面级“禁止AI训练/归因要求”的机器可读提示(补充而非保证)

    • 在内加
      • 可在页面显著处放“内容版权声明、禁止用于训练/生成式转载”,并保留时间戳
    • 说明:不同厂商识别能力不一,更多是“合规平台”会参考的信号,不是强制力
  • 图片防直接外链

    • 配置服务器/对象存储的 Referer 白名单,拒绝第三方直接引用你的图片链接
    • 给图片加低像素可见或不可见水印(见下节),便于溯源
  • 常见写错点

    • robots.txt 不在根目录、文件名大小写不对或多了扩展名
    • 用 Allow/Disallow 写反,或被后续规则覆盖
    • 忘记给非 www 与 www 两个入口都提供一致策略
    • 只加了“版权声明文字”,没有任何机器可读指令与访问限制

小网站可执行的“降风险”组合拳

  • 技术侧(立刻可做)

    1. robots.txt:先对高价值目录 Disallow;极端期望就全站 Disallow
    2. 页面元标签:教程页加 noindex、noarchive、noimageindex
    3. 图片策略:
      • 打开防盗链(按你的服务器/OSS文档设置)
      • 批量加可见水印(站名/URL/年份),角落半透明;同时嵌入EXIF版权字段
    4. 结构化标注:在页尾放版权声明与原始发布时间,生成固定链接,便于取证和平台判断“原始发布者”
    5. 监测:设置简单的主动检索
      • 以文中独特句子打引号去搜
      • 图片以“以图搜图”检索
      • 为高价值内容放蜜标句(不影响阅读但独特),便于识别整段搬运
  • 发布侧(尽量降低“被二次抓取”)

    • 同步到你控制的主流平台账号(如公众号/小红书等),形成更早/更强的可验证“首发记录”,便于投诉胜率
    • 重要文章先发长图版再发网页,降低可直接复制的便利度(权衡SEO)
  • 取证侧(一旦发现搬运立即做)

    • 保存对方页面的完整截图、网页源代码、图片URL、发布时间、快照
    • 用第三方时间戳与存证工具对你的原文留存证据(发布时间、文件哈希)
    • 记录你的原创文件原版(拍摄原片、PSD/RAW、草稿)

被整段搬走后,低成本维权路径

  • 平台内投诉优先

    • 多数问答站/内容站都有侵权投诉入口,选择“著作权/图片权”路径,提交:
      • 你的原文链接与首发时间证明
      • 侵权页链接、整段对比图
      • 原图原片或带水印对照
    • 对典型平台,可在站内“版权投诉”或“客服中心”提交;遇到公然不理的站,可向 12377 举报低质搬运与侵权信息 [https://www.12377.cn/],或走 12315 投诉涉商家维权 [https://www.12315.cn/]
  • 搜索引擎下架请求

    • 对已被索引的侵权页,向搜索引擎提交“版权下架/移除”申请;各平台在其站内客服入口可查,微信生态可通过 [https://weixin.qq.com/] 的公众号/开放平台渠道咨询其投诉流程
  • 图片专向处理

    • 发现直链盗用你站图片:启用防盗链后,侵权页会出现裂图;并可要求对方删除已复制的本地图片
    • 采用可见水印+EXIF版权信息,提升投诉成功率
  • 何时考虑进一步法律途径

    • 多次通知不处理、商业化使用你的图片/教程牟利、拒不删除。若金额不大,可先收集证据后找平台再申诉一轮;确需律师函或起诉时再评估成本。

技术手段的边界与取舍

  • 能阻吓谁
    • 合规爬虫、主流平台:大概率遵守 robots/元标签
    • 搬运者怕账号风险的平台:投诉通常有效
  • 很难阻住谁
    • 非法抓取、镜像站、境外匿名主机:会无视 robots、直接复刻
  • 取舍建议
    • 对教程页:noindex + 水印 + 防盗链 + 站内首发证据
    • 对商品页:可允许索引以保留搜索流量
    • 对已被大量转载的旧文:重点做投诉与下架,技术封堵作用有限

权威信息可查国家网信办举报平台 12377 与 12315 消费投诉系统的受理范围与流程,[https://www.12377.cn/]、[https://www.12315.cn/]。微信生态内的内容与账号治理政策以 [https://weixin.qq.com/] 公告与客服说明为准。

说实话,robots.txt 基本只能管住守规矩的爬虫,铁了心搬你内容的那种根本不看这个文件,改个 UA 照样抓。你格式没写错也可能没用,这不是你的问题。

真要稍微管点用的话,页面 meta 里加个 noai 之类的声明,图片打上自己的水印或者站名,再就是留个发布时间和原文链接的痕迹,将来真要投诉也是个凭据。但指望一个声明就拦住,我个人觉得别抱太大希望……

我也遇到过类似情况,robots.txt 其实主要是给守规矩的爬虫看的,很多AI抓取不会理会这些文件。特别是那些直接扒数据的,根本不管什么声明。你写声明倒是对搜索引擎有一点作用,但防不了AI直接拿内容。要真正维护版权可能需要做水印或者加点动态内容,传统的禁止抓取其实管用有限。只能尽量多留证据备着,真的想维权才有底气。感觉现在网络上的内容保护比以前难多了……

Related