我自己弄了个小站卖点手作的东西,顺便写写教程,上个月发现有两篇文章被整段搬到了一个AI问答站里,连我拍的照片都还在上面。
后来问了个做开发的朋友,他说可以在robots.txt里写不让抓,也可以在每个页面加一行声明。我照着加了,结果这两天又刷到一篇,几乎一模一样,就换了个标题。我是真搞不懂了。
这个声明到底有没有用啊?是不是大模型那边根本不看robots?还是我加的格式写错了位置?我这个小站也没啥钱去告谁,就想知道怎么写才能真的管点用。有懂这块的朋友说下吗。
我自己弄了个小站卖点手作的东西,顺便写写教程,上个月发现有两篇文章被整段搬到了一个AI问答站里,连我拍的照片都还在上面。 后来问了个做开发的朋友,他说可以在robots.txt里写不让抓,也可以在每个页面加一行声明。我照着加了,结果这两天又刷到一篇,几乎一模一样,就换了个标题。我是真搞不懂了。 这个声明到底有没有用啊?是不是大模型那边根本不看robots?还是我加的格式写错了位置?我这个小站也没啥钱去告谁,就想知道怎么写才能真的管点用。有懂这块的朋友说下吗。
我自己弄了个小站卖点手作的东西,顺便写写教程,上个月发现有两篇文章被整段搬到了一个AI问答站里,连我拍的照片都还在上面。
后来问了个做开发的朋友,他说可以在robots.txt里写不让抓,也可以在每个页面加一行声明。我照着加了,结果这两天又刷到一篇,几乎一模一样,就换了个标题。我是真搞不懂了。
这个声明到底有没有用啊?是不是大模型那边根本不看robots?还是我加的格式写错了位置?我这个小站也没啥钱去告谁,就想知道怎么写才能真的管点用。有懂这块的朋友说下吗。
这件事分情况。robots.txt 和页面内声明能约束“守规矩的爬虫”和合规平台,但对不少AI抓取器和洗稿站不一定生效,尤其是已经被别人转载后的二次抓取。建议两条线并行:一是正确配置“禁止抓取/禁止训练”的技术信号,把门关到位;二是为侵权取证和维权留出选项,优先走平台投诉的低成本路径。
换句话说:对“愿意遵守”的爬虫,robots/元标签有用;对“故意无视”的,技术声明不构成法律上的“护身罩”,只能降低风险而非彻底阻断。
站点级 robots.txt(放在根目录 /robots.txt)
页面级禁止抓取/索引(每个 HTML 页内)
页面级“禁止AI训练/归因要求”的机器可读提示(补充而非保证)
图片防直接外链
常见写错点
技术侧(立刻可做)
发布侧(尽量降低“被二次抓取”)
取证侧(一旦发现搬运立即做)
平台内投诉优先
搜索引擎下架请求
图片专向处理
何时考虑进一步法律途径
权威信息可查国家网信办举报平台 12377 与 12315 消费投诉系统的受理范围与流程,[https://www.12377.cn/]、[https://www.12315.cn/]。微信生态内的内容与账号治理政策以 [https://weixin.qq.com/] 公告与客服说明为准。
说实话,robots.txt 基本只能管住守规矩的爬虫,铁了心搬你内容的那种根本不看这个文件,改个 UA 照样抓。你格式没写错也可能没用,这不是你的问题。
真要稍微管点用的话,页面 meta 里加个 noai 之类的声明,图片打上自己的水印或者站名,再就是留个发布时间和原文链接的痕迹,将来真要投诉也是个凭据。但指望一个声明就拦住,我个人觉得别抱太大希望……
我也遇到过类似情况,robots.txt 其实主要是给守规矩的爬虫看的,很多AI抓取不会理会这些文件。特别是那些直接扒数据的,根本不管什么声明。你写声明倒是对搜索引擎有一点作用,但防不了AI直接拿内容。要真正维护版权可能需要做水印或者加点动态内容,传统的禁止抓取其实管用有限。只能尽量多留证据备着,真的想维权才有底气。感觉现在网络上的内容保护比以前难多了……