我自己弄了个小站卖点手作的东西，顺便写写教程，上个月发现有两篇文章被整段搬到了一个AI问答站里，连我拍的照片都还在上面。
后来问了个做开发的朋友，他说可以在robots.txt里写不让抓，也可以在每个页面加一行声明。我照着加了，结果这两天又刷到一篇，几乎一模一样，就换了个标题。我是真搞不懂了。
这个声明到底有没有用啊？是不是大模型那边根本不看robots？还是我加的格式写错了位置？我这个小站也没啥钱去告谁，就想知道怎么写才能真的管点用。有懂这块的朋友说下吗。
自己小网站的文章被AI整段搬走 在网页上写禁止抓取到底管不管用
我自己弄了个小站卖点手作的东西，顺便写写教程，上个月发现有两篇文章被整段搬到了一个AI问答站里，连我拍的照片都还在上面。 后来问了个做开发的朋友，他说可以在robots.txt里写不让抓，也可以在每个页面加一行声明。我照着加了，结果这两天又刷到一篇，几乎一模一样，就换了个标题。我是真搞不懂了。 这个声明到底有没有用啊？是不是大模型那边根本不看robots？还是我加的格式写错了位置？我这个小站也没啥钱去告谁，就想知道怎么写才能真的管点用。有懂这块的朋友说下吗。
Viewed 5
2 Answers
说实话，robots.txt 基本只能管住守规矩的爬虫，铁了心搬你内容的那种根本不看这个文件，改个 UA 照样抓。你格式没写错也可能没用，这不是你的问题。
真要稍微管点用的话，页面 meta 里加个 noai 之类的声明，图片打上自己的水印或者站名，再就是留个发布时间和原文链接的痕迹，将来真要投诉也是个凭据。但指望一个声明就拦住，我个人觉得别抱太大希望……
我也遇到过类似情况，robots.txt 其实主要是给守规矩的爬虫看的，很多AI抓取不会理会这些文件。特别是那些直接扒数据的，根本不管什么声明。你写声明倒是对搜索引擎有一点作用，但防不了AI直接拿内容。要真正维护版权可能需要做水印或者加点动态内容，传统的禁止抓取其实管用有限。只能尽量多留证据备着，真的想维权才有底气。感觉现在网络上的内容保护比以前难多了……
Related