关于robots协议禁止爬虫抓页面依然收录首页问题

2130 2年前爬虫抓取 1449

赵老师，

最近一直有个问题得不到解决，网站做了robots协议，书写规则都是正确的已查证，书写中直接禁止爬虫抓取站点，屏蔽所有爬虫禁止访问网站，但是首页依然收录了，这个是什么问题导致的呢？具体该怎么做禁止爬虫抓取页面

回复

共1条回复我来回复

赵彦刚
提供：SEO培训、SEO顾问咨询服务
评论
首页收录是在所难免的，但是你可以查看一下快照，首页里的内容应该是没有被收录和建立索引的。robots禁止了爬虫抓取，但一般百度都会收录首页，就像当年淘宝网禁止了百度，但百度依然会收录淘宝网的首页。

一般全站禁止了之后，如果其它网站没有链接到你内页的入口，百度不会收录你的内页的。

2年前 1条评论
- 2130 2022-04-15 10:29:04
  
  换言之，这种情况避免不了？