关于robots协议禁止爬虫抓页面依然收录首页问题

2130 爬虫抓取 202

赵老师,

最近一直有个问题得不到解决,网站做了robots协议,书写规则都是正确的已查证,书写中直接禁止爬虫抓取站点,屏蔽所有爬虫禁止访问网站,但是首页依然收录了,这个是什么问题导致的呢?具体该怎么做禁止爬虫抓取页面

回复

共1条回复 我来回复
  • 赵彦刚
    赵彦刚
    提供:SEO培训、SEO顾问咨询服务
    评论

    首页收录是在所难免的,但是你可以查看一下快照,首页里的内容应该是没有被收录和建立索引的。robots禁止了爬虫抓取,但一般百度都会收录首页,就像当年淘宝网禁止了百度,但百度依然会收录淘宝网的首页。

    一般全站禁止了之后,如果其它网站没有链接到你内页的入口,百度不会收录你的内页的。

    5个月前 1条评论
    • 2130 2022-04-15 10:29:04

      换言之,这种情况避免不了?