robots协议

  • 怎么屏蔽百度蜘蛛(Baiduspider)抓取网站

    学习SEO的过程中,屏蔽百度蜘蛛或其他搜索引擎蜘蛛抓取我们网站的部分页面是基础知识,所以针对如果屏蔽百度蜘蛛抓取我们的网站也是最重要的一个点,下面我们一起聊聊。

    2019 年 1 月 5 日
    8.0K0
  • indexpage:360搜索对Robots协议的扩展

    indexpage这个名词可能对多数关注百度SEO的你有些陌生,但是就今天的搜索引擎市场来看,百度、360、搜狗以及谷歌齐分搜索引擎市场的时代,而360拥有20%多的市场份额,使我们必须针对360做些专门的SEO工作。那如标题所述,indexpage是360搜索的一个Robots的一个扩展协议,下面我们聊聊它的作用。

    2014 年 4 月 12 日
    12.4K6
  • 检查robots是否正确的工具介绍

    robots是一个新站在上线之前就要写的一个txt文档,而这个很简单,但是却往往被我们忽视,有时候网站除了SEO细节上的问题,我们却要找好长时间,一个大的网站甚至会倒腾几周。其实是…

    2013 年 5 月 23 日
    14.8K6