当前位置: 博客首页 › 搜索引擎爬虫

搜索引擎爬虫

  • 浅析爬虫的不重复抓取策略

    不重复抓取?有很多初学者可能会觉得。爬虫不是有深度优先和广度优先两种抓取策略吗?你这怎么又多出来一个不重复抓取策略呢?其实我这几天有不止一次听到了有人说要在不同页面增加同一页面链接,才能保证收录。我想真能保