标签目录：爬虫

2016
01-25

常见的反爬虫和应对方法

0x01常见的反爬虫这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。一般网站从三个方面反爬虫：用户请求的Headers，用户行为，网站目录和数据加载方式。前两种比较容易遇到，大多数网站都从这些角度来反爬虫。第... 继续阅读 >

2014
11-11

大数据基础技术——爬虫的工具选择

大数据是神马？怎么样才算拥有一只善良又可爱的大数据？一种传统的方法是爬取相关的网页，所以咱们今天讲讲爬虫的一些简单知识和可以选择的工具。爬虫的原理就不必多说了，可以自行Google首先，应该认真考虑你需要什么样的大数据，也就是你的需求是什么。爬取普通网页、博客、新闻、社交网络还是图片？貌似咋一看都是爬虫去爬好了，其实不然，细节上的需求可能导致你需要的工具属性不一样。其次，讲讲笔者用过的一些爬虫工具... 继续阅读 >

2014
11-07

如何禁止搜索引擎爬虫（Spider）抓取网站页面

一般情况，大家都是希望搜索引擎爬虫尽可能多的抓取自己的网站，但有时也需要告诉爬虫不要抓取，比如，不要抓取镜像页面等。以下列举了屏蔽主流搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路。注意：是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫（蜘蛛）。1、通过robots.txt文件屏蔽可以说robots.txt文件是最重要的一种渠道（能和搜索引擎建立直接对话）。我通过分析我自己博客的服务器日志文件，给出以下... 继续阅读 >

2014
11-07

百度与Google对网站收录和更新的时间规律

很多站长都会在意搜索引擎对于网站的收录情况，所以大家就开始寻找百度与Google收录网站的时间规律，这样做并没有什么不好，能了解搜索引擎的更新规律对于有针对的更新网站是由好处的。以下只是一些大概的规律总结，并不表示一直都是如此，对于老站长这些规律可能早就知道，所以放在这里仅供各位新站长参考。百度更新时间：百度收录的大更新时间是每月11号和26号，特别是26号，更新幅度最大，K站也是最多的。小更新时间：每周四... 继续阅读 >