爬虫的起源可以追溯到万维网（互联网）诞生之初，一开始互联网还没有搜索。在搜索引擎没有被开发之前，互联网只是文件传输协议(FTP)站点的集合，用户可以在这些站点中导航以找到特定的共享文件。
为了查找和组合互联网上可用的分布式数据，人们创建了一个自动化程序，称为网络爬虫/机器人，可以抓取互联网上的所有网页，然后将所有页面上的内容复制到数据库中制作索引。
随着互联网的发展，网络上的资源变得日益丰富但却驳杂不堪，信息的获取成本变得更高了。
相应地，也日渐发展出更加智能，且适用性更强的爬虫软件。
它们类似于蜘蛛通过辐射出去的蛛网来获取信息，继而从中捕获到它想要的猎物，所以爬虫也被称为网页蜘蛛，当然相较蛛网而言，爬虫软件更具主动性。另外，爬虫还有一些不常用的名字，像蚂蚁/模拟程序/蠕虫。
爬虫的工作流程大致如下：
通常，爬取网页数据时，只需要2个步骤：
打开网页→将具体的数据从网页中复制并导出到表格或资源库中。
简单来说就是，抓取和复制。
爬虫的君子协议搜索引擎的爬虫是善意的，可以检索你的一切信息，并提供给其他用户访问，为此它们还专门定义了robots.txt文件，作为君子协议。
Robots协议（爬虫协议）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。该协议是国际互联网界通行的道德规范，虽然没有写入法律，但是每一个爬虫都应该遵守这项协议。
以淘宝网的robots.txt为例，
以 Allow 项的值开头的 URL 是允许 robot 访问的。例如，Allow：/article 允许百度爬虫引擎访问 /article.htm、/article/http://12345.com 等。
以 Disallow 项为开头的链接是不允许百度爬虫引擎访问的。例如，Disallow：/product/ 不允许百度爬虫引擎访问 /product/http://12345.com 等。
最后一行，Disallow：/ 禁止百度爬虫访问除了 Allow 规定页面外的其他所有页面。
所以你是不能从百度上搜索到淘宝内部的产品信息的。
君子协议虽好，然而事情很快就被一些人破坏了，于是就有了反爬虫。
爬虫与反爬虫爬虫与反爬虫是“矛”与“盾”的攻守关系，有了爬虫自然也就有了反爬虫。
一些企业为了保证服务器的正常运转，降低服务器的运转压力与成本，不得不使出各种各样的手段来阻止爬虫工程师毫无节制地向服务器索取资源，这种行为我们称之为反爬虫。
在爬虫与反爬虫的较量上，一些反爬手段常常会让人津津乐道，比如，文本混淆反爬虫、动态渲染反爬虫、信息校验反爬虫、代码混淆反爬虫……等等。
反爬虫技术是如何对爬虫进行防御的，其实现原理是什么？以下就以信息校验反爬为例，请《鹿鼎记》的韦香主给大家做一下演示。
