2、数据流
Scrapy中的数据流由执行引擎控制,其过程如下:
以上组件和数据流的部分是参考别的的介绍,觉得描述的挺好,比较容易理解整个框架的结构。下面是干货:
scrapy工程对象在你需要创建工程的目录底下启动cmd命令(按住shift键右键选择在此处打开命令窗口) 执行:scrapy startproject weibo
会在当前目录下生成scrapy框架的目录结构:
本人用的IDE是pycharm ,用IDE打开工程,工程最终的目录结构如图所示:
item.py的内容:
定义了两个类,InformationItem获取关注列表用户的个人信息,TweetsItem获取微博内容
weibo_spider.py的内容: