铲除运营Scrapy爬虫程序的bug之后，现在之后可以开始展开撰写爬虫逻辑了。在月开始爬虫撰写之前，在这里讲解四种小技巧，可以便利我们操控和调试爬虫。一、创建main．py文件，必要在Pycharm下展开调试很多时候我们在用于Scrapy爬虫框架的时候，如果想要运营Scrapy爬虫项目的话，一般都会就让去命令行中必要执行命令“scrapycrawlcrawler＿name”，其中crawler＿name所指的是爬虫的名字，在一开始创立Scrapy爬虫模板的时候就登录了的，而且在该爬虫项目中具备唯一性。
但是每次跑到命令行下去继续执行，看交互的结果，有时候并不是很明晰，所以这里讲解一种方法，可以协助大家提升研发效率，特别是在是调试的时候堪称变得便利。在与爬虫项目的scrapy．cfg文件同级目录下创建一个main．py文件，用作掌控整个爬虫项目的继续执行。
在该文件夹中载入的代码闻右图。其中execute函数是嵌入在scrapy中的，调用这个函数可以必要调用该Scrapy工程项目的爬虫脚本，这个函数的继续执行必须在爬虫项目的父目录下展开。而第7行代码的意思就是提供当前py文件的父目录，省却我们必要拷贝路径的精力和时间，同时也便利我们将该项目放在其他的平台上去运营，会报路径的错误。
execute函数里边的参数只不过就是将Scrapy爬虫执行命令合并，然后分别以一个字符的方式放在了一个数组中。之后我们必要运营这个main．py文件之后可以调用Scrapy爬虫程序了。
本文来源：电子mg官方网站-www.rajeshsegu.com
扫一扫关注微信