400-123-4567
联系我们
电话:400-123-4567
传真:+86-123-4567
邮箱:admin@nanamaruya.com
手机:13800000000
地址:云南省普洱市吉州区算滔大楼2251号
礼品知识您当前的位置: 首页 > 礼品知识

关于Scrapy爬虫项目运行和调试的小技巧(上篇):杏彩体育官网

更新时间:2024-11-21 19:18:03

本文摘要:铲除运营Scrapy爬虫程序的bug之后,现在之后可以开始展开撰写爬虫逻辑了。

铲除运营Scrapy爬虫程序的bug之后,现在之后可以开始展开撰写爬虫逻辑了。在月开始爬虫撰写之前,在这里讲解四种小技巧,可以便利我们操控和调试爬虫。

一、创建main.py文件,必要在Pycharm下展开调试很多时候我们在用于Scrapy爬虫框架的时候,如果想要运营Scrapy爬虫项目的话,一般都会就让去命令行中必要执行命令“scrapycrawlcrawler_name”,其中crawler_name所指的是爬虫的名字,在一开始创立Scrapy爬虫模板的时候就登录了的,而且在该爬虫项目中具备唯一性。但是每次跑到命令行下去继续执行,看交互的结果,有时候并不是很明晰,所以这里讲解一种方法,可以协助大家提升研发效率,特别是在是调试的时候堪称变得便利。在与爬虫项目的scrapy.cfg文件同级目录下创建一个main.py文件,用作掌控整个爬虫项目的继续执行。在该文件夹中载入的代码闻右图。

其中execute函数是嵌入在scrapy中的,调用这个函数可以必要调用该Scrapy工程项目的爬虫脚本,这个函数的继续执行必须在爬虫项目的父目录下展开。而第7行代码的意思就是提供当前py文件的父目录,省却我们必要拷贝路径的精力和时间,同时也便利我们将该项目放在其他的平台上去运营,会报路径的错误。execute函数里边的参数只不过就是将Scrapy爬虫执行命令合并,然后分别以一个字符的方式放在了一个数组中。之后我们必要运营这个main.py文件之后可以调用Scrapy爬虫程序了。


本文关键词:杏彩平台官网,杏彩体育官网,杏彩体育官网登录入口,杏彩体育官网登录

本文来源:杏彩平台官网-www.nanamaruya.com

【返回列表】
网站首页 杏彩平台官网 产品中心 新闻资讯 成功案例 礼品知识 客户留言 人才招聘 杏彩平台官网
地址:云南省普洱市吉州区算滔大楼2251号    电话:400-123-4567    传真:+86-123-4567
Copyright © 2005-2024 www.nanamaruya.com. 杏彩平台官网科技 版权所有   ICP备案编号:ICP备51552979号-9