本文共 1205 字，大约阅读时间需要 4 分钟。

这一篇文章我要讲解一下 Scrapy 爬虫模板中的 CSVFeedSpider 模板，该模板可以说是目前 Scrapy 中最简单的模板，因此这篇文章不会有太长的篇幅。CSVFeedSpider 模板主要用于解析 CSV 文件，它是以行为单位来进行迭代，每迭代一行调用一次 parse_row() 方法。该模板常用属性如下：

1. delimiter：字段分隔符，默认英文逗号分隔；
2. quotechar：CSV 字段中如果包含回车、引号和逗号，那么这个字段必须用双引号括起来。这个属性就是设置括起来字段所用的符号，默认为半角双引号；
3. headers：CSV 文件标题头，该属性是一个列表。

零、例子

下面我们以爬取贵州省科技特派员 CSV 数据为例来看一下 CSVFeedSpider 的使用方法。

# -*- coding: utf-8 -*-from scrapy.spiders import CSVFeedSpiderfrom ..items import CsvfeedspiderItemclass CsvdataSpider(CSVFeedSpider):    name = 'csvdata'    allowed_domains = ['gzdata.gov.cn']    start_urls = ['http://gzopen.oss-cn-guizhou-a.aliyuncs.com/科技特派员.csv']    headers = ['name', 'SearchField', 'Service', 'Specialty']    delimiter = ','    quotechar = '\n'    def parse_row(self, response, row):        i = CsvfeedspiderItem()        i["name"] = row["name"]        i["searchField"] = row["SearchField"]        i["service"] = row["Service"]        i["specialty"] = row["Specialty"]        return i    def adapt_response(self, response):        return response.body.decode('gb18030')

import scrapyclass CsvfeedspiderItem(scrapy.Item):    name = scrapy.Field()    searchField = scrapy.Field()    service = scrapy.Field()    specialty = scrapy.Field()

转载地址：http://vwqxf.baihongyu.com/