HDC调试需求开发（15万预算）,能者速来！>>> 大家好，我刚开始学习使用scrapy，希望能请教一个问题。这是我的spiders文件夹中爬虫文件的代码 class PabhSpider(CrawlSpider): name = 'pabh' allowed_domains = ['xxx'] def start_requests(self): url = 'http://xxx' num1 = '01' formdata = { "depart":num, "years":'2014' } return [FormRequest(url=url,formdata=formdata,method='get',callback=self.parse)] def parse(self, response): item = XXXItem() hxs = Selector(response) item['bh'] = hxs.xpath('/html/body/form/p/font/select[3]/option/@value').extract() yield item num = ['02','03','04','05','06','07','08','09','10','11','12','13','14','21','31','40','51','61'] for x in num: url = 'http://xxx' formdata={ "depart":x, "years":'2014' } yield FormRequest(url=url,formdata=formdata,method='get',callback=self.parse)



我现在是这样写的。 我想不停的向一个url发送不同的get请求，然后获得返回的数据，现在这样写，返回的很多数据都是重复的， 而且不一定每次都能请求成功返回，有时候会发送同一个get参数两次。