HDC调试需求开发（15万预算）,能者速来！>>>
需求：有个redis队列，我需要从队列中获取数据（源相关的配置规则），然后加入到scrapy的spider中，并启动。
目前的解决方法：
开启了个守护线程，使用scrapy的CrawlerRunner来启动。但是这样在windows下运行正常，在linux下，twisted使用的epoll一定时间内没有事件的话，dopoll方法进入无限等待状态，加入新的爬虫也不会爬取。
求教大神们，一般这种需求怎么搞。