修正FileCacheQueueScheduler导致程序不能正常结束和未关闭流
FileCacheQueueScheduler中开启了一个线程周期运行来保存数据但在爬虫结束后没有关闭导致程序无法结束,以及没有关闭io流。 解决方法: 让FileCacheQueueScheduler实现Closable接口,在close方法中关闭线程以及流。 在Spider的close方法中添加对scheduler的关闭操作。
Showing
Please register or sign in to comment