爬虫任务动态调度技巧

把爬虫结果写库的动作封装成独立函数并按需触发，能避免采集进程阻塞、降低数据库写入压力，也让去重和异常处理集中可控，为什么把写库动作单独拎出来爬虫最常见的做法是每解析完一条数据，立刻执行一条INSERT，短期看没问题,数据量上来后问题就明显了，数据库连接频繁创建和销毁,爬虫速度被IO拖慢，遇到反爬需要重试时,容易……