量化回测存储IO瓶颈解决方案
-
量化策略回测并行化为何压垮存储IO,如何解决存储IO瓶颈?
并行化回测确实能显著缩短等待时间,但其加速效果很大程度上取决于存储IO是否跟得上——多数情况下,瓶颈不在CPU而在数据读取与写入这一层,量化策略开发者在本地跑回测,往往先经历单进程的漫长等待,再尝试多进程并行,并行度提上去之后,很多人发现CPU利用率上去了,但整体耗时并没有等比例下降,甚至个别场景下比单进程还慢……
并行化回测确实能显著缩短等待时间,但其加速效果很大程度上取决于存储IO是否跟得上——多数情况下,瓶颈不在CPU而在数据读取与写入这一层,量化策略开发者在本地跑回测,往往先经历单进程的漫长等待,再尝试多进程并行,并行度提上去之后,很多人发现CPU利用率上去了,但整体耗时并没有等比例下降,甚至个别场景下比单进程还慢……