量化回测tick数据加速读取方案
-
如何解决量化回测海量tick数据读取瓶颈,有哪些优化方法?
量化回测处理海量tick数据的读取瓶颈,主要卡在逐行解析、二进制转十进制和重复I/O这三个环节,优化方向是列式存储、内存映射和批量并行读取,tick数据读取慢的根源在哪很多做量化交易的朋友都有这种体验:策略逻辑跑起来飞快,但一加载tick数据,进度条就像卡住了一样,多数情况下,问题不在CPU计算,而在数据读取和……
量化回测处理海量tick数据的读取瓶颈,主要卡在逐行解析、二进制转十进制和重复I/O这三个环节,优化方向是列式存储、内存映射和批量并行读取,tick数据读取慢的根源在哪很多做量化交易的朋友都有这种体验:策略逻辑跑起来飞快,但一加载tick数据,进度条就像卡住了一样,多数情况下,问题不在CPU计算,而在数据读取和……