tick数据读取性能优化方案
-
量化回测海量tick数据读取卡顿咋办,有哪些优化方案?
量化回测中,海量tick数据读取的核心瓶颈在于文本格式的逐行解析与磁盘随机访问,优化最快的方式是转换为列式二进制存储并配合内存映射读取,为什么tick数据读取会拖慢整个回测?tick数据不只是“大”,而是“多文件+高频次”每个A股交易日,单只活跃股票的tick数据就有几万条到几十万条,全市场多年份累计下来,轻松……
量化回测中,海量tick数据读取的核心瓶颈在于文本格式的逐行解析与磁盘随机访问,优化最快的方式是转换为列式二进制存储并配合内存映射读取,为什么tick数据读取会拖慢整个回测?tick数据不只是“大”,而是“多文件+高频次”每个A股交易日,单只活跃股票的tick数据就有几万条到几十万条,全市场多年份累计下来,轻松……