行情数据分层落盘设计
-
行情数据落盘与内存缓存如何分层设计?怎么做才高效?
行情数据落盘这件事,真正的答案不是”内存还是磁盘”二选一,而是让内存负责最近几秒的热数据、让顺序追加的日志文件负责永不丢失的账本,中间靠内存映射把两者缝成一条流水线,做过交易系统的人都懂,行情数据有个别扭的性子:写得飞快、读得集中、几乎不改、还得一条不丢,你把它全塞进 Redis,跑得是爽,可一旦进程崩了、主机……
行情数据落盘这件事,真正的答案不是”内存还是磁盘”二选一,而是让内存负责最近几秒的热数据、让顺序追加的日志文件负责永不丢失的账本,中间靠内存映射把两者缝成一条流水线,做过交易系统的人都懂,行情数据有个别扭的性子:写得飞快、读得集中、几乎不改、还得一条不丢,你把它全塞进 Redis,跑得是爽,可一旦进程崩了、主机……