集群扩展任务调度注意事项

量化因子计算集群的横向扩展，核心不在堆机器，而在把计算任务、数据分片和调度逻辑拆开，先让单节点保持无状态，再把调度器做实，集群才会越加越快，多因子选股、日频调仓的实盘环境里，因子数量动辄几百上千，单机计算早就扛不住盘中盘后的时间窗口，行业共识认为，横向扩展的收益多数情况下取决于任务能否切片,以及数据分片是否跟着……