专有集群执行效率
-
批处理作业用函数还是专有集群更划算,哪个执行效率更高?
多数轻量、低频、短时批处理作业放函数计算更合适;一旦单次任务数据量超过函数临时存储、运行时间逼近超时上限或需要固定大内存并行,专有集群才是更稳的选择,批处理作业放函数还是集群?先看作业的“体重”批处理作业不是一个标准件,同样是凌晨跑报表,有的只处理几万行日志,有的要重算几十TB数仓,把两者混为一谈,选型必然拧巴……
多数轻量、低频、短时批处理作业放函数计算更合适;一旦单次任务数据量超过函数临时存储、运行时间逼近超时上限或需要固定大内存并行,专有集群才是更稳的选择,批处理作业放函数还是集群?先看作业的“体重”批处理作业不是一个标准件,同样是凌晨跑报表,有的只处理几万行日志,有的要重算几十TB数仓,把两者混为一谈,选型必然拧巴……