数据湖schema演进历史数据兼容方案
-
数据湖的schema演进如何兼顾历史数据可读性,怎么做?
数据湖做 schema 演进,核心原则只有一条:改动表结构时,旧文件在新 schema 下必须依然可读,否则数据湖就退化成了一堆不可追溯的孤岛, 很多团队在加列、删列、改类型后,跑批任务直接报错,原因就是只改了元数据,没考虑历史文件的读取路径,数据湖 schema 演进历史数据可读性方案怎么选数据湖的 sche……
数据湖做 schema 演进,核心原则只有一条:改动表结构时,旧文件在新 schema 下必须依然可读,否则数据湖就退化成了一堆不可追溯的孤岛, 很多团队在加列、删列、改类型后,跑批任务直接报错,原因就是只改了元数据,没考虑历史文件的读取路径,数据湖 schema 演进历史数据可读性方案怎么选数据湖的 sche……