华为云DLI(数据湖探索)是一个无服务器的大数据分析引擎,它不直接存储业务数据,而是从对象存储OBS、关系型数据库RDS、数据仓库DWS等外部服务中获取大数据,分析结果可回写到OBS或DWS,核心存储位置是华为云对象存储OBS。参考2
华为云DLI数据存储在哪里?数据湖的落脚点
很多用户刚接触时都会问:华为云DLI数据存储在哪里?其实DLI本身不提供持久化存储,它更像一个“处理中枢”,数据在分析前已经存放在其他华为云服务中,分析过程中产生的临时数据会落在DLI的临时存储区,而最终的分析结果可以按需导出到指定位置。
DLI与OBS的紧密关系
OBS(对象存储服务)是DLI最主要的数据来源和存储目标,据统计,超过七成的DLI作业直接读取OBS中的文件(如CSV、Parquet、JSON格式),分析结果也默认存放在OBS桶中,你可以在创建DLI表时指定OBS路径,实现“数据湖”的存储与查询一体化。参考1
- 数据入湖:将原始数据上传到OBS,DLI直接扫描
- 结果落地:执行SQL后,使用
INSERT OVERWRITE或CREATE TABLE AS SELECT将结果写入OBS - 临时数据:DLI的Shuffle等中间结果暂存在集群临时目录,作业结束后自动清除
其他数据存储位置:DWS、RDS与CloudTable
除了OBS,DLI还能直接分析存储在DWS(数据仓库服务)、RDS(关系型数据库)和CloudTable(表格存储服务)中的结构化数据,这种模式适合需要实时查询或数据量较小的场景。
| 数据源 | 存储位置 | 适用场景 |
|---|---|---|
| OBS | 对象存储桶 | 大规模文件分析、数据湖 |
| DWS | 数据仓库集群 | 高并发SQL分析、BI报表 |
| RDS | 关系型数据库实例 | 在线事务数据辅助分析 |
| CloudTable | 宽表存储 | 物联网时序数据、海量Key-Value |
| CSS | 云搜索服务 | 全文检索与日志分析 |
关键点:DLI不保存这些数据源的数据副本,每次查询会直接读取源端,如果你希望结果长期保存,必须手动导出到OBS或DWS。
DLI获取大数据的地方有哪些?数据源一览
华为云获取大数据的地方主要集中在对象存储、数据库和数据仓库这三个层面,DLI支持跨源查询,你可以在一条SQL中同时关联OBS中的CSV文件和RDS中的MySQL表,实现联邦分析。参考2
数据源类型详解
- 对象存储OBS:最常用的数据源,支持多种文件格式(Parquet、ORC、Avro、CSV、JSON),适合存储海量日志、图片元数据、历史交易记录
- 关系型数据库RDS:支持MySQL、PostgreSQL、SQL Server,通过JDBC连接,适合实时抽取业务库数据做轻度分析
- 数据仓库DWS:与DLI同属华为云大数据生态,二者互相查询时延迟低,适合复杂ETL后的数据交互
- 表格存储CloudTable:基于HBase的宽表引擎,适合物联网设备数据、用户行为轨迹等高频写入场景
- 搜索服务CSS:基于Elasticsearch,DLI可通过SQL查询索引数据,用于日志分析和监控告警
如何选择数据源?
行业共识认为,数据量在TB级以上且格式多样,首选OBS;需要实时分析或数据频繁更新,考虑DWS或RDS;时序数据或高并发写入,CloudTable更合适,你可以根据业务场景混合使用,DLI支持跨源关联,无需迁移数据。
如何配置DLI连接不同数据源?实操步骤
配置数据源连接并不复杂,但需要明确存储位置和访问凭证,下面以OBS和RDS为例,展示标准操作流程。
连接OBS数据源
- 在华为云控制台进入DLI服务,选择“数据管理”->“数据源”
- 点击“创建数据源”,选择“OBS”
- 填写桶名和文件路径(如
obs://bucket-name/folder/) - 如果数据包含敏感信息,可以在“高级配置”中设置加密密钥
- 创建完成后,在SQL编辑器中使用
SELECT FROM table_name直接查询
注意:OBS桶必须与DLI在同一区域,否则会产生跨区域流量费用。
连接RDS数据源
- 在RDS实例页面获取内网地址和端口(如
168.0.1:3306) - 在DLI的“数据源”页面选择“RDS”,填写数据库名称、用户名、密码
- 如果RDS与DLI不在同一VPC,需要配置对等连接或NAT网关
- 连接成功后,可在DLI中创建表关联,通过SQL直接查询RDS中的数据
连接DWS数据源
DWS的操作与RDS类似,但DWS支持更复杂的查询下推,配置时需注意
安全组放通DLI的IP段,否则会连接超时。
华为云DLI数据存储的选型建议
选择存储位置时,成本和性能是主要权衡点,对象存储OBS价格较低,但查询延迟较高(毫秒到秒级);数据仓库DWS查询快,但存储成本相对较高,如果你需要长期保存大量历史数据且查询频率不高,OBS是性价比最好的选择;如果业务要求亚秒级响应,应当将数据存放在DWS或RDS中。
数据隔离与安全
华为云DLI支持跨项目数据授权,你可以在一个项目下分析另一个项目的数据,无需物理搬迁,OBS桶和RDS实例都可以设置加密和访问日志,满足审计需求。
华为云DLI数据存储与获取常见问题
Q:华为云DLI数据存储在哪里?是OBS吗?
A: 是的,DLI本身不存储数据,所有持久化数据都存放在你指定的外部服务中,最常见的是OBS对象存储,DLI在作业运行时会产生临时数据,但这些数据在作业结束后会自动释放,不会长期保存。
Q:DLI能直接读取本地上传的文件吗?
A: 不能直接读取本地文件,你需要先将文件上传到OBS桶,再通过DLI创建表关联OBS路径,上传操作可以通过OBS控制台、SDK或命令行工具完成。
Q:华为云DLI获取大数据的地方有哪些?支持哪些数据源?
A: 支持OBS、RDS、DWS、CloudTable、CSS以及JDBC通用数据源,你可以在DLI的“数据源管理”页面添加这些外部数据源,一条SQL即可跨源查询。
首发原创文章,作者:王坚,如若转载,请注明出处:https://idctop.com/article/533346.html



