当前位置: 首页 > news >正文

做了 3 年数仓,才发现分层的本质不是分表,是分职责

数仓分层治理

:「详细讲一下 DWM、DWT、DWS 这些层的具体职责,以及它们之间的数据流向。如果 DWS 层某个指标不准了,你会怎么排查?」

字节数仓分层(比传统 4 层更细)

层级全称职责示例表
ODS

Operational Data Store

原始数据,不做处理

ods_orders, ods_user_behavior

DWD

Data Warehouse Detail

清洗 + 维度退化 + 标准化

dwd_order_detail, dwd_user_login_log

DWM

Data Warehouse Middle

轻度汇总,通用中间层

dwm_user_order_daily(每个用户每天的订单汇总)

DWT

Data Warehouse Topic

主题宽表,跨域关联

dwt_user_behavior_wide(用户行为宽表)

DWS

Data Warehouse Service

服务层聚合,面向指标

dws_gmv_daily(日 GMV 指标)

ADS

Application Data Service

应用层,直接对接报表

ads_dashboard_gmv_trend

数据流向: ODS ─→ DWD(清洗/标准化)─→ DWM(轻汇总)─→ DWT(主题宽表)─→ DWS(指标)─→ ADS(应用) └── 可以跳过 DWM/DWT 直接 DWD → DWS(简单指标) └── DWM 和 DWT 之间可以双向(DWT 反过来给 DWM 提供维度)

DWS 指标不准排查流程:

Step 1: 确认异常时间点
→ 查监控看板,确认是哪个 dt 的指标出问题

Step 2: 分层回溯
→ ADS 层对比昨天今天的数据量,确认问题在 ADS 还是更下层
→ DWS 层查该 dt 的数据量和历史同期的偏差,确认问题是否在 DWS

Step 3: 血缘追踪
→ 查数据血缘工具(Atlas / DataHub / 自研),看 DWS 表依赖哪些上游表
→ 逐层向上追踪:DWS ← DWT ← DWM ← DWD ← ODS

Step 4: 上游表对账
→ 对每个上游表,抽样对比今天 vs 昨天的数据量、NULL 率、关键字段分布
→ 哪个表的数据量和历史偏差最大,大概率是脏数据来源

Step 5: 根因定位
→ ODS 层问题:上游业务系统字段变更 / 数据未写入 / 格式变化
→ DWD 层问题:清洗逻辑改动 / 增量数据未触达 / 分区写入失败
→ DWM/DWT 层问题:JOIN 逻辑变更 / 关联率下降

Step 6: 修复 + 通知
→ 重跑失败任务 + 通知下游 + 建专项数据质量监控规则

http://www.cnnetsun.cn/news/3960861.html

相关文章:

  • 亚马逊运营全流程工具与实战技巧指南
  • 从零部署GitLab社区版:私有化DevOps平台搭建与核心功能实战
  • Unity3D中基于Mesh顶点操作实现单轴拉伸效果的技术解析
  • VMware桥接网络故障排查:解决VMnet0网桥未运行问题
  • Unity 3D集成ONLYOFFICE Docs实现实时协同文档编辑
  • 【往届快速EI检索、ACM出版、高校主办】第二届生成式AI与数字媒体艺术国际学术会议 (GAIDMA 2026)
  • 论文AI味太重被警告?我用这几款神器逆袭过关!
  • 加密Webshell流量深度分析:从元数据与行为模式识别哥斯拉、冰蝎威胁
  • Android驱动开发入门:从Linux内核模块到字符设备驱动实战
  • 国密算法与HTTPS在涉密文件传输中的实践指南
  • Socket与WebSocket深度对比:从协议本质到实时通信实战选型
  • Java泛型核心:类型变量T与通配符?的本质区别与实战应用
  • 低代码与生成式 UI 工程化方案:延迟和成本怎么一起看
  • 小滴课堂资源分享工业级PaaS云平台+SpringCloudAlibaba综合项目课程
  • 《从零到一:基于定制 FOC 的双驱轮式机器人底盘全栈构建指南》
  • 从配置管理看技术债务治理:避免身份转换式还债的实战指南
  • AI 增强型 Kubernetes 容器编排与服务治理深度实践:智能检索、知识增强与上下文编排:自动化运维脚本与日常巡检设计
  • RoBERTa分词机制解析:vocab.json与merge.txt在NLP中的核心作用
  • 分布式存储架构设计与一致性算法实践:部署前别漏掉这些配置
  • 一小时搭建SpringBoot+Vue在线考试系统:从零到部署的完整实战
  • SQL 查询巡检开发短记:先报告再执行
  • Godot 4 游戏开发:组件化与状态机实现怪物受伤系统
  • 20W射频整流器设计实战:从ADS仿真到PCB布局的完整流程与避坑指南
  • Claude Opus 4.8深度解析:推理、多模态与长上下文如何重塑AI协作
  • 油藏数值模拟中的PDE求解器与网格技术解析
  • Visual Studio 2015完整安装指南:解决“安装包损坏”与离线部署
  • 机器学习特征选择:基于方差阈值过滤惰性特征的原理与实践
  • Linux防火墙端口管理实战:firewalld核心概念与运维指南
  • Transformer论文实验设计解析:从28.4 BLEU到AI架构革命
  • Web服务器安全防护与加固实战指南