【TDengine】 如何将 Kafka 中的时序数据实时写入 TDengine?
如何将 Kafka 中的时序数据实时写入 TDengine?—— CDN 日志分析系统生产级集成指南
问题原文:“如何将 Kafka 中的时序数据实时写入 TDengine?”
解析范围:本文聚焦于TDengine 3.4.x 社区版下,Kafka 到 TDengine 的三种官方/社区支持方案(Kafka Connect Sink、Flink Job、自研消费者)的原理对比、性能压测、配置细节及在亿级 CDN 日志分析系统中的落地实践。内容适用于具备 Kafka/Flink/ClickHouse 经验但首次接触 TDengine 的中高级工程师。
一、引子:CDN 平台因日志写入延迟导致计费纠纷
2025 年某头部 CDN 厂商遭遇客户投诉:带宽计费数据与客户自测偏差超 20%。根因竟是 Kafka 到 TDengine 的写入链路存在严重瓶颈:
- 自研消费者单线程处理:面对 80万 TPS 的
cdn_access_logTopic,消费速度仅 5万 TPS - 未处理乱序日志:边缘节点网络抖动导致日志时间戳乱序,写入失败后丢弃
- 无背压机制:Kafka
