OpenTelemetry全链路可观测性实战

OpenTelemetry全链路可观测性实战：Traces、Metrics、Logs三位一体

适合人群：后端开发者、SRE、DevOps工程师
前置知识：了解微服务架构，有Python/Go基础
核心收获：掌握OpenTelemetry完整技术栈，实现分布式系统的可观测性

目录

1. 可观测性的三大支柱
2. 为什么选择OpenTelemetry
3. 架构与核心概念
4. 环境搭建
5. Traces分布式追踪实战
6. Metrics指标监控实战
7. Logs日志集成实战
8. 自动插桩与手动插桩
9. Context Propagation上下文传播
10. Collector高级配置
11. 生产环境最佳实践
12. 踩坑实录与解决方案
13. 总结

1. 可观测性的三大支柱

在微服务架构下，当系统出现问题时，你需要回答三个核心问题：

用户报错: "下单失败了" | +-- Traces (追踪): 请求经过了哪些服务？在哪一步出错？ | +-- Metrics (指标): 系统整体健康吗？QPS/延迟/错误率？ | +-- Logs (日志): 具体的错误信息是什么？堆栈是什么？

1.1 三大支柱对比

1.2 三者联动的工作流

告警触发: 错误率 > 5% | v Metrics Dashboard "订单服务 P99延迟从50ms飙升到2s" | v Trace分析 "发现某个Trace中数据库查询耗时1.8s" | v Log查询 "该Trace关联的日志显示: Connection pool exhausted" | v 根因: 连接池配置太小，高并发时耗尽

2. 为什么选择OpenTelemetry？

2.1 可观测性工具的分裂时代

旧时代（碎片化）: Traces: Jaeger / Zipkin / AWS X-Ray Metrics: Prometheus / Datadog / New Relic Logs: ELK / Loki / Splunk 每个工具都有自己的SDK和数据格式 -> 代码入侵严重，切换成本极高 OpenTelemetry时代（统一标准）: OpenTelemetry SDK (统一的Traces + Metrics + Logs) | 标准OTLP协议 +----+----+ v v v Jaeger Prometheus Loki/ES

2.2 OpenTelemetry的优势

• 厂商中立：CNCF项目，不绑定任何商业产品
• 标准化：OTLP协议已成为行业标准
• 自动插桩：主流框架自动采集，零代码侵入
• 三合一：Traces + Metrics + Logs 统一SDK
• 生态丰富：支持100+后端系统

3. 架构与核心概念

3.1 OTel架构

Application | +-- OTel SDK + API | TracerProvider MeterProvider LoggerProvider | | | Exporter (OTLP / Jaeger / Prometheus / Console) | | +---------+ | OTel Collector (Agent) | OTel Collector (Gateway) | +-------+-------+ v v v Jaeger Prometheus Loki

3.2 核心概念

# Trace（追踪）: 一个完整的请求链路# Span（跨度）: 链路中的一个操作单元# Context（上下文）: 跨服务传播的追踪信息# 概念关系:# Trace (一个请求的完整生命周期)# +-- Span A (API Gateway接收请求)# | +-- Span B (用户服务查询)# | | +-- Span C (数据库查询)# | +-- Span D (订单服务创建)# | +-- Span E (库存服务扣减)# | +-- Span F (支付服务调用)

4. 环境搭建

4.1 Python环境安装

# 创建虚拟环境python-mvenv otel-envsourceotel-env/bin/activate# 安装核心包pipinstallopentelemetry-api pipinstallopentelemetry-sdk# 安装导出器pipinstallopentelemetry-exporter-otlp pipinstallopentelemetry-exporter-otlp-proto-grpc# 安装自动插桩（重要！）pipinstallopentelemetry-instrumentation-flask pipinstallopentelemetry-instrumentation-fastapi pipinstallopentelemetry-instrumentation-requests pipinstallopentelemetry-instrumentation-sqlalchemy pipinstallopentelemetry-instrumentation-redis# 一行安装所有常用插桩pipinstallopentelemetry-distro opentelemetry-bootstrap-ainstall# 自动安装检测到的库的插桩

4.2 部署OTel Collector

# otel-collector-config.yamlreceivers:otlp:protocols:grpc:endpoint:0.0.0.0:4317http:endpoint:0.0.0.0:4318# Prometheus抓取prometheus:config:scrape_configs:-job_name:'otel-collector'scrape_interval:10sstatic_configs:-targets:['0.0.0.0:8888']processors:# 批处理batch:timeout:5ssend_batch_size:1024# 内存限制memory_limiter:check_interval:1slimit_mib:512spike_limit_mib:128# 属性修改attributes:actions:-key:environmentvalue:productionaction:upsertexporters:# Jaeger导出otlp/jaeger:endpoint:jaeger:4317tls:insecure:true# Prometheus导出prometheus:endpoint:"0.0.0.0:8889"namespace:"otel"# Loki日志导出loki:endpoint:"http://loki:3100/loki/api/v1/push"# 调试输出debug:verbosity:basicextensions:health_check:endpoint:0.0.0.0:13133zpages:endpoint:0.0.0.0:55679service:extensions:[health_check,zpages]pipelines:traces:receivers:[otlp]processors:[memory_limiter,batch]exporters:[otlp/jaeger,debug]metrics:receivers:[otlp,prometheus]processors:[memory_limiter,batch]exporters:[prometheus,debug]logs:receivers:[otlp]processors:[memory_limiter,batch]exporters:[loki,debug]

4.3 Docker Compose一键部署

version:'3.8'services:# OpenTelemetry Collectorotel-collector:image:otel/opentelemetry-collector-contrib:latestports:-"4317:4317"# OTLP gRPC-"4318:4318"# OTLP HTTP-"8889:8889"# Prometheus metricsvolumes:-./otel-collector-config.yaml:/etc/otelcol-contrib/config.yaml# Jaeger (Traces)jaeger:image:jaegertracing/all-in-one:latestports:-"16686:16686"# UI-"14268:14268"# HTTP collectorenvironment:-COLLECTOR_OTLP_ENABLED=true# Prometheus (Metrics)prometheus:image:prom/prometheus:latestports:-"9090:9090"volumes:-./prometheus.yml:/etc/prometheus/prometheus.yml# Grafana (Dashboard)grafana:image:grafana/grafana:latestports:-"3000:3000"environment:-GF_SECURITY_ADMIN_PASSWORD=admin# Loki (Logs)loki:image:grafana/loki:latestports:-"3100:3100"

5. Traces分布式追踪实战

5.1 基础Tracer配置

# telemetry.py - 统一的遥测配置fromopentelemetryimporttracefromopentelemetry.sdk.traceimportTracerProviderfromopentelemetry.sdk.trace.exportimportBatchSpanProcessor,ConsoleSpanExporterfromopentelemetry.exporter.otlp.proto