TiDB In Action进阶教程：Titan与TiFlash深度优化实战

TiDB In Action进阶教程：Titan与TiFlash深度优化实战

【免费下载链接】tidb-in-actionTiDB In Action: based on 4.0项目地址: https://gitcode.com/gh_mirrors/ti/tidb-in-action

TiDB作为一款分布式NewSQL数据库，融合了关系型数据库的易用性与NoSQL数据库的扩展性。在实际生产环境中，针对大value存储场景的Titan引擎和面向OLAP场景的TiFlash列存引擎是提升性能的关键组件。本文将通过实战案例，详解Titan与TiFlash的核心优化技巧，帮助开发者构建高效稳定的TiDB集群。

一、Titan引擎：大Value场景的存储优化方案

Titan是TiKV基于RocksDB开发的键值分离存储引擎，通过将大value从LSM-Tree中分离存储，有效降低写放大并提升写入性能。适合value平均大小超过512B、范围查询需求较低的业务场景。

1.1 快速开启Titan引擎

修改TiKV配置文件即可无缝启用Titan，无需数据迁移：

[rocksdb.titan] enabled = true

启用后可通过监控指标TiKV Details - Titan kv - blob file size观察数据迁移进度。对于需要加速迁移的场景，可执行全量Compaction：

tikv-ctl compact --compaction=full

图1：Titan Level Merge算法通过重写Blob文件提升范围查询性能，同时减少GC对写入的影响

1.2 核心参数调优指南

1.2.1 大Value阈值设置

[rocksdb.defaultcf.titan] min-blob-size = "1KB" # 默认值，根据业务调整

• 增大阈值：使更多小value保留在RocksDB，提升读取性能
• 减小阈值：更多value进入Titan，降低RocksDB Compaction压力

1.2.2 GC策略优化

[rocksdb.defaultcf.titan] discardable-ratio = 0.5 # 控制空间放大与GC频率的平衡

• 写放大上界 = 1 / discardable_ratio
• 空间放大上界 = 1 / (1 - discardable_ratio)
• 建议：写入密集型业务可设为0.7，空间敏感型设为0.3

1.2.3 缓存配置最佳实践

[rocksdb.defaultcf.titan] blob-cache-size = "4GB" # 根据内存情况调整

计算公式：

block_cache = store_size - blob_file_size blob_cache = 总内存 * 50% - block_cache

1.3 Level Merge提升范围查询性能（实验性）

针对Titan范围查询性能较弱的问题，TiDB 4.0引入Level Merge算法：

[rocksdb.defaultcf.titan] level-merge = true [rocksdb.titan] disable-background-gc = true # 开启Level Merge后关闭传统GC

收益：

• 范围查询性能提升40%~200%
• 写入性能提升15%~30%
• 空间放大降低20%~40%

二、TiFlash列存引擎：HTAP场景的分析加速方案

TiFlash通过列式存储和MPP架构，为TiDB提供实时分析能力，实现真正的HTAP架构。其核心优势在于与TiKV共享数据副本，避免数据冗余存储。

2.1 部署与副本管理

2.1.1 创建TiFlash副本

ALTER TABLE tpch50.lineitem SET TIFLASH REPLICA 2;

2.1.2 查看副本状态

SELECT * FROM information_schema.tiflash_replica WHERE TABLE_SCHEMA = 'tpch50' AND TABLE_NAME = 'lineitem';

2.2 查询优化策略

2.2.1 智能选择执行引擎

TiDB优化器会自动选择最优执行引擎，通过explain analyze验证：

图2：执行计划中cop[tiflash]标识表示查询由TiFlash引擎执行

2.2.2 强制使用TiFlash的三种方式

1. 会话级别配置：

SET SESSION tidb_isolation_read_engines = "tiflash";

2. 全局配置：

[isolation-read] engines = ["tiflash"]

3. 查询Hint：

SELECT /*+ read_from_storage(tiflash[lineitem]) */ COUNT(*) FROM lineitem WHERE l_shipdate > '1998-01-01';

2.3 性能优化最佳实践

2.3.1 数据倾斜处理

• 对高基数列建立TiFlash副本
• 使用DISTRIBUTED BY RANDOM优化表分布

2.3.2 计算下推优化

确保以下操作被下推到TiFlash执行：

• 聚合函数（COUNT、SUM、AVG等）
• 过滤条件（WHERE子句）
• 简单JOIN操作

2.3.3 TiSpark协同优化

对于复杂分析场景，结合TiSpark可获得更好性能：

spark.sql(""" SELECT /*+ read_from_storage(tiflash[orders]) */ o_orderdate, COUNT(*) FROM orders GROUP BY o_orderdate """).show()

三、综合优化案例：电商订单系统性能调优

3.1 场景描述

• 订单表：日均写入1000万行，包含大字段（订单详情JSON）
• 分析需求：实时统计销售额、用户购买行为分析

3.2 优化方案

1. Titan优化：

[rocksdb.defaultcf.titan] min-blob-size = "512B" # 订单JSON字段进入Titan discardable-ratio = 0.6 # 平衡GC与空间占用 level-merge = true # 提升历史订单查询性能

2. TiFlash优化：

ALTER TABLE orders SET TIFLASH REPLICA 2; ALTER TABLE order_items SET TIFLASH REPLICA 2;

3. 查询优化：

-- 强制使用TiFlash进行分析查询 SELECT /*+ read_from_storage(tiflash[orders], tiflash[order_items]) */ DATE_FORMAT(o_orderdate, '%Y-%m') AS month, SUM(oi_amount) AS total_sales FROM orders JOIN order_items ON o_orderkey = oi_orderkey WHERE o_orderdate BETWEEN '2023-01-01' AND '2023-12-31' GROUP BY month;

3.3 优化效果

• 写入性能提升：35%
• 存储空间节省：28%
• 分析查询提速：5.8倍

四、监控与问题诊断

4.1 Titan关键监控指标

• Blob File Size：Titan存储的value总大小
• GC Throughput：GC处理速率
• Discardable Ratio：可回收空间比例

4.2 TiFlash关键监控指标

• Queries Executed：TiFlash处理的查询数
• Scan Rows：扫描行数
• MPP Execution Time：MPP查询执行时间

4.3 常见问题处理

总结

Titan和TiFlash作为TiDB生态的重要组件，分别解决了大value存储和实时分析的性能挑战。通过本文介绍的参数调优、查询优化和最佳实践，开发者可以充分发挥TiDB的HTAP能力。建议在实际应用中，结合业务特点持续监控和调整，构建既满足高并发事务又支持实时分析的现代化数据平台。

更多详细内容可参考：

• Titan使用文档
• TiFlash使用指南

【免费下载链接】tidb-in-actionTiDB In Action: based on 4.0项目地址: https://gitcode.com/gh_mirrors/ti/tidb-in-action