当前位置: 首页 > news >正文

百 TB 数据、200+ 同步任务、一张 50 亿行的表,畅读科技短剧出海背后的数据底座

引言

畅读科技成立于 2014 年,总部位于福州,业务深度聚焦海外内容市场,并正积极布局 AI 短剧等新兴赛道。作为典型的内容驱动型企业,随着海外业务的高速扩张,畅读科技不可避免地迎来了海量数据的爆发式增长。在这一过程中,传统的 MySQL 架构在分库分表运维、跨库联合查询以及实时数据分析(AP 场景)等方面,逐渐暴露出明显的单机扩展瓶颈与高延迟痛点。

在本次分享中,畅读科技运维支撑业务负责人将详细复盘企业自 2020 年起全面拥抱 TiDB 的真实历程。时至今日,TiDB 已从最初的单库扩展方案,演进为畅读科技坚实的“数据底座”。

演讲人:翁敬辉,福州畅读信息运维架构师

一次技术的跃迁

畅读科技,专注于海外阅读和短剧 APP 的开发与运营,自2020年起便开始使用TiDB。最初,TiDB仅作为一个“扩展工具”来支持应用系统的横向扩展。然而,随着版本的迭代,TiDB逐步从单一的扩展工具,转变为公司核心的数据底座,支撑了公司业务的持续增长。

如今,畅读科技的数据库架构已经规模庞大,拥有5 套生产集群、50+ 节点、百 TB 数据,并且承担着高达30+ 的DM 同步任务和 200+ 的TiCDC 任务,单表最大行数突破了 50 亿行。TiDB 在推动畅读科技技术升级与业务发展方面,发挥了关键作用,尤其在报表性能的提升上,TiFlash的引入带来了10 倍的性能提升

TiDB 带来的巨大收益

在使用 MySQL 的初期,畅读科技面临了一个棘手的问题:多库联合查询极其复杂,计划每 5 分钟跑一次的 ROI 计算报告,执行时间却总是超过 5 分钟,始终无法完成。这一性能瓶颈严重影响了决策支持的时效性。

然而,当畅读科技将TiFlash集成进系统后,报表性能提升了 10 倍,不仅大大缩短了计算时间,还使得所有报表能够迅速产出,显著提升了整体运营效率。

踩坑实录:从实际问题中总结经验

在整个迁移和升级过程中,畅读科技的技术团队也经历了不少挑战。以下是他们遇到的几个关键问题,以及如何克服它们的经验:

  • 坑一:6.5.3 版本升级后集群崩溃半天在进行 6.5.3 版本升级后,集群发生了崩溃,且持续了半天。通过深入排查发现,问题的根源在于没有比对默认参数变更,以及查询索引没有生效。这一问题提醒团队,在升级前一定要做好详细的配置差异对比和验证。

  • 坑二:6.5.3 版本的 DDL Bug在进行数据库结构调整时(如增加字段),系统突然出现卡住的现象。经过排查,问题出在PD 短暂失联导致的数据不一致。团队通过紧急修复并同步数据,恢复了系统稳定性。

  • 坑三:跨版本原地升级 BR 不兼容因为跨版本的BR 升级不兼容,升级过程并不顺利,团队最终决定采用迁移式升级来避免这种风险。这个问题也教会了团队,在进行重大版本升级时要特别小心数据迁移的问题。

四条实战经验:如何确保平稳升级与持续优化

通过这些实际的经历,畅读科技总结出了一些实战经验,不仅帮助他们成功应对了升级中的各种挑战,也为其他企业提供了宝贵的借鉴:

  • 大版本升级最好采用迁移方式:迁移式升级可以有效避免原地升级可能带来的兼容性问题,确保系统的稳定性。

  • 升级前必须做好配置差异对比:在进行版本升级前,务必对当前配置与新版本的默认配置差异进行详细对比,避免配置差异导致的潜在风险。

  • DDL 变更要加强监控:任何数据库结构变更(如添加字段、修改表结构等)都应进行专门监控,以防止出现因 PD 失联等问题导致的数据不一致。

  • 生产环境不要追求最新版本:尤其是大版本的升级,过早使用新版本可能会带来不稳定性和未知问题,因此建议在稳定后再进行升级。

特别推荐:资源管控功能的引入

在 TiDB 的 7.x 版本中,引入了资源管控功能,这是畅读科技团队特别推荐的一个新特性。这一功能的引入,使得资源的分配和管理变得更加精细化,可以更好地平衡不同任务的资源需求,提高系统整体的资源利用率和运行效率。

此外,平凯星辰的研发团队在社区方面的响应速度也让畅读科技感到非常满意。在遇到 DDL Bug 问题后,团队通过发帖寻求帮助,平凯星辰的官方研发团队迅速响应并协助排查,帮助他们及时解决了问题。

升级后的成果:TiCDC 延迟降至毫秒级

在成功升级到TiDB 8.5.2 版本后,畅读科技在使用TiCDC进行数据同步时,系统的延迟问题得到了彻底解决。TiCDC 的延迟再也没有超过 3 毫秒,大大提升了数据同步的实时性和精准性。

结语:不断优化、不断前行

从最初的扩展工具到如今的数据底座,TiDB 已经成为畅读科技核心业务的重要支撑。通过版本的迭代与不断优化,畅读科技不仅解决了数据存储与查询性能的问题,还在数据同步、资源管理等方面实现了更高效的运维。

展望未来,畅读科技将继续依托 TiDB 的强大功能与生态支持,推动技术创新,为全球用户提供更加优质的阅读与短剧体验。

http://www.cnnetsun.cn/news/3114870.html

相关文章:

  • AI多模态分析框架:数据如何影响美联储政策?解码PCE、CPI、NFP对黄金市场的决策模型
  • B站视频下载神器:三步轻松获取高清视频的终极指南
  • 如何用Maye快速启动工具告别桌面图标混乱?3分钟掌握高效工作流
  • vue—生命周期
  • 怎样高效获取网络媒体资源:开源工具的智能跨平台解决方案
  • 一灯大师以专业工艺打造坦克500灯光升级标杆案例
  • 装备制造行业PLM软件系统最新厂商盘点,助力行业数字化转型
  • 零基础Redis单服务安装教程(Windows/macOS/Linux全系统)
  • 深度解析Obsidian Jupyter插件:在笔记中无缝执行Python代码的3种实战方法
  • 在M1 Mac上运行Android模拟器的完整指南:告别卡顿,享受原生性能
  • 3步搭建智能家居系统:Home Assistant操作系统完整指南
  • 宝宝英语启蒙0岁就能用,系统AI体系学听说,磨耳朵亲子互动首选app
  • 不止店推助手!更多AI功能,东棠智慧门店等你来解锁
  • YOLOv10模型改进-Backbone改进-第53篇: YOLOv10改进策略【Backbone】| VGG16 Backbone替换
  • 百亿连盟Token代理怎么申请?普通人先看懂这几个问题
  • 【SRC 掘金干货】零基础新人挖洞必备指南(2026 最新),全覆盖平台介绍、合规规则、完整落地实操流程
  • 【OpenHarmony/HarmonyOs 】政治学习 App 的人脸识别开放能力、端侧 AI 与元服务集成思路
  • Windows 10臃肿软件清理终极指南:如何一键移除预装应用提升系统性能
  • SysDVR终极指南:如何实现Switch游戏画面高清投屏与录制
  • 智能画中画视频助手:Chrome扩展让多任务处理更高效
  • 计算机毕业设计之基于Java的NBA球队管理系统
  • 09405黄大年茶思屋榜文94期 第5题 数字型LCoS快速切换Flicker抑制技术
  • 我在事业单位能不能考?
  • DoFollow NoFollow 外链 区别:写错这1个代码,网站可能直接0权重
  • 如何实现Steam饰品交易自动化监控:智能挂刀行情站完整指南
  • Linux命令实战:从ps到grep,一篇搞定常用工具
  • 10款制造业官网建站系统实测盘点!内外贸工厂建站工具怎么选?
  • LangChain、LangGraph、LangSmith、LangFlow 四大工具定位与协同实战
  • 哈夫曼编码的手工推演与效率计算(P124302152高宗悦)
  • 警惕Codex幻觉:AI编程的边界实测