当前位置: 首页 > news >正文

Flink SQL ALTER 语句在线演进 Table/View/Function/Catalog/Model

1. ALTER 语句是干嘛的

ALTER 用来修改已经注册到 Catalog 里的对象定义,包括:

  1. ALTER TABLE
  2. ALTER VIEW
  3. ALTER DATABASE
  4. ALTER FUNCTION
  5. ALTER CATALOG
  6. ALTER MODEL

核心价值:让你在不重建对象的情况下,完成schema 演进、主键/水位线调整、属性参数更新、重命名等操作。

2. Java 如何执行 ALTER(和 CREATE / DROP 一样)

在 Java 中直接用TableEnvironment.executeSql()执行 ALTER,成功返回OK,失败抛异常。

EnvironmentSettingssettings=EnvironmentSettings.newInstance()...TableEnvironmenttableEnv=TableEnvironment.create(settings);tableEnv.executeSql("CREATE TABLE Orders (`user` BIGINT, product STRING, amount INT) WITH (...)");// 1) 在第一列位置新增字段tableEnv.executeSql("ALTER TABLE Orders ADD `order` INT COMMENT 'order identifier' FIRST");// 2) 一次性新增多个组件:列、主键、水位线、列位置tableEnv.executeSql("ALTER TABLE Orders ADD ("+" ts TIMESTAMP(3), "+" category STRING AFTER product, "+" PRIMARY KEY(`order`) NOT ENFORCED, "+" WATERMARK FOR ts AS ts - INTERVAL '1' HOUR"+")");// 3) 修改:类型/NOT NULL/注释/位置/水位线策略tableEnv.executeSql("ALTER TABLE Orders MODIFY ("+" amount DOUBLE NOT NULL, "+" category STRING COMMENT 'category identifier' AFTER `order`, "+" WATERMARK FOR ts AS ts"+")");// 4) 删除 watermarktableEnv.executeSql("ALTER TABLE Orders DROP WATERMARK");// 5) 删除列tableEnv.executeSql("ALTER TABLE Orders DROP (amount, ts, category)");// 6) 重命名列/表tableEnv.executeSql("ALTER TABLE Orders RENAME `order` TO order_id");tableEnv.executeSql("ALTER TABLE Orders RENAME TO NewOrders");// 7) 修改 catalog 属性tableEnv.executeSql("CREATE CATALOG cat2 WITH ('type'='generic_in_memory')");tableEnv.executeSql("ALTER CATALOG cat2 SET ('default-database'='db')");

3. ALTER TABLE:最重要、最常用的一类

3.1 支持的动作总览(记住这 6 个就够了)

ALTERTABLE[IFEXISTS]table_name {ADD...|MODIFY...|DROP...|RENAMEold_columnTOnew_column|RENAMETOnew_table_name|SET(...)|RESET(...)}

你可以把它理解为:

  • ADD:加东西(列/主键/水位线/分区/桶)
  • MODIFY:改东西(列定义/位置/主键列/水位线策略/分布)
  • DROP:删东西(列/主键/水位线/分区/分布)
  • RENAME:改名(列/表)
  • SET/RESET:改属性(connector options 等)

4. ADD:给已有表“加能力”

4.1 新增列(默认加到最后,可指定 FIRST / AFTER)

ALTERTABLEMyTableADDcategory_id STRINGCOMMENT'identifier of the category';ALTERTABLEMyTableADDnew_col STRINGFIRST;ALTERTABLEMyTableADDnew_col STRINGAFTERold_col;

4.2 一次性新增:列 + 计算列 + 主键 + Watermark

这是生产最常用的“演进组合拳”:

ALTERTABLEMyTableADD(log_ts STRINGCOMMENT'log timestamp string'FIRST,tsASTO_TIMESTAMP(log_ts)AFTERlog_ts,PRIMARYKEY(id)NOTENFORCED,WATERMARKFORtsASts-INTERVAL'3'SECOND);

4.3 新增分区(以及分区属性)

ALTERTABLEMyTableADDPARTITION(p1=1,p2='a')WITH('k1'='v1');ALTERTABLEMyTableADDPARTITION(p1=1,p2='a')WITH('k1'='v1')PARTITION(p1=1,p2='b')WITH('k2'='v2');

4.4 新增分布/桶(DISTRIBUTION)

ALTERTABLEMyTableADDDISTRIBUTIONBYHASH(uid)INTO4BUCKETS;ALTERTABLEMyTableADDDISTRIBUTIONBY(uid)INTO4BUCKETS;ALTERTABLEMyTableADDDISTRIBUTIONBY(uid);ALTERTABLEMyTableADDDISTRIBUTIONINTO4BUCKETS;

重要提醒:把某列加入主键,会隐式把该列的可空性改成 NOT NULL(nullability 会变为 false)。

5. MODIFY:改列类型、位置、注释、可空性、主键与水位线

5.1 改字段定义(类型/注释/位置)

ALTERTABLEMyTableMODIFYmeasurementDOUBLECOMMENT'unit is bytes per second'AFTERid;

5.2 改 watermark 策略、主键列、计算列

注意:被 MODIFY 的列/组件必须已存在于 schema 中。

ALTERTABLEMyTableMODIFY(log_ts STRINGCOMMENT'log timestamp string'AFTERid,tsASTO_TIMESTAMP(log_ts)AFTERlog_ts,PRIMARYKEY(id)NOTENFORCED,WATERMARKFORtsASts);

同样提醒:把某列改成主键列,也会隐式变为 NOT NULL。

6. DROP:删列 / 主键 / watermark / 分区 / 分布

ALTERTABLEMyTableDROPmeasurement;ALTERTABLEMyTableDROP(col1,col2,col3);ALTERTABLEMyTableDROPPRIMARYKEY;ALTERTABLEMyTableDROPPARTITION(`id`=1);ALTERTABLEMyTableDROPPARTITION(`id`=1),PARTITION(`id`=2);ALTERTABLEMyTableDROPWATERMARK;ALTERTABLEMyTableDROPDISTRIBUTION;

7. RENAME:改列名 / 改表名

ALTERTABLEMyTableRENAMErequest_bodyTOpayload;ALTERTABLEMyTableRENAMETOMyTable2;

8. SET / RESET:修改表属性(常用于 connector 参数)

8.1 SET:覆盖或新增属性

ALTERTABLEDataGenSourceSET('rows-per-second'='10');

8.2 RESET:恢复属性默认值

ALTERTABLEDataGenSource RESET('rows-per-second');

9. ALTER VIEW / DATABASE / FUNCTION / CATALOG / MODEL

9.1 ALTER VIEW:改名 or 改查询定义

ALTERVIEWmy_viewRENAMETOmy_view_v2;ALTERVIEWmy_viewASSELECT...;

9.2 ALTER DATABASE:更新库属性

ALTERDATABASEmy_dbSET('k1'='v1','k2'='v2');

9.3 ALTER FUNCTION:替换 UDF 标识(类路径/全限定名)+ 语言

ALTERFUNCTIONmy_udfAS'com.xxx.NewUdf'LANGUAGEJAVA;ALTERTEMPORARYSYSTEMFUNCTIONfAS'com.xxx.F'LANGUAGEJAVA;

IF EXISTS时:函数不存在就忽略,不报错。

9.4 ALTER CATALOG:SET / RESET / COMMENT

ALTERCATALOG cat2SET('default-database'='db');ALTERCATALOG cat2 RESET('default-database');ALTERCATALOG cat2COMMENT'comment for catalog ''cat2''';

9.5 ALTER MODEL:SET / RESET / RENAME

ALTERMODEL MyModelSET('model-version'='2.0','batch-size'='32');ALTERMODEL MyModel RESET('model-version','batch-size');ALTERMODEL MyModelRENAMETONewModel;

10. 最佳实践与常见坑(建议放到博客结尾)

  1. 复杂变更尽量用“一个 ALTER 多组件”:比如一次性加计算列 + watermark + 主键,避免多次演进导致不一致。
  2. 主键列会隐式 NOT NULL:这点会影响下游 sink(尤其是 upsert),提前确认数据里有没有 null。
  3. watermark 修改属于“语义级变更”:会影响窗口计算、延迟、迟到数据处理,建议在灰度环境验证。
  4. SET/RESET 特别适合做运行参数调节:例如 datagen 的速率、某些 connector 的行为开关,脚本化很好用。
  5. 尽量加IF EXISTS(表/函数等支持时):让运维脚本幂等,避免多环境重复执行失败。
http://www.cnnetsun.cn/news/65836.html

相关文章:

  • AutoGPT镜像集成指南:如何嵌入现有业务系统?
  • AutoGPT项目活跃度分析:GitHub星标增长趋势
  • AutoGPT能否生成短视频脚本?内容创作新方式
  • 超越ChatGPT!教你开发能自主完成复杂任务的AI智能体,代码开源
  • 震惊!AI Agent智商税?Google最新研究:盲目堆叠智能体可能导致性能暴跌70%
  • AI Agent“杀疯了“!大模型时代,你的编程技能该“内卷“还是“躺平“?
  • 【AI神器】Claude Code四大神器全解析!小白程序员也能秒变效率王者,Command/Skill/Agent/MCP一次搞懂!
  • AutoGPT能否接入企业微信?组织内协作场景落地
  • 震惊!原来AI编程开发这么简单:LLM、Agent与Workflow三兄弟协同工作原理大揭秘,小白也能秒变AI达人!
  • 图灵奖大佬怒怼大模型:LLM不是通向AGI的路径!下一波AI革命竟是洗碗倒水?程序员必看!
  • 从“十五五”规划建议看数字孪生重点发展方向
  • Qwen3-32B中文理解能力为何如此出色?内部机制揭秘
  • BPAdaboost模型:以BP神经网络为‘弱‘分类器的强分类器构建方法
  • 16、科学计算实用指南:从矩阵运算到生物信息学
  • LobeChat文件上传功能怎么用?处理PDF、Word超简单
  • BTC波动加剧之际,投资者如何选择可靠的数字资产观察平台?
  • 基于springboot的水果购物商城管理系统的设计与实现_5n1fg985
  • 计算机毕业设计springboot家庭理财系统 基于 SpringBoot 的个人家庭资产管理系统 SpringBoot+Vue 的智能化家庭财务分析与规划平台
  • 论文写作新范式:基于9款AI工具的实战评测,开题报告与草稿高效产出
  • 兼容性测试云平台使用方法
  • Selenium WebDriver多浏览器控制
  • 计算机毕业设计springboot基于微信小程序的核酸检测预约系统 基于微信小程序的 Spring Boot 核酸检测预约管理系统设计与实现 微信小程序结合 Spring Boot 的核酸检测预约平台
  • 计算机视觉项目启动利器:PyTorch-CUDA开箱即用环境
  • 收藏备用!企业级RAG落地全攻略:从避坑到选型的大模型实践手册
  • 从Java到前端:一位全栈开发者的成长之路与技术探索
  • 14、Linux与Windows环境下NFS和NIS的使用指南
  • 15、Linux与Windows系统集成:NIS、FTP及Telnet配置指南
  • 提升团队协作效率:用LobeChat搭建统一AI助手平台
  • 应用层|低空应用安全的 “精工锻造者”,中科数测以多工具矩阵赋能应用从开发到运维的全周期安全
  • 横观水力压裂模型:从 PDE 建模到 Comsol 模拟