admin管理员组

文章数量:1540100

目前遇到的问题是:

任务A:a表,b表写入下游。

取消任务

在代码中添加c表,通过checkpoint恢复。

任务失败。

原因不支持checkpoint恢复任务动态添加新表。

官方issue:

https://github/ververica/flink-cdc-connectors/issues?q=checkpoint

希望做到动态增加database,这边当前的修改:
通过修改Flink CDC Source的 DebeziumSourceFunction从checkpoint的恢复逻辑,在从checkpoint恢复时,只恢复offsetState信息,restoreHistoryRecordsState()时,将historyRecords置空。

之前 dblist中仅包含 db1,现在新增加db2.
任务在恢复时,offsetState信息能够正确的恢复,因为schema信息historyRecords为空,任务会重新做一次snapshot获取table schema的动作,

本文标签: CDCFlinkCheckPoint