重庆思庄Oracle、KingBase、PostgreSQL、Redhat认证学习论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

搜索
查看: 244|回复: 0
打印 上一主题 下一主题

Debezium 是一个什么东东

[复制链接]
跳转到指定楼层
楼主
发表于 2025-11-5 15:08:46 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 郑全 于 2025-11-5 15:17 编辑

看到PG的PG_STAT_REPLICATION中,有一个  Debezium ,不知道这个是什么?
如下图:


pid
usesysid
usename
application_name
client_addr
client_hostname
client_port
backend_start
backend_xmin
state
sent_lsn
write_lsn
flush_lsn
replay_lsn
write_lag
flush_lag
replay_lag
sync_priority
sync_state
reply_time
190584
10
postgres
walreceiver
192.168.30.18

56456
2025-10-15 18:10:57.382562+08
1689871264
streaming
CF82/9BAA0000
CF82/9BAA0000
CF82/9BAA0000
CF82/9BA9FD60
00:00:00.001377
00:00:00.00239
00:00:00.214181
0
async
2025-10-29 12:07:22.169851+08
170853
10
postgres
Debezium Streaming
192.168.30.31

55577
2025-09-10 10:08:17.990167+08

streaming
CF82/9BA9FD60
CF82/9B67FFD8
CF82/9901C120
CF82/9901C120
00:00:00.549389
00:00:41.576945
00:00:41.576945
0
async
1999-12-22 04:10:03.655525+08



经查豆包,说是一个开源的CDC 工具,用于 捕获数据库的行级变更(如插入、更新、删除),并将这些变更以事件流的形式实时同步到其他系统(如消息队列、数据仓库、搜索引擎等)。它基于 Kafka Connect 框架构建,支持多种数据库,是实现数据实时同步、构建事件驱动架构的核心工具之一。

核心功能
    实时捕获数据变更:监控数据库的事务日志(如 MySQL 的 binlog、PostgreSQL 的 WAL、MongoDB 的 oplog 等),无需侵入业务代码即可捕获行级变更。
   生成结构化事件:将变更数据转换为标准化的 JSON/AVRO 事件,包含操作类型(create/update/delete)、变更前后的数据、时间戳等元信息。

   支持多数据库:主流数据库如 MySQL、PostgreSQL、SQL Server、MongoDB、Oracle 等均有官方连接器(connector)。

   高可靠性:基于 Kafka 的持久化机制,确保变更事件不丢失;支持断点续传(通过记录日志偏移量)。

   低侵入性:通过解析数据库日志获取变更,不影响源库的正常读写性能。

工作原理
   
   连接数据库:Debezium 连接器通过配置连接到源数据库,并读取其事务日志(如 MySQL 的 binlog)。

   捕获变更:实时监控日志中的新增记录,解析出具体的行级变更(如 INSERT INTO t VALUES (1, 'a'))。

   转换事件:将变更转换为结构化事件(包含 before/after 数据、操作类型、表名、时间戳等)。

   发送到 Kafka:通过 Kafka Connect 将事件写入 Kafka 主题(通常按表名或数据库名分区)。

   下游消费:下游系统(如 Flink、Spark、Elasticsearch 等)从 Kafka 消费事件,实现数据同步或业务处理。

典型使用场景
   
    数据实时同步:将业务库数据同步到数据仓库(如 ClickHouse)、缓存(如 Redis)或搜索引擎(如 Elasticsearch)。

    事件驱动架构:以数据库变更作为事件触发后续业务(如订单创建后自动通知物流系统)。

    数据备份与灾备:实时捕获变更并备份到异地存储,确保数据可恢复。

    微服务数据一致性:在微服务架构中,通过变更事件同步各服务的本地数据库,避免分布式事务复杂性。


分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏 支持支持 反对反对
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

QQ|手机版|小黑屋|重庆思庄Oracle、Redhat认证学习论坛 ( 渝ICP备12004239号-4 )

GMT+8, 2026-4-18 03:01 , Processed in 0.341956 second(s), 21 queries .

重庆思庄学习中心论坛-重庆思庄科技有限公司论坛

© 2001-2020

快速回复 返回顶部 返回列表