当前位置：首页 > news >正文

【kv存储】实时主从同步实现与eBPF旁路转发方案

news 2026/8/23 17:52:48

一、背景

本文重点是实时数据的主从同步，以及使用eBPF做旁路转发的方案。

功能实现
仿照Redis实现的主从同步功能

Redis的主从同步分为两个阶段，第一个阶段：从机启动时，拉取主机的已有的数据，拉取完毕后从机正式上线。第二个阶段是从机上线后，主机实时将新的命令传播给从机，实现实时数据的变更。总结为：

已有数据同步
实时数据同步

阶段一：已有数据同步

从机配置为slave，并且指定主机的IP和端口，从机启动时向主机发送SYNC指令
主机收到SYNC指令，将从机添加到从机列表当中后，打开积压缓冲区，触发BGSAVE全量保存数据到RDB文件中
主机将保存的RDB文件发送到从机
主机将积压缓冲区的数据发送到从机

阶段二：实时数据同步

主机收到来自客户端的新指令
主机解析RESP格式后后将变更类的指令（不包括GET等指令）重新编码，转发到从机

二、send网络转发实现

指令解析后，再变更类指令的分发分支上调用feed_slave

voidkvs_replication_feed_slaves(constchar*cmd,constchar*key,size_tklen,constchar*value,size_tvlen){if(g_repl.role!=KVS_ROLE_MASTER||g_repl.slave_count==0)return;charbuf[REPL_CMD_BUF];intlen=0,encoded=0;inthas_online=0,has_syncing=0;// 统计从库状态for(inti=0;i<g_repl.slave_count;i++){if(g_slaves[i].state==SLAVE_ONLINE)has_online=1;elsehas_syncing=1;}// 有同步中的从库 → 写 Backlogif(has_syncing){len=resp_encode_cmd(...);encoded=1;ensure_backlog();buffer_add(g_backlog,buf,len);// 满了则踢掉同步中的从库// ...}// 有在线从库 → 直接推送if(has_online){if(!encoded)len=resp_encode_cmd(...);for(inti=0;i<g_repl.slave_count;i++){if(g_slaves[i].state==SLAVE_ONLINE){reactor_append(...);// 失败则 drop_slave(i--);}}}}

待网络转发的数据填进reactor的wbuffer里，等待事件循环。

intreactor_append(intfd,constvoid*data,uint32_tlen){structconn*c=reactor_conn(fd);if(!c||!c->wbuffer||!data||len==0)return-1;if(buffer_add(c->wbuffer,data,len)!=0)return-1;set_event(fd,EPOLLIN|EPOLLOUT,0);return0;}

可以看到，这种方案面临着比较重的开销：

整个过程中有两次编码
若干次拷贝
占用主机send的吞吐。

三、提出eBPF旁路转发的方案

eBPF 主从同步开启时，将hook点选择KV存储主机解析之后（RESP格式）的一个指定函数，此时hook函数的参数中已经获取了cmd、key、value以及klen、vlen等数据。

主机网络接收来自客户端的命令
解析完毕之后，拷贝到专门的hook函数（声明非内联，非优化，以便eBPF捕获）
eBPF内核态程序捕获cmd，key，value等数据，抛入ringbuf（BPF map）中
用户态程序轮询获取ringbuf中的数据，并且编码
send转发到从机

我们分析这条路径，不难发现，eBPF的思路是利用了旁路捕获并转发的思路，将编码、多次拷贝、send转发的开销旁路到了eBPF用户态进程中。KV存储中只需要维护一个类似这样的hook函数

__attribute__((noinline))voidkvs_eBPF_propagation_hook(constchar*cmd,constchar*key,size_tklen,constchar*value,size_tvlen){(void)cmd;(void)key;(void)klen;(void)value;(void)vlen;asmvolatile("");}