flannel全流程离线部署实战：从环境准备到集群验证的完整解决方案

flannel全流程离线部署实战：从环境准备到集群验证的完整解决方案

【免费下载链接】flannel项目地址: https://gitcode.com/gh_mirrors/fla/flannel

副标题：如何在无网络环境中构建稳定可靠的Kubernetes容器网络？

在企业级Kubernetes部署中，离线环境（如隔离的内网、无互联网访问的机房）是常见场景。开源项目flannel作为Kubernetes主流网络插件，其离线部署涉及镜像管理、配置文件准备、网络策略制定等关键环节。本文将提供一套系统化的flannel离线部署解决方案，帮助运维工程师在完全隔离的环境中顺利部署容器网络层，解决镜像拉取失败、配置文件缺失、网络接口选择等核心痛点。

一、环境兼容性深度解析：离线部署的前置检查

在开始离线部署前，对目标环境进行全面评估是确保成功的关键。不同的操作系统、Kubernetes版本和网络环境对flannel的支持程度存在差异，需要进行系统性检查。

1.1 核心兼容性矩阵

1.2 环境检查命令集

# 验证操作系统版本 cat /etc/os-release | grep PRETTY_NAME # 检查内核版本及vxlan模块 uname -r lsmod | grep vxlan # 确保输出不为空 # 验证容器运行时 docker info || containerd --version # 检查Kubernetes版本（如已安装） kubectl version --short

核心要点

• 离线环境中版本兼容性至关重要，建议Kubernetes与flannel版本保持官方推荐的匹配关系
• 提前加载vxlan内核模块：modprobe vxlan，并设置开机自动加载
• 确保所有节点时间同步，避免证书和网络策略出现时间相关问题

二、全量资源准备策略：镜像与配置文件管理

离线部署的核心挑战在于如何在无互联网环境中获取并管理所有必要资源。flannel部署需要三类关键资源：容器镜像、CNI插件二进制文件和配置清单。

2.1 镜像资源清单与获取方法

flannel部署依赖以下核心镜像，建议在有网络环境中提前下载并保存：

镜像获取脚本：

# 创建本地存储目录结构 mkdir -p /offline/flannel/{images,cni,config} # 拉取并保存flannel主镜像 docker pull quay.io/coreos/flannel:v0.22.0 docker save quay.io/coreos/flannel:v0.22.0 > /offline/flannel/images/flannel-v0.22.0.tar # 拉取并保存pause镜像 docker pull k8s.gcr.io/pause:3.9 docker save k8s.gcr.io/pause:3.9 > /offline/flannel/images/pause-3.9.tar # 拉取并保存CNI插件镜像 docker pull rancher/mirrored-flannelcni-flannel-cni-plugin:v1.3.0 docker save rancher/mirrored-flannelcni-flannel-cni-plugin:v1.3.0 > /offline/flannel/cni/flannel-cni-plugin-v1.3.0.tar

2.2 配置文件与CNI插件准备

flannel的部署需要特定的YAML配置文件和CNI插件二进制文件，可通过以下方式获取：

# 克隆flannel项目仓库 git clone https://gitcode.com/gh_mirrors/fla/flannel.git /tmp/flannel-repo # 复制核心配置文件 cp /tmp/flannel-repo/Documentation/kube-flannel.yml /offline/flannel/config/ cp /tmp/flannel-repo/Documentation/kustomization/kube-flannel/kustomization.yaml /offline/flannel/config/ # 提取CNI插件二进制文件 docker run --rm -v /tmp/flannel-cni:/output rancher/mirrored-flannelcni-flannel-cni-plugin:v1.3.0 \ cp /flannel-cni-plugin /output/ mv /tmp/flannel-cni/flannel-cni-plugin /offline/flannel/cni/flannel

核心要点

• 镜像版本应严格匹配，避免使用latest标签
• 建议对所有离线资源进行校验（如MD5哈希），确保传输完整性
• CNI插件二进制文件需赋予执行权限：chmod +x /offline/flannel/cni/flannel

三、多场景实施步骤：从资源导入到网络部署

将准备好的离线资源传输到目标环境后，需要按照严格的步骤进行部署，确保每个节点的环境配置一致。

3.1 镜像导入与标签管理

在每个节点执行以下命令导入镜像：

# 创建镜像加载函数 load_image() { local image_path=$1 echo "Loading image from $image_path..." docker load -i $image_path || { echo "Failed to load $image_path"; exit 1; } } # 批量导入镜像 load_image /offline/flannel/images/flannel-v0.22.0.tar load_image /offline/flannel/images/pause-3.9.tar load_image /offline/flannel/cni/flannel-cni-plugin-v1.3.0.tar # （可选）为镜像添加本地仓库标签 docker tag quay.io/coreos/flannel:v0.22.0 registry.local/flannel:v0.22.0

3.2 配置文件定制化修改

为适应离线环境，需修改kube-flannel.yml配置文件：

# 原配置 image: quay.io/coreos/flannel:v0.22.0 imagePullPolicy: Always # 修改后 image: quay.io/coreos/flannel:v0.22.0 # 保持与导入镜像名称一致 imagePullPolicy: Never # 仅使用本地镜像

网络后端配置示例：

# 在ConfigMap中配置flannel网络后端 data: cni-conf.json: | { "name": "cbr0", "plugins": [ { "type": "flannel", "delegate": { "hairpinMode": true, "isDefaultGateway": true } }, { "type": "portmap", "capabilities": { "portMappings": true } } ] } net-conf.json: | { "Network": "10.244.0.0/16", "Backend": { "Type": "vxlan", # 离线环境推荐使用vxlan或host-gw "VNI": 1, "Port": 8472 } }

3.3 节点网络环境配置

图1：AWS VPC网络配置界面，展示了典型的flannel网络环境设置，包括CIDR块和子网配置

在每个节点上准备CNI环境：

# 创建CNI所需目录 mkdir -p /etc/cni/net.d /opt/cni/bin # 复制CNI插件 cp /offline/flannel/cni/flannel /opt/cni/bin/ # 创建基础CNI配置 cat > /etc/cni/net.d/10-flannel.conflist <<EOF { "name": "cbr0", "plugins": [ { "type": "flannel", "delegate": { "hairpinMode": true, "isDefaultGateway": true } }, { "type": "portmap", "capabilities": { "portMappings": true } } ] } EOF # 重启kubelet服务 systemctl restart kubelet

3.4 执行部署与状态检查

# 应用flannel部署配置 kubectl apply -f /offline/flannel/config/kube-flannel.yml # 检查命名空间状态 kubectl get namespaces | grep kube-flannel # 验证pod状态 kubectl get pods -n kube-flannel -o wide # 检查节点网络状态 kubectl get nodes -o wide

核心要点

• ✅ 所有节点必须导入相同版本的镜像
• ✅ 配置文件中的镜像名称必须与导入的完全一致
• ✅ imagePullPolicy必须设置为Never或IfNotPresent
• ✅ 部署后检查每个节点的flannel pod是否正常运行

四、全面验证方案：网络功能与连通性测试

部署完成后，需要进行多维度验证，确保flannel网络功能正常。

4.1 基础网络验证

# 检查flannel网络接口 ip link show flannel.1 # 验证路由表 ip route | grep flannel # 检查iptables规则 iptables -L -n | grep flannel

4.2 跨节点Pod通信测试

图2：AWS路由配置界面，显示了flannel网络所需的路由规则配置，确保跨节点通信正常

创建测试pod并验证跨节点通信：

# 创建测试 deployment kubectl create deployment nginx --image=nginx kubectl scale deployment nginx --replicas=2 # 检查pod分布 kubectl get pods -o wide # 在不同节点的pod间测试网络连通性 kubectl exec -it <pod-name-on-node1> -- ping <pod-ip-on-node2>

4.3 网络性能测试

# 在pod中安装网络测试工具 kubectl exec -it <pod-name> -- apt-get update && apt-get install -y iperf # 在一个pod中启动iperf服务端 kubectl exec -it <pod1-name> -- iperf -s # 在另一个pod中运行客户端测试 kubectl exec -it <pod2-name> -- iperf -c <pod1-ip>

核心要点

• 跨节点pod通信是验证网络功能的关键指标
• 网络性能测试应关注带宽和延迟指标
• 对于大规模集群，建议进行压力测试验证网络稳定性

五、进阶技巧与最佳实践

5.1 多版本适配方案

不同Kubernetes版本对flannel的要求不同，可通过以下方式实现多版本管理：

# 创建版本化的镜像存储结构 mkdir -p /offline/flannel/images/v0.20.1 /offline/flannel/images/v0.22.0 # 针对不同K8s版本准备对应flannel版本 # K8s 1.22及以下推荐flannel v0.20.x # K8s 1.23及以上推荐flannel v0.22.x # 使用环境变量指定版本 export FLANNEL_VERSION=v0.22.0 sed -i "s/flannel:.*/flannel:$FLANNEL_VERSION/" /offline/flannel/config/kube-flannel.yml

5.2 网络接口选择策略

在多网卡环境中，明确指定flannel使用的网络接口：

# 在kube-flannel.yml中添加接口参数 containers: - name: kube-flannel command: - /opt/bin/flanneld args: - --iface=eth0 # 指定物理网卡 - --public-ip=$(NODE_IP) # 使用节点IP

5.3 自动化部署脚本示例

#!/bin/bash # flannel离线部署自动化脚本 set -e # 配置参数 FLANNEL_VERSION="v0.22.0" PAUSE_VERSION="3.9" CNI_VERSION="v1.3.0" OFFLINE_DIR="/offline/flannel" # 导入镜像 echo "Importing images..." for img in $(ls $OFFLINE_DIR/images/*.tar); do docker load -i $img done # 配置CNI echo "Configuring CNI..." mkdir -p /etc/cni/net.d /opt/cni/bin cp $OFFLINE_DIR/cni/flannel /opt/cni/bin/ # 修改配置文件 sed -i "s/imagePullPolicy: Always/imagePullPolicy: Never/" $OFFLINE_DIR/config/kube-flannel.yml # 部署flannel kubectl apply -f $OFFLINE_DIR/config/kube-flannel.yml # 等待部署完成 echo "Waiting for flannel pods to be ready..." kubectl wait --namespace kube-flannel \ --for=condition=ready pod \ --selector=app=flannel \ --timeout=300s echo "Flannel offline deployment completed successfully!"

核心要点

• 多版本管理可通过目录隔离和环境变量实现
• 生产环境中建议明确指定网络接口，避免自动选择导致的问题
• 自动化脚本应包含错误处理和状态检查，确保部署可靠性

六、常见错误排查与解决方案

6.1 镜像拉取失败

症状：flannel pod状态为ImagePullBackOff或ErrImagePull

排查流程：

1. 检查镜像是否已正确导入：docker images | grep flannel
2. 验证配置文件中的镜像名称与标签是否匹配
3. 确认imagePullPolicy设置为Never或IfNotPresent

解决方案：

# 重新导入镜像 docker load -i /offline/flannel/images/flannel-v0.22.0.tar # 检查并修改配置文件 grep "image:" /offline/flannel/config/kube-flannel.yml grep "imagePullPolicy" /offline/flannel/config/kube-flannel.yml

6.2 网络接口选择错误

图3：GCE实例网络配置界面，展示了网络接口选择和防火墙设置，这对flannel正确工作至关重要

症状：节点间网络不通，flannel日志显示"no valid interface found"

解决方案：

# 在部署配置中明确指定接口 args: - --iface=eth0 # 替换为实际使用的网络接口 - --iface-regex=eth.* # 或使用正则表达式匹配接口

6.3 CNI配置问题

症状：pod创建失败，事件显示"CNI config unreadable"

解决方案：

# 检查CNI配置文件 cat /etc/cni/net.d/10-flannel.conflist # 验证CNI插件权限 ls -l /opt/cni/bin/flannel # 重启kubelet服务 systemctl restart kubelet

核心要点

• 日志是排查问题的关键：kubectl logs -n kube-flannel <pod-name>
• 网络问题可通过ip addr、ip route和iptables命令诊断
• CNI配置错误通常需要检查文件格式和权限

总结

flannel的离线部署涉及镜像管理、配置定制、网络规划等多个环节，需要系统的准备和严格的操作流程。通过本文介绍的环境检查、资源准备、部署实施、验证测试和进阶技巧，运维工程师可以在完全隔离的环境中成功部署flannel网络插件，为Kubernetes集群提供稳定可靠的容器网络。

关键成功因素包括：版本兼容性检查、完整的资源准备、正确的配置修改和全面的功能验证。遵循本文提供的最佳实践和自动化脚本，可以显著降低离线部署的复杂度，确保网络插件的稳定运行。

对于企业级部署，建议结合本地私有镜像仓库和自动化部署工具，构建完整的离线部署流水线，进一步提升部署效率和可靠性。

【免费下载链接】flannel项目地址: https://gitcode.com/gh_mirrors/fla/flannel