当前位置: 首页 > news >正文

Linux之文件--缓冲区和c封装

缓冲区在哪里

  • read:操作系统把内核缓冲区的数据,拷贝到你传入的用户内存buf; 如果内核缓冲区没有需要的数据 → OS 发起硬件请求,从磁盘加载数据进入内核缓冲区,再拷贝给应用。
  • write:把应用buf的数据,拷贝进内核缓冲区,函数返回;后续内核再异步写到磁盘。

操作表 = 一组函数指针数组(跳转表)存储这个文件 / 硬件对应的:readwriteopenclosellseek等底层实现地址。

//内核伪代码 struct file_operations { //读写偏移 loff_t (*llseek) (struct file *, loff_t, int); //对应系统调用 read() ssize_t (*read) (struct file *, char __user *, size_t, loff_t *); //对应系统调用 write() ssize_t (*write) (struct file *, const char __user *, size_t, loff_t *); //打开文件 int (*open) (struct inode *, struct file *); //关闭文件 int (*release) (struct inode *, struct file *); //还有 ioctl、poll、mmap…… };

用户层永远只调用统一 API:read(fd)/write(fd)不需要区分底层是磁盘文件、键盘、显示器、网卡、串口。 内核收到系统调用后:

  1. 根据 fd 找到struct file
  2. 取出里面的f_op(操作表)
  3. 调用操作表里对应的函数指针

缓冲区在内核空间

内核缓冲区

图中间区域:内核缓冲区、磁盘、read()/write()系统调用、struct file

  • 归属:内核空间,操作系统维护,所有进程共享内核缓存资源
  • 接口:系统调用read(int fd, buf, size) / write()
  • 数据流向:
  • write 流程:应用 → 用户缓冲区 → write 系统调用 → 内核缓冲区 →(延迟刷新)磁盘
  • read 流程:磁盘 → 内核缓冲区 → read 系统调用拷贝 → 用户缓冲区 → 应用程序变量

重点:调用write()绝不直接写磁盘!write 只是把数据拷贝到内核缓冲区,操作系统会在合适时机(内核线程 pdflush)把缓冲区数据刷入磁盘;这种机制叫延迟写

为什么要有缓冲区

系统调用是有成本的,我们要减少系统调用的次数

new malloc底层都是会调用系统调用,但是你在申请的时候给你的是虚拟地址空间,当你真正开始用的时候在区物理内存里面给你申请

比如在stl里面vector需要扩容的时候,一般采用2倍,这样也有利于减少系统调用的次数

为了减少系统调用,c,c++就登场了

用户级缓冲区

  • 归属:用户空间,由 C 标准库(libc)维护
  • 接口:fopen/fgets/fputs/fprintf/fread/fwrite这些标准 IO 函数
  • 意义:减少系统调用次数系统调用(read/write)会发生用户态 ↔ 内核态切换,开销大。 程序不会调用一次write写 1 个字节;而是先把数据攒在用户缓冲区,缓冲区满 / 主动刷新时,才调用一次write系统调用进入内核。

两条数据流路线

路线 A:标准库 IO(带用户缓冲区 fputs/fprintf)

应用内存变量 →FILE 用户缓冲区→ 缓冲区刷新 →write()系统调用 →内核缓冲区→ 操作系统异步刷入磁盘

路线 B:原生系统调用(无用户缓冲区 read/write)

应用内存 buffer → 直接通过read/write在内核缓冲区、程序内存之间拷贝

接下来我们看下面三个现象

eg1

  1. Linux 规则:最小可用文件描述符分配进程启动默认:fd0 (标准输入)、fd1 (标准输出 stdout)、fd2 (标准错误 stderr)
  • close(1):释放 fd=1
  • 随后open()打开文件,优先拿到最小空闲 fd,也就是 1最终:fd 1 指向 log.txtprintf底层往stdout(fd=1)输出,所以内容本该写入 log.txt。

说明

  • printf:数据放入 stdout 缓冲区,尚未 write
  • close(fd)关闭文件描述符 fd=1
  • 缓冲区数据还躺在内存里,但是通往文件的 fd 已经被关掉!
  • 等到程序退出,库函数尝试刷新缓冲区、调用 write (fd=1) → fd=1 已经关闭,系统调用失败,缓冲区数据直接丢失
  • 文件没有写入任何内容,log.txt为空文件

当我们为他添加fflush,时又重新把hello world写入log.txt文件

eg2

运行效果:等待 1 秒后输出hello

运行效果:等待 1 秒,无任何输出

printf("hello")不带换行符\n;程序输出到终端,stdout 是行缓冲模式。 行缓冲规则:只有遇到\n、主动fflush、进程正常库层退出,才刷新缓冲区;单纯字符串无换行,数据停留在C 库用户缓冲区,不会调用 write 系统调用。

exit会刷新语言级缓冲,二_exit则不会,导致缓冲区内容丢失

eg3

  1. 标准 IO 库函数(C 库,带用户缓冲区)printf / fprintf(stdout) / fputs数据先存入进程用户态 stdio 缓冲区,不一定立刻调用write系统调用。
  2. 系统调用(无用户缓冲区)write(fd,buf,len)直接发起内核调用,数据直达内核缓冲区,不存在用户缓冲区滞留

前置缓冲规则

  • 输出到终端(交互式 shell):stdout =行缓冲,遇见\n自动刷新缓冲区;
  • 输出到普通文件(重定向 > aaaa):stdout =全缓冲\n不会触发刷新,数据停留在用户缓冲区

解释现象

1../buffer.exe直接终端运行(行缓冲) 每条标准 IO 带\n,触发缓冲区刷新,依次打印 4 行,无重复。

2../buffer.exe > aaaa重定向到文件(全缓冲)\n不再刷新;程序退出时exit()统一刷新缓冲区。 顺序:write 直接输出;随后程序退出一次性输出缓冲区内 3 条标准 IO 内容。

解释现象

fork

  1. fork()创建子进程时,采用写时复制(COW),父进程整个用户地址空间完整复制一份给子进程。stdio 缓冲区位于用户地址空间,会被一并拷贝!

  2. 分支 1:终端运行(行缓冲) 标准 IO 函数内部\n触发刷新,fork 执行前缓冲区已经清空。 fork 时父子进程缓冲区都是空的,后续没有重复输出。

  3. 分支 2:重定向文件(全缓冲\n不会刷新缓冲区!执行fork()那一刻: 父进程的 stdout 缓冲区还存放着:hello printf\nhello printf\nhello fprintf\nhello fputs\nfork 复制地址空间 →子进程拿到一份一模一样的缓冲区副本

父子进程是独立进程:

  • 父进程退出:刷新自身缓冲区,输出一组标准 IO 内容;
  • 子进程退出:刷新自己复制得来的缓冲区,再次输出同一组内容;

write()是系统调用,没有用户缓冲区,在 fork 之前就已经完成内核输出,只会打印一次。

内核缓冲区两种刷新方式

  1. 主动强制落盘:fsync () /fdatasync ()系统调用,强制把内核缓冲区数据立即写入磁盘硬件,等待磁盘 IO 完成才返回。
  • fsync(fd):刷新文件数据 + 文件元信息(大小、修改时间等)
  • fdatasync(fd):只刷新文件内容,不强制同步元信息,性能略高
  1. 操作系统异步自动刷新内核后台守护进程(pdflush/flusher)定时扫描,在系统空闲、内存不足时,自动把 Page Cache 数据刷到磁盘;无需程序干预。
http://www.cnnetsun.cn/news/3718422.html

相关文章:

  • Unity材质引用丢失的自动化修复方案与最佳实践
  • 本地AI编程助手搭建指南:基于DeepSeek API的轻量化开发环境部署
  • C/C++二叉树遍历全解析:递归与迭代实现及工程实践指南
  • 终极指南:5分钟学会使用XCOM 2替代模组启动器AML
  • Gen6D vs 传统方法:为什么基于RGB的无模型方案是计算机视觉的未来?
  • 高性能硬件与大模型本地化部署实战:E5-2680v4+V100运行Qwen3-Next-80B
  • 终极指南:FSearch - Linux桌面文件搜索的革命性工具
  • 音视频AI总结工具横评2026,听脑AI、BiBiGPT、百度网盘AI、Ai好记实测对比
  • 考研网课怎么高效整理?分享一套把视频变笔记的完整方案
  • 如何快速上手blinkpy:5分钟实现Blink摄像头的Python控制
  • 从源码到应用:Blur开发者指南——如何参与开源项目贡献代码
  • 本地部署AI智能体Hermes Agent:从零搭建可定制化AI助手
  • Dendrite常见问题解答:解决联邦通信失败与性能优化难题
  • 每日关注简报|2026年7月28日:Copilot企业管控、Project Perception与Windows Build 29634
  • BQ796xx BMS芯片故障诊断与通信调试寄存器深度解析
  • MATLAB车道线检测与偏离预警系统开发实践
  • 【ROS2】cartographer源码分析09:PoseGraph 全局优化与回环
  • Visual Studio开发CustomerManager:ASP.NET MVC后端集成教程
  • SimpleKeychain完全指南:iOS/macOS/tvOS/watchOS通用的钥匙串封装库
  • 169、NPU的编译器开发:模型版本兼容性
  • 如何快速集成DragListView到Android项目?5分钟上手教程
  • 本地 AI 自动化工具 OpenClaw 安装实录 路径权限避坑要点汇总(含安装包)
  • 终极指南:从 git-encrypt 迁移到 git-crypt 的完整步骤
  • 解密 gh_mirrors/bd/bds-files:生物信息学项目 reproducibility 的关键资源与最佳实践
  • 如何快速获取快手无水印视频:终极下载解决方案
  • 三相两电平逆变器DPWM调制技术解析与仿真实践
  • 90天DevOps转型实战:从理论到实践的系统化学习路径
  • Dify模型接入实战:从OpenAI到Ollama,一站式配置指南
  • 汽车电子ASIC评估实战:TPIC7710 EVM硬件解析与GUI软件深度操作指南
  • 深入理解NativeWindUI组件设计:如何实现真正的原生视觉体验