直接与非直接 I/O
我们都知道磁盘 I/O 是非常慢的,所以 Linux 内核为了减少磁盘 I/O 次数,在系统调用后,会把用户数据拷贝到内核中缓存起来,这个内核缓存空间也就是「页缓存」,只有当缓存满足某些条件的时候,才发起
磁盘 I/O 的请求。
那么,根据是「否利用操作系统的缓存」,可以把文件 I/O 分为直接 I/O 与非直接 I/O:
直接 I/O,不会发生内核缓存和用户程序之间数据复制,而是直接经过文件系统访问磁盘。
非直接 I/O,读操作时,数据从内核缓存中拷贝给用户程序,写操作时,数据从用户程序拷贝给内核缓存,再由内核决定什么时候写入数据到磁盘。
如果你在使用文件操作类的系统调用函数时,指定了 O_DIRECT 标志,则表示使用直接 I/O。如果没有设置过,默认使用的是非直接 I/O。
如果用了非直接 I/O 进行写数据操作,内核什么情况下才会把缓存数据写入到磁盘?
以下几种场景会触发内核缓存的数据写入磁盘:
在调用 write 的最后,当发现内核缓存的数据太多的时候,内核会把数据写到磁盘上;
用户主动调用 sync,内核缓存会刷到磁盘上;
当内存十分紧张,无法再分配页面时,也会把内核缓存的数据刷到磁盘上;
内核缓存的数据的缓存时间超过某个时间时,也会把数据刷到磁盘上;
阻塞与非阻塞 I/O VS 同步与异步 I/O
为什么把阻塞 / 非阻塞与同步与异步放一起说的呢?因为它们确实非常相似,也非常容易混淆,不过它们之间的关系还是有点微妙的。
先来看看阻塞 I/O,当用户程序执行 read,线程会被阻塞,一直等到内核数据准备好,并把数据从内核缓冲区拷贝到应用程序的缓冲区中,当拷贝过程完成, read 才会返回。
注意,阻塞等待的是「内核数据准备好」和「数据从内核态拷贝到用户态」这两个过程。过程如下图:
知道了阻塞 I/O,来看看非阻塞 I/O,非阻塞的 read 请求在数据未准备好的情况下立即返回,可以继续往下执行,此时应用程序不断轮询内核,直到数据准备好,内核将数据拷贝到应用程序缓冲区, read 调用
才可以获取到结果。过程如下图:
注意,这里最后一次 read 调用,获取数据的过程,是一个同步的过程,是需要等待的过程。这里的同步指的是内核态的数据拷贝到用户程序的缓存区这个过程。
举个例子,访问管道或 socket 时,如果设置了 O_NONBLOCK 标志,那么就表示使用的是非阻塞 I/O 的方式访问,而不做任何设置的话,默认是阻塞 I/O。
应用程序每次轮询内核的 I/O 是否准备好,感觉有点傻乎乎,因为轮询的过程中,应用程序啥也做不了,只是在循环。
为了解决这种傻乎乎轮询方式,于是 I/O 多路复用技术就出来了,如 select、poll,它是通过 I/O 事件分发,当内核数据准备好时,再以事件通知应用程序进行操作。
这个做法大大改善了应用进程对 CPU 的利用率,在没有被通知的情况下,应用进程可以使用 CPU 做其他
实际上,无论是阻塞 I/O、非阻塞 I/O,还是基于非阻塞 I/O 的多路复用都是同步调用。因为它们在 read 调用时,内核将数据从内核空间拷贝到应用程序空间,过程都是需要等待的,也就是说这个过程是同步
的,如果内核实现的拷贝效率不高,read 调用就会在这个同步过程中等待比较长的时间。
而真正的异步 I/O 是「内核数据准备好」和「数据从内核态拷贝到用户态」这两个过程都不用等待。
当我们发起 aio_read 之后,就立即返回,内核自动将数据从内核空间拷贝到应用程序空间,这个拷贝过程同样是异步的,内核自动完成的,和前面的同步操作不一样,应用程序并不需要主动发起拷贝动作。过
程如下图:
下面这张图,总结了以上几种 I/O 模型:
在前面我们知道了,I/O 是分为两个过程的:
- 数据准备的过程
- 数据从内核空间拷贝到用户进程缓冲区的过程
阻塞 I/O 会阻塞在「过程 1」和「过程 2」,而非阻塞 I/O 和基于非阻塞 I/O 的多路复用只会阻塞在「过程 2」,所以这三个都可以认为是同步 I/O。
异步 I/O 则不同,「过程 1」和「过程 2」都不会阻塞。
用故事去理解这几种 I/O 模型
举个你去饭堂吃饭的例子,你好比用户程序,饭堂好比操作系统。
阻塞 I/O 好比,你去饭堂吃饭,但是饭堂的菜还没做好,然后你就一直在那里等啊等,等了好长一段时间终于等到饭堂阿姨把菜端了出来(数据准备的过程),但是你还得继续等阿姨把菜(内核空间)打到你的
饭盒里(用户空间),经历完这两个过程,你才可以离开。
非阻塞 I/O 好比,你去了饭堂,问阿姨菜做好了没有,阿姨告诉你没,你就离开了,过几十分钟,你又来饭堂问阿姨,阿姨说做好了,于是阿姨帮你把菜打到你的饭盒里,这个过程你是得等待的。
全站分卷索引 · 208 卷
- 1勘误事宜
- 2图灵机的工作方式
- 3冯诺依曼模型
- 4内存
- 5总线
- 6程序执行的基本过程
- 7a = 1 + 2 执行具体过程
- 8指令
- 9指令的类型
- 10指令的执行速度
- 11总结
- 12关注作者
- 13存储器的层次结构
- 14寄存器
- 15L1 高速缓存
- 16L2 高速缓存
- 17存储器的层次关系
- 18存储器之间的实际价格和性能差距
- 19总结
- 20关注作者
- 21CPU Cache 有多快?
- 22CPU Cache 的数据结构和读取过程是什么样的?
- 23如何写出让 CPU 跑得更快的代码?
- 24如何提升指令缓存的命中率?
- 25如果提升多核 CPU 的缓存命中率?
- 26总结
- 271.4 CPU 缓存一致性
- 28CPU Cache 的数据写入
- 29写直达
- 30写回
- 31缓存一致性问题
- 32总线嗅探
- 33总结
- 34关注作者
- 351.5 CPU 是如何执行任务的?
- 36CPU 如何读写数据的?
- 37分析伪共享的问题
- 38避免伪共享的方法
- 39CPU 如何选择线程的?
- 40调度类
- 41CPU 运行队列
- 42调整优先级
- 43总结
- 441.6 软中断
- 45中断是什么?
- 46系统里有哪些软中断?
- 47如何定位软中断 CPU 使用率过高的问题?
- 48总结
- 49关注作者
- 501.7 为什么 0.1 + 0.2 不等于 0.3 ?
- 51十进制小数与二进制的转换
- 52计算机是怎么存小数的?
- 530.1 + 0.2 == 0.3 ?
- 54总结
- 55二、操作系统结构
- 56Linux 的设计
- 57SMP
- 58Monolithic Kernel
- 59Windows 设计
- 60总结
- 61关注作者
- 62虚拟内存
- 63内存分段
- 64内存分页
- 65多级页表
- 66TLB
- 67段页式内存管理
- 68Linux 内存管理
- 69总总结结
- 70四、进程与线程
- 71进程
- 72进程的状态
- 73进程的控制结构
- 74进程的控制
- 75进程的上下文切换
- 76线程
- 77什么是线程?
- 78线程与进程的比较
- 79线程的实现
- 80调度
- 81调度原则
- 82调度算法
- 83关注作者
- 84管道
- 85消息队列
- 86信号量
- 87信号
- 88Socket
- 89总结
- 90关注作者
- 914.3 多线程同步
- 92竞争与协作
- 93互斥的概念
- 94同步的概念
- 95互斥与同步的实现和使用
- 96锁
- 97信号量
- 98生产者-消费者问题
- 99经典同步问题
- 100哲学家就餐问题
- 101读者-写者问题
- 102关注作者
- 1034.4 死锁
- 104持有并等待条件
- 105环路等待条件
- 106利用工具排查死锁问题
- 107避免死锁问题的发生
- 108总结
- 1094.5 悲观锁与乐观锁
- 110互斥锁与自旋锁:谁更轻松自如?
- 111读写锁:读和写还有优先级区分?
- 112乐观锁与悲观锁:做事的心态有何不同?
- 113总结
- 114五、调度算法
- 115进程调度算法
- 116先来先服务调度算法
- 117最短作业优先调度算法
- 118时间片轮转调度算法
- 119最高优先级调度算法
- 120内存页面置换算法
- 121最佳页面置换算法
- 122最近最久未使用的置换算法
- 123时钟页面置换算法
- 124最不常用算法
- 125先来先服务
- 126扫描算法
- 127循环扫描算法
- 128LOOK 与 C-LOOK算法
- 129关注作者
- 130六、 文件系统
- 131文件系统的基本组成
- 132虚拟文件系统
- 133文件的使用
- 134文件的存储
- 135非连续空间存放方式
- 136Unix 文件的实现方式
- 137空闲空间管理
- 138空闲链表法
- 139位图法
- 140目录的存储
- 141软链接和硬链接
- 142文件 I/O
- 143直接与非直接 I/O
- 144关注作者
- 1457.1 键盘敲入A 字母时,操作系统期间发生了什么?
- 146I/O 控制方式
- 147设备驱动程序
- 148通用块层
- 149存储系统 I/O 软件分层
- 150键盘敲入字母时,期间发生了什么?
- 151关注作者
- 152Linux 网络协议栈
- 153Linux 接收网络包的流程
- 154Linux 发送网络包的流程
- 1558.2 零拷贝
- 156为什么要有 DMA 技术?
- 157传统的文件传输有多糟糕?
- 158如何优化文件传输的性能?
- 159如何实现零拷贝?
- 160sendfile
- 161使用零拷贝技术的项目
- 162PageCache 有什么作用?
- 163大文件传输用什么方式实现?
- 164总结
- 1658.3 I/O 多路复用:select/poll/epoll
- 166最基本的 Socket 模型
- 167如何服务更多的用户?
- 168多进程模型
- 169多线程模型
- 170I/O 多路复用
- 171select/poll
- 172epoll
- 173总结
- 174关注作者
- 175演进
- 176Reactor
- 177单 Reactor 多线程 / 多进程
- 178多 Reactor 多进程 / 线程
- 179Proactor
- 180总结
- 181关注作者
- 182九、Linux 命令
- 183性能指标有哪些?
- 184网络配置如何看?
- 185socket 信息如何查看?
- 186网络吞吐率和 PPS 如何查看?
- 187连通性和延时如何查看?
- 188关注作者
- 189别急着开始
- 190慎用 cat
- 191PV 分析
- 192UV 分析
- 193UV 分组
- 194终端分析
- 195分析 TOP3 的请求
- 196关注作者
- 197十、学习心得
- 19810.1 计算机网络怎么学?
- 199入门系列
- 200深入学习系列
- 201实战系列
- 202最后
- 20310.2 操作系统怎么学?
- 204入门系列
- 205深入学习系列
- 206最后
- 207十一、画图经验
- 208赞赏支持