← 返回目录

直接与非直接 I/O

第 143 / 208 卷日期:

我们都知道磁盘 I/O 是非常慢的,所以 Linux 内核为了减少磁盘 I/O 次数,在系统调用后,会把用户数据拷贝到内核中缓存起来,这个内核缓存空间也就是「页缓存」,只有当缓存满足某些条件的时候,才发起

磁盘 I/O 的请求。

那么,根据是「否利用操作系统的缓存」,可以把文件 I/O 分为直接 I/O 与非直接 I/O:

直接 I/O,不会发生内核缓存和用户程序之间数据复制,而是直接经过文件系统访问磁盘。

非直接 I/O,读操作时,数据从内核缓存中拷贝给用户程序,写操作时,数据从用户程序拷贝给内核缓存,再由内核决定什么时候写入数据到磁盘。

如果你在使用文件操作类的系统调用函数时,指定了 O_DIRECT 标志,则表示使用直接 I/O。如果没有设置过,默认使用的是非直接 I/O。

如果用了非直接 I/O 进行写数据操作,内核什么情况下才会把缓存数据写入到磁盘?

以下几种场景会触发内核缓存的数据写入磁盘:

在调用 write 的最后,当发现内核缓存的数据太多的时候,内核会把数据写到磁盘上;

用户主动调用 sync,内核缓存会刷到磁盘上;

当内存十分紧张,无法再分配页面时,也会把内核缓存的数据刷到磁盘上;

内核缓存的数据的缓存时间超过某个时间时,也会把数据刷到磁盘上;

阻塞与非阻塞 I/O VS 同步与异步 I/O

为什么把阻塞 / 非阻塞与同步与异步放一起说的呢?因为它们确实非常相似,也非常容易混淆,不过它们之间的关系还是有点微妙的。

先来看看阻塞 I/O,当用户程序执行 read,线程会被阻塞,一直等到内核数据准备好,并把数据从内核缓冲区拷贝到应用程序的缓冲区中,当拷贝过程完成, read 才会返回。

注意,阻塞等待的是「内核数据准备好」和「数据从内核态拷贝到用户态」这两个过程。过程如下图:

知道了阻塞 I/O,来看看非阻塞 I/O,非阻塞的 read 请求在数据未准备好的情况下立即返回,可以继续往下执行,此时应用程序不断轮询内核,直到数据准备好,内核将数据拷贝到应用程序缓冲区, read 调用

才可以获取到结果。过程如下图:

注意,这里最后一次 read 调用,获取数据的过程,是一个同步的过程,是需要等待的过程。这里的同步指的是内核态的数据拷贝到用户程序的缓存区这个过程。

举个例子,访问管道或 socket 时,如果设置了 O_NONBLOCK 标志,那么就表示使用的是非阻塞 I/O 的方式访问,而不做任何设置的话,默认是阻塞 I/O。

应用程序每次轮询内核的 I/O 是否准备好,感觉有点傻乎乎,因为轮询的过程中,应用程序啥也做不了,只是在循环。

为了解决这种傻乎乎轮询方式,于是 I/O 多路复用技术就出来了,如 select、poll,它是通过 I/O 事件分发,当内核数据准备好时,再以事件通知应用程序进行操作。

这个做法大大改善了应用进程对 CPU 的利用率,在没有被通知的情况下,应用进程可以使用 CPU 做其他

实际上,无论是阻塞 I/O、非阻塞 I/O,还是基于非阻塞 I/O 的多路复用都是同步调用。因为它们在 read 调用时,内核将数据从内核空间拷贝到应用程序空间,过程都是需要等待的,也就是说这个过程是同步

的,如果内核实现的拷贝效率不高,read 调用就会在这个同步过程中等待比较长的时间。

而真正的异步 I/O 是「内核数据准备好」和「数据从内核态拷贝到用户态」这两个过程都不用等待。

当我们发起 aio_read 之后,就立即返回,内核自动将数据从内核空间拷贝到应用程序空间,这个拷贝过程同样是异步的,内核自动完成的,和前面的同步操作不一样,应用程序并不需要主动发起拷贝动作。过

程如下图:

下面这张图,总结了以上几种 I/O 模型:

在前面我们知道了,I/O 是分为两个过程的:

  1. 数据准备的过程
  2. 数据从内核空间拷贝到用户进程缓冲区的过程

阻塞 I/O 会阻塞在「过程 1」和「过程 2」,而非阻塞 I/O 和基于非阻塞 I/O 的多路复用只会阻塞在「过程 2」,所以这三个都可以认为是同步 I/O。

异步 I/O 则不同,「过程 1」和「过程 2」都不会阻塞。

用故事去理解这几种 I/O 模型

举个你去饭堂吃饭的例子,你好比用户程序,饭堂好比操作系统。

阻塞 I/O 好比,你去饭堂吃饭,但是饭堂的菜还没做好,然后你就一直在那里等啊等,等了好长一段时间终于等到饭堂阿姨把菜端了出来(数据准备的过程),但是你还得继续等阿姨把菜(内核空间)打到你的

饭盒里(用户空间),经历完这两个过程,你才可以离开。

非阻塞 I/O 好比,你去了饭堂,问阿姨菜做好了没有,阿姨告诉你没,你就离开了,过几十分钟,你又来饭堂问阿姨,阿姨说做好了,于是阿姨帮你把菜打到你的饭盒里,这个过程你是得等待的。

全站分卷索引 · 208 卷
  1. 1勘误事宜
  2. 2图灵机的工作方式
  3. 3冯诺依曼模型
  4. 4内存
  5. 5总线
  6. 6程序执行的基本过程
  7. 7a = 1 + 2 执行具体过程
  8. 8指令
  9. 9指令的类型
  10. 10指令的执行速度
  11. 11总结
  12. 12关注作者
  13. 13存储器的层次结构
  14. 14寄存器
  15. 15L1 高速缓存
  16. 16L2 高速缓存
  17. 17存储器的层次关系
  18. 18存储器之间的实际价格和性能差距
  19. 19总结
  20. 20关注作者
  21. 21CPU Cache 有多快?
  22. 22CPU Cache 的数据结构和读取过程是什么样的?
  23. 23如何写出让 CPU 跑得更快的代码?
  24. 24如何提升指令缓存的命中率?
  25. 25如果提升多核 CPU 的缓存命中率?
  26. 26总结
  27. 271.4 CPU 缓存一致性
  28. 28CPU Cache 的数据写入
  29. 29写直达
  30. 30写回
  31. 31缓存一致性问题
  32. 32总线嗅探
  33. 33总结
  34. 34关注作者
  35. 351.5 CPU 是如何执行任务的?
  36. 36CPU 如何读写数据的?
  37. 37分析伪共享的问题
  38. 38避免伪共享的方法
  39. 39CPU 如何选择线程的?
  40. 40调度类
  41. 41CPU 运行队列
  42. 42调整优先级
  43. 43总结
  44. 441.6 软中断
  45. 45中断是什么?
  46. 46系统里有哪些软中断?
  47. 47如何定位软中断 CPU 使用率过高的问题?
  48. 48总结
  49. 49关注作者
  50. 501.7 为什么 0.1 + 0.2 不等于 0.3 ?
  51. 51十进制小数与二进制的转换
  52. 52计算机是怎么存小数的?
  53. 530.1 + 0.2 == 0.3 ?
  54. 54总结
  55. 55二、操作系统结构
  56. 56Linux 的设计
  57. 57SMP
  58. 58Monolithic Kernel
  59. 59Windows 设计
  60. 60总结
  61. 61关注作者
  62. 62虚拟内存
  63. 63内存分段
  64. 64内存分页
  65. 65多级页表
  66. 66TLB
  67. 67段页式内存管理
  68. 68Linux 内存管理
  69. 69总总结结
  70. 70四、进程与线程
  71. 71进程
  72. 72进程的状态
  73. 73进程的控制结构
  74. 74进程的控制
  75. 75进程的上下文切换
  76. 76线程
  77. 77什么是线程?
  78. 78线程与进程的比较
  79. 79线程的实现
  80. 80调度
  81. 81调度原则
  82. 82调度算法
  83. 83关注作者
  84. 84管道
  85. 85消息队列
  86. 86信号量
  87. 87信号
  88. 88Socket
  89. 89总结
  90. 90关注作者
  91. 914.3 多线程同步
  92. 92竞争与协作
  93. 93互斥的概念
  94. 94同步的概念
  95. 95互斥与同步的实现和使用
  96. 96锁
  97. 97信号量
  98. 98生产者-消费者问题
  99. 99经典同步问题
  100. 100哲学家就餐问题
  101. 101读者-写者问题
  102. 102关注作者
  103. 1034.4 死锁
  104. 104持有并等待条件
  105. 105环路等待条件
  106. 106利用工具排查死锁问题
  107. 107避免死锁问题的发生
  108. 108总结
  109. 1094.5 悲观锁与乐观锁
  110. 110互斥锁与自旋锁:谁更轻松自如?
  111. 111读写锁:读和写还有优先级区分?
  112. 112乐观锁与悲观锁:做事的心态有何不同?
  113. 113总结
  114. 114五、调度算法
  115. 115进程调度算法
  116. 116先来先服务调度算法
  117. 117最短作业优先调度算法
  118. 118时间片轮转调度算法
  119. 119最高优先级调度算法
  120. 120内存页面置换算法
  121. 121最佳页面置换算法
  122. 122最近最久未使用的置换算法
  123. 123时钟页面置换算法
  124. 124最不常用算法
  125. 125先来先服务
  126. 126扫描算法
  127. 127循环扫描算法
  128. 128LOOK 与 C-LOOK算法
  129. 129关注作者
  130. 130六、 文件系统
  131. 131文件系统的基本组成
  132. 132虚拟文件系统
  133. 133文件的使用
  134. 134文件的存储
  135. 135非连续空间存放方式
  136. 136Unix 文件的实现方式
  137. 137空闲空间管理
  138. 138空闲链表法
  139. 139位图法
  140. 140目录的存储
  141. 141软链接和硬链接
  142. 142文件 I/O
  143. 143直接与非直接 I/O
  144. 144关注作者
  145. 1457.1 键盘敲入A 字母时,操作系统期间发生了什么?
  146. 146I/O 控制方式
  147. 147设备驱动程序
  148. 148通用块层
  149. 149存储系统 I/O 软件分层
  150. 150键盘敲入字母时,期间发生了什么?
  151. 151关注作者
  152. 152Linux 网络协议栈
  153. 153Linux 接收网络包的流程
  154. 154Linux 发送网络包的流程
  155. 1558.2 零拷贝
  156. 156为什么要有 DMA 技术?
  157. 157传统的文件传输有多糟糕?
  158. 158如何优化文件传输的性能?
  159. 159如何实现零拷贝?
  160. 160sendfile
  161. 161使用零拷贝技术的项目
  162. 162PageCache 有什么作用?
  163. 163大文件传输用什么方式实现?
  164. 164总结
  165. 1658.3 I/O 多路复用:select/poll/epoll
  166. 166最基本的 Socket 模型
  167. 167如何服务更多的用户?
  168. 168多进程模型
  169. 169多线程模型
  170. 170I/O 多路复用
  171. 171select/poll
  172. 172epoll
  173. 173总结
  174. 174关注作者
  175. 175演进
  176. 176Reactor
  177. 177单 Reactor 多线程 / 多进程
  178. 178多 Reactor 多进程 / 线程
  179. 179Proactor
  180. 180总结
  181. 181关注作者
  182. 182九、Linux 命令
  183. 183性能指标有哪些?
  184. 184网络配置如何看?
  185. 185socket 信息如何查看?
  186. 186网络吞吐率和 PPS 如何查看?
  187. 187连通性和延时如何查看?
  188. 188关注作者
  189. 189别急着开始
  190. 190慎用 cat
  191. 191PV 分析
  192. 192UV 分析
  193. 193UV 分组
  194. 194终端分析
  195. 195分析 TOP3 的请求
  196. 196关注作者
  197. 197十、学习心得
  198. 19810.1 计算机网络怎么学?
  199. 199入门系列
  200. 200深入学习系列
  201. 201实战系列
  202. 202最后
  203. 20310.2 操作系统怎么学?
  204. 204入门系列
  205. 205深入学习系列
  206. 206最后
  207. 207十一、画图经验
  208. 208赞赏支持