《Unix/Linux系统编程》第十二章学习笔记
2021/11/20 7:11:55
本文主要是介绍《Unix/Linux系统编程》第十二章学习笔记,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
第十二章 块设备I/O和缓冲区管理
知识点总结
本章讨论了块设备 I/O和缓冲区管理;解释了块设备I/O的原理和I/O缓冲的优点;论述了Unix 的缓冲区管理算法,并指出了其不足之处;还利用信号量设计了新的缓冲区管理算法,以提高 I/O缓冲区的缓存效率和性能;表明了简单的PV算法易于实现,缓存效果好,不存在死锁和饥饿问题;还提出了一个比较 Unix 缓冲区管理算法和 PV算法性能的编程方案。编程项目还可以帮助读者更好地理解文件系统中的I/O操作。
块设备I/O缓冲区
I/O缓冲的基本原理非常简单。文件系统使用一系列I/O缓冲区作为块设备的缓存内存。当进程试图读取(dev,blk)标识的磁盘块时。它首先在缓冲区缓存中搜索分配给磁盘块的缓冲区。如果该缓冲区存在并且包含有效数据、那么它只需从缓冲区中读取数据、而无须再次从磁盘中读取数据块。如果该缓冲区不存在,它会为磁盘块分配一个缓冲区,将数据从磁盘读人缓冲区,然后从缓冲区读取数据。当某个块被读入时、该缓冲区将被保存在缓冲区缓存中,以供任意进程对同一个块的下一次读/写请求使用。同样,当进程写入磁盘块时,它首先会获取一个分配给该块的缓冲区。然后,它将数据写入缓冲区,将缓冲区标记为脏,以延迟写入,并将其释放到缓冲区缓存中。由于脏缓冲区包含有效的数据,因此可以使用它来满足对同一块的后续读/写请求,而不会引起实际磁盘I/O。脏缓冲区只有在被重新分配到不同的块时才会写人磁盘。
Unix I/O缓冲区管理算法
I/O缓冲区:内核中的一系列NBUF 缓冲区用作缓冲区缓存。每个缓冲区用一个结构体表示。
typdef struct buf[ struct buf*next__free;// freelist pointer struct buf *next__dev;// dev_list pointer int dev.,blk; // assigmed disk block;int opcode; // READ|wRITE int dirty; // buffer data modified int async; // ASYNC write flag int valid; //buffer data valid int buay; // buffer is in use int wanted; // some process needs this buffer struct semaphore lock=1; / // buffer locking semaphore; value=1 struct semaphore iodone=0;// for process to wait for I/0 completion;// block data area char buf[BLKSIZE];) } BUFFER; BUFFER buf[NBUF],*freelist;// NBUF buffers and free buffer list
设备表:每个块设备用一个设备表结构表示。
struct devtab{ u16 dev; // major device number // device buffer list BUFFER *dev_list;BUFFER*io_queue // device I/0 queue ) devtab[NDEV];
Unix算法的优点:1.数据的一致性;2.缓存效果;3.临界区;
Unix算法的缺点:1.效率低下;2.缓存效果不可预知;3.可能会出现饥饿;4.该算法使用只适用于单处理系统的休眠/唤醒操作。
PV算法:
BUFFER *getb1k(dev,blk): while(1){ (1). P(free); //get a free buffer first if (bp in dev_1ist){ (2). if (bp not BUSY){ remove bp from freelist;P(bp); // lock bp but does not wait (3).return bp; // bp in cache but BUSY V(free); // give up the free buffer (4).P(bp); // wait in bp queue return bp;v // bp not in cache,try to create a bp=(dev,blk) (5).bp = frist buffer taken out of freelist;P(bp); // lock bp,no wait (6).if(bp dirty){ awzite(bp); // write bp out ASYNC,no wait continue; // continue from (1) (7).reassign bp to(dev,blk);1/ mark bp data invalid,not dir return bp;- // end of while(1); brelse(BUFFER *bp), { (8).iF (bp queue has waiter)( V(bp); return; ] (9).if(bp dirty && free queue has waiter){ awrite(bp);zeturn;}(10).enter bp into(tail of) freelist;V(bp);V(free); }
新的I/O缓冲区管理算法
- 信号量的主要优点是:
(1)计数信号量可用来表示可用资源的数量,例如:空闲缓冲区的数量。
(2)当多个进程等待一个资源时,信号量上的V操作只会释放一个等待进程,该进程不必重试,因为它保证拥有资源。
Box#1:用户界面﹐这是模拟系统的用户界面部分,提示输人命令、显示命令执行、显示系统状态和执行结果等。在开发过程中,可以手动输入命令来执行任务。在最后测试过程中,任务应该有自己的输入命令序列 - Box#2:多任务处理系统的CPU端,模拟单处理器(单CPU)文件系统的内核模式。当系统启动时,它会创建并运行一个优先级最低的主任务,但它会创建ntask工作任务,所有任务的优先级都是1,并将它们输人readyQueue。然后,主任务执行以下代码,该代码将任务切换为从readyQueue运行工作任务。
- Box#3:磁盘控制器,它是主进程的一个子进程。因此,它与CPU端独立运行,除了它们之间的通信通道,通信通道是CPU和磁盘控制器之间的接口。通信通道由主进程和子进程之间的管道实现。
- 磁盘中断:从磁盘控制器到CPU的中断由SIGUSR1(#10)信号实现。在每次IO操作结束时,磁盘控制器会发出 kill(ppid, SIGUSR1)系统调用,向父进程发送SIGUSR1信号,充当虚拟CPU中断。通常,虚拟CPU会在临界区屏蔽出/人磁盘中断(信号)。为防止竞态条件,磁盘控制器必须要从CPU接收一个中断确认,才能再次中断。
- 虚拟磁盘:Box#4:Linux文件模拟的虚拟磁盘。使用Linux系统调用lseek()、read(和write(),支持虚拟磁盘上的任何块I/O操作。为了简单起见,将磁盘块大小设置为16字节。由于数据内容无关紧要,所以可以将它们设置为16个字符的固定序列。
实践部分
点击查看代码
include <stdio.h> #include <pthread.h> #include <stdlib.h> #include <unistd.h> #define N 100 #define true 1 #define producerNum 10 #define consumerNum 5 #define sleepTime 1000 typedef int semaphore; typedef int item; item buffer[N] = {0}; int in = 0; int out = 0; int proCount = 0; semaphore mutex = 1, empty = N, full = 0, proCmutex = 1; void * producer(void * a){ while(true){ while(proCmutex <= 0); proCmutex--; proCount++; printf("produce a product: ID %d, buffer location:%d\n",proCount,in); proCmutex++; while(empty <= 0){ printf("buffer is full\n"); } empty--; while(mutex <= 0); mutex--; buffer[in] = proCount; in = (in + 1) % N; mutex++; full++; sleep(sleepTime); } } void * consumer(void *b){ while(true){ while(full <= 0){ printf("buffer is empty\n"); } full--; while(mutex <= 0); mutex--; int nextc = buffer[out]; buffer[out] = 0;//消费完将缓冲区设置为0 out = (out + 1) % N; mutex++; empty++; printf("produce a product: ID %d, buffer location:%d\n", nextc,out); sleep(sleepTime); } } int main() { pthread_t threadPool[producerNum+consumerNum]; int i; for(i = 0; i < producerNum; i++){ pthread_t temp; if(pthread_create(&temp, NULL, producer, NULL) == -1){ printf("ERROR, fail to create producer%d\n", i); exit(1); } threadPool[i] = temp; }//创建生产者进程放入线程池 for(i = 0; i < consumerNum; i++){ pthread_t temp; if(pthread_create(&temp, NULL, consumer, NULL) == -1){ printf("ERROR, fail to create consumer%d\n", i); exit(1); } threadPool[i+producerNum] = temp; }//创建消费者进程放入线程池 void * result; for(i = 0; i < producerNum+consumerNum; i++){ if(pthread_join(threadPool[i], &result) == -1){ printf("fail to recollect\n"); exit(1); } }//运行线程池 return 0; }
点击查看代码
#include <stdio.h> #include <stdlib.h> #include <semaphore.h> #include <errno.h> #define total 20 sem_t remain, apple, pear, mutex; static unsigned int vremain = 20, vapple = 0, vpear = 0; void *father(void *); void *mather(void *); void *son(void *); void *daughter(void *); void print_sem(); int main() { pthread_t fa, ma, so, da; sem_init(&remain, 0, total);//总数初始化为20 sem_init(&apple, 0, 0);//盆子中苹果数, 开始为0 sem_init(&pear, 0, 0);//盆子中梨子数, 开始为0 sem_init(&mutex, 0, 1);//互斥锁, 初始为1 pthread_create(&fa, NULL, &father, NULL); pthread_create(&ma, NULL, &mather, NULL); pthread_create(&so, NULL, &son, NULL); pthread_create(&da, NULL, &daughter, NULL); for(;;); } void *father(void *arg) { while(1) { sem_wait(&remain); sem_wait(&mutex); printf("before A: remain=%u, apple_num=%u\n", vremain--, vapple++); printf("after A: remain=%u, apple_num%u\n", vremain, vapple); sem_post(&mutex); sem_post(&apple); sleep(1); } } void *mather(void *arg) { while(1) { sem_wait(&remain); sem_wait(&mutex); printf("before B: remain=%u, pear_num=%u\n", vremain--, vpear++); printf("after B: remain=%u, pear_num%u\n", vremain, vpear); sem_post(&mutex); sem_post(&pear); sleep(2); } } void *son(void *arg) { while(1) { sem_wait(&pear); sem_wait(&mutex); printf("before C: remain=%u, pear_num=%u\n", vremain++, vpear--); printf("after C: remain=%u, pear_num=%u\n", vremain, vpear); sem_post(&mutex); sem_post(&remain); sleep(3); } } void *daughter(void *arg) { while(1) { sem_wait(&apple); sem_wait(&mutex); printf("before D remain=%u, apple_num=%u\n", vremain++, vapple--); printf("after D: remain=%u, apple_num=%u\n", vremain, vapple); sem_post(&mutex); sem_post(&remain); sleep(3); } } void print_sem() { int val1, val2, val3; sem_getvalue(&remain, &val1); sem_getvalue(&apple, &val2); sem_getvalue(&pear, &val3); printf("Semaphore: remain:%d, apple:%d, pear:%d\n", val1, val2, val3); }
问:setbuf()函数和setvbuf()函数的区别是什么?
答:setbuf()和setvbuf()函数的实际意义在于:用户打开一个文件后,可以建立自己的文件缓冲区,而不必使用fopen()函数打开文件时设定的默认缓冲区。这样就可以让用户自己来控制缓冲区,包括改变缓冲区大小、定时刷新缓冲区、改变缓冲区类型、删除流中默认的缓冲区、为不带缓冲区的流开辟缓冲区等。
https://www.jb51.net/article/71720.htm
这篇关于《Unix/Linux系统编程》第十二章学习笔记的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-09-11Linux部署Scrapy学习:入门级指南
- 2024-09-11Linux部署Scrapy:入门级指南
- 2024-08-21【Linux】分区向左扩容的方法
- 2024-08-21【Linux】gnome桌面环境切换KDE Plasma
- 2024-08-19如何安装 VMware Tools (macOS, Linux, Windows)
- 2024-08-15Linux部署Scrapy教程:入门级指南
- 2024-07-29linux命令行下好用的性能监控工具atop
- 2024-07-04Linux系统上离线升级SSH服务的具体操作步骤-icode9专业技术文章分享
- 2024-06-0600-macOS和Linux安装和管理多个Python版本
- 2024-03-30[译]漫画SELinux概念