前段時間在開發(fā)一個使用SSD做緩存的系統(tǒng)，在高速寫入數(shù)據(jù)時會出現(xiàn)大量的磁盤緩存。太多的磁盤緩存如果沒有及時的寫入磁盤中，在機器出現(xiàn)問題時是非常危險的，這樣會導致很多的數(shù)據(jù)丟失，但是如果實時的將數(shù)據(jù)刷入磁盤中，這樣寫入效率有太低了。為了弄明白Linux系統(tǒng)的這種磁盤寫入特性，最近深入的學習了一下。 VFS(Virtual File System)的存在使得Linux可以兼容不同的文件系統(tǒng)，例如ext3、ext4、xfs、ntfs等等，其不僅具有為所有的文件系統(tǒng)實現(xiàn)一個通用的外接口的作用，還具有另一個與系統(tǒng)性能相關的重要作用——緩存。VFS中引入了高速磁盤緩存的機制，這屬于一種軟件機制，允許內(nèi)核將原本存在磁盤上的某些信息保存在RAM中，以便對這些數(shù)據(jù)的進一步訪問能快速進行，而不必慢速訪問磁盤本身。高速磁盤緩存可大致分為以下三種：
目錄項高速緩存——主要存放的是描述文件系統(tǒng)路徑名的目錄項對象
索引節(jié)點高速緩存——主要存放的是描述磁盤索引節(jié)點的索引節(jié)點對象
頁高速緩存——主要存放的是完整的數(shù)據(jù)頁對象，每個頁所包含的數(shù)據(jù)一定屬于某個文件，同時，所有的文件讀寫操作都依賴于頁高速緩存。其是Linux內(nèi)核所使用的主要磁盤高速緩存。 正是由于緩存的引入，所以VFS文件系統(tǒng)采用了文件數(shù)據(jù)延遲寫的技術，因此，如果在調(diào)用系統(tǒng)接口寫入數(shù)據(jù)時沒有使用同步寫模式，那么大多數(shù)據(jù)將會先保存在緩存中，待等到滿足某些條件時才將數(shù)據(jù)刷入磁盤里。
內(nèi)核是如何將數(shù)據(jù)刷入磁盤的呢?在看完以下兩點后就能得到答案。
1. 把臟頁寫入磁盤 正如我們所了解的，內(nèi)核不斷用包含塊設備數(shù)據(jù)的頁填充頁高速緩存。只要進程修改了數(shù)據(jù)，相應的頁就被標記為臟頁，即把它的PG_dirty標志位置。 Unix系統(tǒng)允許把臟緩沖區(qū)寫入塊設備的操作延遲執(zhí)行，因為這種策略可以顯著地提高系統(tǒng)的性能。對高速緩存中的頁的幾次寫操作可能只需對相應的磁盤塊進行一次緩慢的物理更新就可以滿足。此外，寫操作沒有讀操作那么緊迫，因為進程通常是不會因為延遲寫而掛起，而大部分情況都因為延遲讀而掛起。正是由于延遲寫，使得任一物理塊設備平均為讀請求提供服務將多于寫請求。一個臟頁可能直到最后一刻(即直到系統(tǒng)關閉時)都一直逗留在主存中。然而，從延遲寫策略的局限性來看，它有兩個主要的缺點： 一、如果發(fā)生了硬件錯誤或者電源掉電的情況，那么就無法再獲得RAM的內(nèi)容，因此，從系統(tǒng)啟動以來對文件進行的很多修改就丟失了。 二、頁高速緩存的大小(由此存放它所需的RAM的大小)就可要很大——至少要與所訪問塊設備的大小不同。因此，在下列條件下把臟頁刷新(寫入)到磁盤：
頁高速緩存變得太滿，但還需要更多的頁，或者臟頁的數(shù)量已經(jīng)太多。
自從頁變成臟頁以來已過去太長時間。
進程請求對塊設備或者特定文件任何待定的變化都進行刷新。通過調(diào)用sync()、fsync()或者fdatasync()系統(tǒng)調(diào)用來實現(xiàn)。 緩沖區(qū)頁的引入是問題更加復雜。與每個緩沖區(qū)頁相關的緩沖區(qū)首部使內(nèi)核能夠了解每個獨立塊緩沖區(qū)的狀態(tài)。如果至少有一個緩沖區(qū)首部的PG_Dirty標志被置位，就應該設置相應緩沖區(qū)頁的PG_dirty標志。當內(nèi)核選擇要刷新的緩沖區(qū)時，它掃描相應的緩沖區(qū)首部，并只把臟塊的內(nèi)容有效的寫到磁盤。一旦內(nèi)核把緩沖區(qū)的所有臟頁刷新到磁盤，就把頁的PG_dirty標志清0。
2. pdflush內(nèi)核線程 早期版本的Linux使用bdfllush內(nèi)核線程系統(tǒng)地掃描頁高速緩存以搜索要刷新的臟頁，并且使用另一個內(nèi)核線程kupdate來保證所有的頁不會“臟”太長時間。Linux 2.6用一組通用內(nèi)核線程pdflush替代上述兩個線程。這些內(nèi)核線程結構靈活，它們作用于兩個參數(shù)：一個指向線程要執(zhí)行的函數(shù)的指針和一個函數(shù)要用的參數(shù)。系統(tǒng)中pdflush內(nèi)核線程的數(shù)量是要動態(tài)調(diào)整的：pdflush線程太少時就創(chuàng)建，太多時就殺死。因為這些內(nèi)核線程所執(zhí)行的函數(shù)可以阻塞，所以創(chuàng)建多個而不是一個pdflush內(nèi)核線程可以改善系統(tǒng)性能。根據(jù)下面的原則控制pdflush線程的產(chǎn)生和消亡：
必須有至少兩個，最多八個pdflush內(nèi)核線程
如果到最近的1s期間沒有空閑pdflush，就應該創(chuàng)建新的pdflush線程
如果最近一次pdflush變?yōu)榭臻e的時間超過了1s，就應該刪除一個pdflush線程 所有的pdflush內(nèi)核線程都有pdflush_work描述符，其數(shù)據(jù)結構如下：
類型字段說明
struct task_structwho指向內(nèi)核線程描述符的指針
void (*) (unsigned long)fn內(nèi)核線程所執(zhí)行的回調(diào)函數(shù)
unsigned longarg0給回調(diào)函數(shù)的參數(shù)
struct list headlistpdflush_list鏈表的鏈接
unsigned longwhen_i_went_to_sleep當內(nèi)核線程可用時的時間(以jiffies表示)