阿里云 云存儲網關緩存工作原理,阿里云云存儲網關

阿里云 云存儲網關緩存工作原理

前言

云存儲網關支持通過傳統的文件協議(SMB/NFS)來訪問OSS Bucket里面的數據，并能夠通過緩存技術將用戶頻繁訪問的熱點數據保留在網關側的緩存盤里，從而提供給用戶更好的訪問體驗。使得用戶在享受云上海量OSS存儲空間的同時，還兼具本地的高速訪問性能。下面是阿里云文件網關的架構圖。

用戶在使用阿里云云存儲網關時，經常會碰到一些緩存相關的問題，比如在創建共享時如何選擇緩存盤的容量和類型，比如緩存的數據淘汰策略是什么等。本文接下來的內容將結合緩存盤的工作原理來解開這些困惑。云存儲網關根據支持的協議的不同，分為支持NFS/SMB文件協議的文件網關和支持iSCSI協議的塊網關。它們兩者的緩存工作機制是不一樣的，本文主要針對的文件網關。

工作原理

文件網關支持緩存模式和復制模式兩種模式，絕大部分用戶使用的應該都是緩存模式。緩存模式是指緩存盤的數據到一定比例之后，文件網關會自動淘汰那些訪問不頻繁的數據。在這種模式下，固定容量的緩存盤可以管理遠遠大于緩存盤實際容量的OSS Bucket。復制模式則不同，數據在網關側和OSS Bucket里面是1:1的，所以網關不會去做數據的淘汰，一定容量的緩存盤理論上只能管理對應于緩存盤容量的OSS Bucket。復制模式針對的場景主要是OSS Bucket總數據量基本不會增長且總數據量不是特別大，同時希望將所有數據都保持在網關共享里加速訪問。不過這種場景畢竟在少數，絕大多數用戶會選擇緩存模式以應對日后OSS Bucket里面的數據增長。

在緩存模式下，緩存盤的數據會在60%滿的時候觸發淘汰直到實際數據量落到60%以下，從而保證永遠有足夠的緩存容量面對新的數據寫入。那么淘汰的策略是如何的呢，如何決定哪些數據是可以淘汰的呢文件網關淘汰的實際上是已經同步到OSS Bucket里面的文件，也就是說對某個文件的最后一次修改應用到網關的SMB或者NFS共享之后，并且網關已經將這個文件上傳到OSS Bucket里面，那么這個文件就是可以淘汰的。如果用戶還在持續的對某個文件進行寫入，這個文件是不會被選為一個淘汰的對象的。所以用戶如果同時打開多個文件進行寫入，緩存盤的容量就應該比同時在寫的所有文件的總容量要大，否則就有可能導致數據來不及淘汰而造成寫入錯誤

在復制模式下，因為數據不會發生淘汰，相對來說就簡單很多。緩存盤的容量比OSS Bucket里面的總數據大就可以，這種模式注定它不可能管理特別大的數據量，因為當前支持的緩存盤的最大容量32TB。所以除非對復制模式有強需求，還是推薦使用緩存模式，相對來說更加靈活。

另外文件網關會預留一部分緩存盤空間存儲元數據，一般會預留20%。這部分元數據主要是用來存儲單個文件的元數據，包括大小，修改時間等等。所以即使某個文件的數據被淘汰之后，網關還是存儲了一個樁文件在元數據里，這樣用戶從客戶端進行文件夾瀏覽的時候，還是能夠看到數據被淘汰掉的這個文件，給用戶一致的體驗。用戶如果試圖讀取這個文件內容，網關會負責將數據再次從OSS Bucket里獲取到緩存盤里面。這部分元數據空間關系到當前共享可以支持的最大文件數目，畢竟40GB的緩存盤的元數據空間肯定低于50GB的緩存盤的元數據空間。一般來說100G的緩存盤已經可以支持到1000萬文件了。

注意事項

了解緩存的工作原理之后，下面這些其實都比較好理解了。

如果你的業務對帶寬和IOPS的要求比較高，比如跑的數據庫之類的對時延要求比較高的業務，那么可能SSD類型的緩存盤更適合，因為它擁有更好的帶寬和IOPS。SSD類型的緩存盤的帶寬和IOPS都會比高效云盤更優秀，SSD緩存的最高IOPS可以到25000，高效云盤緩存是5000，帶寬方面SSD緩存最高可以到300MB，高效云盤緩存的帶寬最高可以到140MB。

容量的選擇主要和并發數和最大文件大小有關。緩存盤的可用容量(需要扣除元數據空間)需要大于并發數和最大文件大小的乘積，這樣才不會造成數據寫入錯誤。當然越大的緩存盤本地能夠緩存的熱數據量也就越多，總體來說性能會更好。所以如果希望能夠獲得比較好的性能，緩存盤還是要設置的稍微大一些。

云存儲網關的控制臺現在也提供了非常方便的計算器，根據用戶輸入的IOPS和帶寬需求等可以作出合適的緩存容量和類型的推薦。結合我們前面講的對照看下圖中每一個條目，相信很好理解。

小結

本文介紹了云存儲網關文件網關的緩存工作原理，包括緩存盤元數據空間管理，數據淘汰策略等，旨在解答用戶在選擇和使用緩存盤時遇到的一些問題。

特別聲明：以上文章內容僅代表作者本人觀點，不代表ESG跨境電商觀點或立場。如有關于作品內容、版權或其它問題請于作品發表后的30日內與ESG跨境電商聯系。