分散式系统简介.ppt

分散式系統簡介分散式系統簡介 第十八章 分散式檔案系統1中正資工中正資工 即時系統實驗室即時系統實驗室 第十八章第十八章 分散式檔案系統分散式檔案系統系統設計檔案服務介面目錄服務介面 命名通透檔案共享系統實作快取檔案複製摘要2中正資工中正資工 即時系統實驗室即時系統實驗室 系統設計系統設計分散式檔案系統的重點就是將各部電腦的儲存裝置整合在一起分散式檔案系統架構中有兩個重要的概念檔案服務檔案伺服器分散式檔案系統必須讓使用者感覺上是在使用傳統的集中式檔案系統典型的分散式檔案系統服務可以分為兩部份檔案服務目錄服務3中正資工中正資工 即時系統實驗室即時系統實驗室 檔案服務介面檔案服務介面分散式檔案系統是使用存取控制清單來記錄所有可以使用此檔案的使用者檔案服務可分為上兩類傳下載模式，系統只提供讀取檔案和寫入檔案 遠端存取模式，伺服端提供大量的檔案操作功能4中正資工中正資工 即時系統實驗室即時系統實驗室 上傳下載與遠端存取模式上傳下載與遠端存取模式示意圖示意圖檔案檔案當客戶端確定寫入檔案時，檔案才回傳給伺服端檔案傳到客戶端客戶端伺服端(a)上傳下載模式所有修改動作皆在客戶端完成(b)遠端存取模式檔案伺服端客戶端修改檔案是藉由大量的操作訊息通知伺服端，由伺服端代為完成5中正資工中正資工 即時系統實驗室即時系統實驗室 目錄服務介面目錄服務介面目錄服務介面主要是提供建立與刪除目錄、檔案命名與改名、檔案搬移等功能集中式檔案系統中的目錄介面可在目錄下建立子目錄而形成樹狀結構在分散式環境下檔案很可能分散在不同電腦上，所以分散式檔案系統的目錄結構又更為複雜 6中正資工中正資工 即時系統實驗室即時系統實驗室 集中式檔案系統與分散式檔集中式檔案系統與分散式檔案系統案系統示意圖示意圖ABCDE12110(a)集中式檔案系統(b)分散式檔案系統ABCDE伺服器 伺服器 計數器7中正資工中正資工 即時系統實驗室即時系統實驗室 目錄服務介面目錄服務介面(續續)是否要讓所有客戶端都看到相同的目錄結構是設計分散式目錄服務時一個重要議題基本上有兩種做法一種做法是讓客戶端看到相同的目錄結構另一種做法是讓客戶端看到不同的目錄結構 8中正資工中正資工 即時系統實驗室即時系統實驗室 分散式目錄服務分散式目錄服務示意圖示意圖檔案伺服器1客戶端1客戶端1(c)顯示不同的目錄結構 ABCDEFGABCDEFGABCDEFGABCDEFGABCD客戶端2客戶端2EFG檔案伺服器2(a)兩部檔案伺服器(b)顯示相同的目錄結構 根目錄根目錄根目錄根目錄9中正資工中正資工 即時系統實驗室即時系統實驗室 命名通透性命名通透性命名通透性就是檔案的命名（包含路徑）是否會影響檔案系統的設計分散式檔案系統中設計目錄結構有以下二種考量位置通透性檔案路徑並不會顯示出檔案伺服器的實際位置位置獨立性當檔案實際所在位置搬移時，不必更改檔案路徑也可以使用原本的檔案 10中正資工中正資工 即時系統實驗室即時系統實驗室 命名通透性命名通透性(續續)在分散式檔案系統中實作檔案和目錄命名有三種常用的方法掛載遠端檔案系統到本地端檔案目錄結構中電腦名稱加上路徑名稱 系統將所有資源整合起來，使用統一的目錄結構，讓所有電腦看到的會是相同的目錄結構11中正資工中正資工 即時系統實驗室即時系統實驗室 檔案共享檔案共享集中式檔案系統中允許檔案共享，並且利用檔案指標來達成分散式檔案系統只要客戶端沒有檔案快取的機制、並且將檔案的操作都集中到同一部伺服器中處理，就可模擬成集中式檔案系統的操作方式12中正資工中正資工 即時系統實驗室即時系統實驗室 檔案共享檔案共享(續續)在分散式檔案系統中，對於檔案共享問題所提出的幾種解決方法UNIX 語意Session 語意Immutable 語意不可分割交易13中正資工中正資工 即時系統實驗室即時系統實驗室 集中式與分散式檔案系統集中式與分散式檔案系統示意圖示意圖(b)分散式檔案系統1.讀取de3.讀取dededefg行程1.寫入f2.寫入g3.讀取defg原始的檔案defg2.寫入defg客戶端1de檔案伺服器de客戶端2(a)集中式檔案系統14中正資工中正資工 即時系統實驗室即時系統實驗室 第十八章第十八章 分散式檔案系統分散式檔案系統系統設計系統實作檔案與目錄結構服務形式 快取檔案複製摘要15中正資工中正資工 即時系統實驗室即時系統實驗室 系統實作系統實作在實作分散式檔案系統時，必需考慮以下的問題檔案目錄架構服務形式快取檔案取代檔案一致性16中正資工中正資工 即時系統實驗室即時系統實驗室 檔案與目錄結構檔案與目錄結構解決檔案與目錄結構的有兩種做方將檔案服務和目錄服務整合在一起，由單一個伺服器作檔案及目錄服務，所有使用者都與這個伺服器溝通 檔案服務與目錄服務分開在不同的伺服器，當有檔案操作的要求時，先跟提供目錄服務的伺服器查詢，再利用這個編號資料跟檔案伺服器溝通17中正資工中正資工 即時系統實驗室即時系統實驗室 檔案與目錄結構檔案與目錄結構(續續)系統如果是使用目錄服務與檔案服務分開的做法，系統可以有二種做法查詢的方式反覆查詢的方式 動查詢的方式系統採用快取的機制，把最近查詢的檔案資訊儲存在快取中，之後如有對相同檔案的操作，即可馬上回應檔案資訊18中正資工中正資工 即時系統實驗室即時系統實驗室 反覆與主動查詢方式反覆與主動查詢方式示意圖示意圖客戶端/目錄伺服器客戶端/目錄伺服器查詢/g.txt回應/B/C/查詢/C/g.txt回應檔案資訊回應檔案資訊(a)反覆查詢方式(b)主動查詢方式 查詢/B/C/g.txt查詢/g.txt19中正資工中正資工 即時系統實驗室即時系統實驗室 服務形式服務形式檔案服務可分為兩類具備狀態服務不具狀態服務具備狀態服務的優點與不具狀態服務的比較表具備狀態服務的優點具備狀態服務的優點不具狀態服務的優點不具狀態服務的優點檔案操作訊息較短容錯能力較佳系統效能較佳不需特殊的開檔和關檔可預讀資訊伺服器不用維護狀態紀錄如一的操作較容易達成可開檔案數目無限可將檔案上鎖客戶端當機不影響系統運作20中正資工中正資工 即時系統實驗室即時系統實驗室 第十八章第十八章 分散式檔案系統分散式檔案系統系統設計系統實作快取快取機制快取一致性 檔案複製摘要21中正資工中正資工 即時系統實驗室即時系統實驗室 快取快取傳統的集中式檔案系統中，採用快取是為了降低磁碟 I/O 次數，以此達到提昇系統效能的目的分散式檔案系統中，採用快取主要是降低網路傳輸的負擔 22中正資工中正資工 即時系統實驗室即時系統實驗室 快取機制快取機制快取的基本想法是將伺服器或客戶端的主記憶體或是客戶端磁碟當成快取，把最近使用過的檔案存入 使用快取降低伺服器的磁碟 I/O 次數和網路傳輸的負擔 客戶端和伺服端較常採用主記憶體當作快取主記憶體快取會比磁碟快取有效率得多。使用主記憶體當快取，客戶端就可以不需要磁碟伺服端用主記憶體當快取可減少磁碟 I/O 次數23中正資工中正資工 即時系統實驗室即時系統實驗室 客戶端伺服器的架構客戶端伺服器的架構伺服器主記憶體伺服器磁碟客戶端主記憶體客戶端磁碟（選擇性的）網路24中正資工中正資工 即時系統實驗室即時系統實驗室 快取機制快取機制(續續)採用快取有二個衍生的問題必須解決 快取的基本單位是什麼如何處理快取被填滿的問題 25中正資工中正資工 即時系統實驗室即時系統實驗室 快取一致性快取一致性處理快取一致性的問題大致有四種方法中控伺服端統一處理同步的問題關寫關檔時才傳送更新訊息給伺服端 延寫延遲傳送更新訊息給伺服端 寫穿每次寫檔立即傳送更新訊息給伺服端26中正資工中正資工 即時系統實驗室即時系統實驗室 第十八章第十八章 分散式檔案系統分散式檔案系統系統設計系統實作快取檔案複製基本概念複製方法 摘要27中正資工中正資工 即時系統實驗室即時系統實驗室 檔案複製檔案複製檔案複製功能可以增加分散式系統的可靠性系統效能 雖然系統必須提供更多的儲存空間來存放這些多餘的檔案複本，但是在許多的分散式系統中仍會提供檔案複製的功能 28中正資工中正資工 即時系統實驗室即時系統實驗室 基本概念基本概念提供檔案複製的服務主要理由如下複製檔案到不同電腦存放可以增加系統的可靠性系統中若某部檔案伺服器毀損，因檔案已經備份到另一部檔案伺服器，所以程式仍然能使用檔案可以分擔檔案伺服器的負擔檔案複製的服務可增加系統的可靠性及系統效能 29中正資工中正資工 即時系統實驗室即時系統實驗室 複製方法複製方法有三種處理檔案複製的方法程式自行處理檔案複製 延遲式的檔案複製 利用群組的方式達到檔案複製功能檔案複製時，目錄伺服器會記錄檔案在各個伺服器上取得的檔案識別代號，讓客戶端或系統知道這些檔案被複製到什麼地方30中正資工中正資工 即時系統實驗室即時系統實驗室 各種檔案複製形式與目錄伺服各種檔案複製形式與目錄伺服器上的複製檔案識別代號表器上的複製檔案識別代號表 FS1FS2FS3客戶端檔案伺服器(a)客戶端式的檔案複製FS1FS2FS3客戶端檔案伺服器(b)延遲式的檔案複製31中正資工中正資工 即時系統實驗室即時系統實驗室 各種檔案複製形式與目錄伺服各種檔案複製形式與目錄伺服器上的複製檔案識別代號表器上的複製檔案識別代號表FS1FS2FS3客戶端群組(c)群組式的檔案複製dis.txtpda.txt1.331.521.221.873.224.11檔案名稱檔案識別代號FS1 FS2 FS3(d)目錄伺服器32中正資工中正資工 即時系統實驗室即時系統實驗室 第十八章第十八章 分散式檔案系統分散式檔案系統系統實作快取檔案複製摘要33中正資工中正資工 即時系統實驗室即時系統實驗室 摘要摘要分散式檔案系統能讓多使用者共享網路上的儲存裝置，並對這些儲存裝置作有效的管理檔案共享是檔案系統所提供的一個重要功能，但是這個功能會引發一致性的問題，目前有幾個解決方法 UNIX 語意session 語意immutable 語意不可分割交易34中正資工中正資工 即時系統實驗室即時系統實驗室 摘要摘要(續續)實作分散式系統時必須考量的議題檔案系統要使用具備狀態服務還是不具狀態服務系統是否採用快取採用快取，則需要解決快取所引發的問題中控關寫延寫寫穿35中正資工中正資工 即時系統實驗室即時系統實驗室 摘要摘要(續續)檔案複製的功能有三種處理方法客戶端式延遲式群組式36