Lustre (system plików)
Lustre – klastrowy system plików używany aktualnie jedynie na platformach Linux, oparty na sieciach skupiających kilkadziesiąt tysięcy węzłów, udostępniających petabajty danych z prędkością rzędu 100 GB/s. Lustre bywa nazywany obiektowym systemem plików, gdyż dane zapisuje w postaci obiektów.
System plików Lustre został opracowany w 2001 roku i jest stosowany w środowisku superkomputerów, gdzie pozwala współużytkować pliki tysiącom różnych maszyn. Rozwiązanie pracuje w podobny sposób, jak inne, firmowe systemy plików zaprojektowane przez IBM (General Parallel File System) i Silicon Graphics (CXFS). Lustre jest aktywnie rozwijanym systemem plików. Powstał dzięki firmie HP, mimo to projekt został przekazany na licencji Open Source. Lustre posiada doskonałą dokumentację opisującą pełne możliwości tego systemu. Do konfiguracji i logowania wykorzystuje standardy LDAP i XML.
Lustre jest systemem plikowym, w którym przechowywane dane traktowane są jak obiekty. Obiektami systemu plików są pliki i katalogi. Właściwości, czyli metadane tych obiektów (rozmiar, czas utworzenia, wskaźniki dowiązań symbolicznych czy flagi rezerwowe), przechowywane są na serwerach metadanych (MDS). Metadane przechowywane są oddzielnie w stosunku do rzeczywistej zawartości obiektów. Serwery MDS obsługują tworzenie plików, zmiany ich właściwości i są odpowiedzialne za obsługę obszaru nazw: plik może być odnaleziony poprzez wysłanie zapytania do serwera MDS. Po otworzeniu kluczy MDS, wymianą danych zajmują się Object Storage Targets (OST – adresaci przechowywania obiektów). Serwer MDS śledzi wymianę danych za pomocą rejestru. Tworzenie i zapisywanie pliku wymaga utworzenia i-węzła na serwerze MDS, który następnie skontaktuje się z OST w celu przydzielenia miejsca na dysku. W celu zwiększenia wydajności alokację można rozproszyć na kilka OST. Przepustowość osiągana w testach jest bardzo wysoka. Jednak w tym systemie nadal brakuje niezbędnych i istotnych narzędzi serwisowych dla środowiska produkcyjnego, między innymi nie ma narzędzia odzyskiwania systemu plików i nie istnieje na razie możliwość poprawnej pracy serwera MDS pomimo usterek. Oryginalna metoda i prace rozwojowe prowadzone od podstaw stworzyły z systemu Lustre rozwiązanie, które może być bazą potężnego, a jednocześnie eleganckiego systemu.
W systemie plików Lustre można wyróżnić trzy podstawowe elementy:
- Serwer metadanych MDS (metadata serwer), przechowywanie i zarządzanie i-węzłami.
- Magazyn obiektów OST (Object Storage Target), przechowywanie obiektów.
- Klient systemu plików (Client FileSystem CFS), odczyt i modyfikacje metadanych oraz odczyt i zapis danych z obiektu.
Każdy z tych podsystemów może działać na osobnej maszynie, ale możliwe jest również uruchomienie kilku podsystemów na jednej maszynie (tak mówi teoria w dokumentacji technicznej; na prezentacji wdrożenia w firmie ATM wersji 1.2 Lustre, było powiedziane, że są problemy z uruchomieniem OST i CFS na jednej maszynie).