Sisteme tolerante la

defecte

Conf.dr.ing. Ion B DOI

Tehnologii pentru Disaster Recovery

RAID (Redundant Array of Independent Disks)

LVM (Logical Volume Manager)
DRBD (Distributed Replicated Block Device)
SAN&NAS (Storage Area Network & Network
Attached Storage)
Tehnologie de stocare care combina mai multe dispozitive de
stocare intr-o matrice de discuri a carei performanta sa fie
superioara si care sa apara pentru sistem ca o singura unitate
logica de stocare.
Initial au fost definite cinci arhitecturi (RAID1-5), fiecare
asigurand toleranta la defectari prin diverse compromisuri de
performanta si caracteristici.
Pentru crearea de nivele etajate RAID, oricare nivel poate fi
combinat cu alt nivel, dar cel mai uzual sunt folosite nivelele 0
si 1.
Mecanisme RAID
Implement ri RAID

implementari hardware

A PCI-bus-based, IDE/ATA hard disk RAID controller External RAID controller

implementari software
mdadm (linux)
Dynamic Disk (Windows)
Solstice DiskSuite (Solaris)
viteza mare de acces la date
nu ofera redundanta
poate folosi discuri de dimensiuni
diferite

(striping la nivel de bloc, f paritate sau oglindire)

ofera redundanta datelor
dimensiunea este egala cu cea a celui
mai mic disc din set
posibilitatea de a folosi un disc de
rezerva (hot standby)

(oglindire f paritate sau striping)

 (bit-level striping with dedicated Hamming-code parity)

viteza de rotatie este sincronizata pentru toate discurile

foloseste coduri de control pentru corectia datelor
reconstructia datelor se face folosind codurile de paritate
in cazul unui disc defect
se pot atinge rate de transfer extrem de ridicate
necesita minim 3 discuri
redundanta asigurata prin sume de
control
viteza de citire mare
viteza de scriere este influentata de
stocarea sumelor de control pe un
singur disc
(byte-level striping with dedicated parity)
difera de RAID 3 prin impartirea
datelor in blocuri care apoi sunt
stocate pe disc
fisierele cu dimensiune mai mica
decat dimensiunea blocului sunt
stocate pe un singur disc
discurile opereaza individual si
permit realizarea in paralel a
cererilor de I/O
timpul necesar recuperarii dupa o
defectiune este destul de mare (block-level striping with dedicated parity)
imparte datele in blocuri de
dimensiuni prestabilite
stocheaza sumele de control pe
toate discurile
viteza de scriere buna obtinuta
prin distribuirea paritatii
in cazul unui disc defect, timpul (block-level striping with distributed parity)

de refacere este bun

in timpul reconstructiei unui disc
performanta este substantial
afectata

(block-level striping with double distributed parity)

RAID 0+1
Oglindeste seturi de discuri ce contin
date intretesute.
Permite defectarea unuia sau mai multor
discuri din acelasi set.
RAID 1+0
Distribuie datele pe seturi compuse din
discuri oglindite.
Permine defectarea mai multor discuri
atata timp cat un set nu si-a pierdut
toate discurile.
Ambele ofera performante generale
foarte bune, combinand viteza oferita
de RAID-0 cu redundanta oferita de
RAID-1, fara sa fie necesara efectuarea
calculelor de paritate
RAID-0 este cel mai rapid si eficient dar nu ofera toleranta la defectari
RAID-1 este alegerea potrivita pentru mediile in care performanta este
critica si toleranta la defectari este importanta, de asemenea, este
singura arhitectura ce ofera toleranta la defectari cand nu se doreste
utilizarea unui numar mai mare de doua unitati de stocare
RAID-2 este rar utilizat in conditiile in care ECC este implementat in
majoritatea unitatilor de stocare moderne
RAID-3 poate fi folosit in mediile cu prelucrari intense de date sau in
mediile single-user in care se acceseaza secvential date de dimensiuni
mari, pentru a spori transferul de date. Totusi RAID-3 nu permite
operatii de I/O concurente si necesita sincronizarea vitezei de rotatie a
discurilor pentru a nu se degrada performanta in cazul inregistrarilor de
dimensiuni mici.
RAID-4 nu ofera avantaje fata de RAID-5 si nu permite operatii
simultane de scriere.
RAID-5 este alegerea cea mai buna in mediile multi-user ce nu sunt
sensibile la performanta la scriere. Totusi cel putin trei dispozitive de
stocare, si cel mai adesea cinci unitati sunt necesare pentru matricile
RAID-5.
Introduce un nivel de abstractizare peste storage
Aplicatiile folosesc un storage virtual
Ascunde detaliile legate de locatia in care datele
sunt stocate
Permite modificarea configuratiei storage-ului
fara nici o schimbare in partea de hardware si
viceversa
Fara LVM Cu LVM
Capacitate flexibila
Redimensionare
Relocarea datelor
Numirea volumelor
Disk striping
Oglindirea volumelor
Instantanee
Pentru a putea fi folosite de LVM trebuie initializate ca
PV.
Contine dimensiunea in bytes si un identificator unic
al PV.
Contine informatii despre grupurile de volume din
sistem.
Alcatuit din volume fizice (PV)
Spatiu de stocare din care sunt alocate
volumele logice (LV)
Spatiul disponibil este impartit in regiuni de
dimensiune fixa
Realizeaza maparea intre PE (Physical
Extents) si LE (Logical Extents)
Fiecare PV este impartit in regiuni de dimensiuni
egale PE (Physical Extents)
Fiecare LV este impartit in regiuni logice de
dimensiuni egale LE (Logical Extents)
PE si LE au dimensiuni egale in cadrul unui VG
Logical Volumes
Linear volumes
Striped volumes
Mirrored volumes
Striping
Poate aduce imbunatatiri I/O
pentru operatii secventiale de
dimensiuni mari
Stripe size < PE,LE
Mirroring
Cand un mirror se defecteaza
volumul logic devine liniar
Pastreaza un log al regiunilor
sincronizate ce asigura persistenta
intre restartari
Alias pentru un volum logic existent
Permite realizarea de copii de siguranta
Nu utilizeaza un soft dedicat
Nivelul LVM din kernel pastreaza o mapare a
locatiilor logice de stocare in locatii fizice
VGDA-Volume Group Description Area stocat pe
fiecare din volumele fizice
Crearea unui volum logic (LV)
Initializarea partitiei ce urmeaza sa fie folosita ca PV
Crearea unui grup de volume (VG)
Crearea partitiei logice (LV)
Crearea sistemului de fisiere
Montarea partitiei
Redimensionarea unui volum logic
Adaugarea unui nou volum fizic (PV)
Introducerea volumului fizic in grupul de volume
din care face parte volumul logic redimensionat
Extinderea volumului logic cu volumul fizic
Extinderea sistemului de fisiere
Nu este un inlocuitor pentru RAID
Nu este legat de un anumit sistem de stocare
Nu ofera nici o protectie a datelor in caz de
defectare a discurilor
Este un alt instrument pentru obtinerea HA
(High Availability)
The Distributed Replicated Block Device (DRBD) este o solutie software
fara partajare de replicare a storage-ului prin oglindirea continutului
dispozitivelor (discuri, partitii, volume logice etc.) intre hosturi.
Oglindirea datelor
In timp real: replicarea apare permanent in
timp ce aplicatiile modifica datele de pe
dispozitive.
transparent: aplicatiile nu sunt constiente ca
datele se stocheaza pe mai multe hosturi.
sincron sau asincron: in cazul sincron al
replicarii, aplicatiile sunt notificate cand
scrierea se realizeaza pe toate hosturile, pe
cand in cazul asincron sunt notificate cand
scrierea se realizeaza local, ceea ce in mod
obisnuit se intampla inainte de propagarea
catre celelalte hosturi.
Moduri de replicare
Protocol A-replicare asincrona
scrierea IO este raportata ca fiind realizata,
daca a fost realizata local si trimisa prin
bufferul TCP.
Protocol B- replicare sincrona in memorie
(semi-sincrona)
scrierea IO este raportata ca fiind realizata,
daca a fost realizata local si a ajuns in
bufferul cache de la distanta.
Protocol C-replicare sincrona.
scrierea IO este raportata ca fiind realizata,
daca a fost realizata atat local cat si pe
dispozitivele de la distanta.
 datele sunt duplicate
actualizare in timp real pe slave
consistenta garantata de drbd: datele sunt accesate doar pe
master – nu se face load balancing
restaurare rapida dupa failover

Overhead al drbd:
necesita resurse procesor
performanta de scriere scade (dar nu afecteaza performanta
de citire)
DRBD adauga un al
treilea nod la un cluster
cu doua noduri si replica
datele catre acesta, el
putand fi folosit pentru
backup sau disaster
recovery.
Replicarea catre acesta
se poate face asincron
(DRBD protocol A), in
timp ce datele din
productie se vor replica
sincron (DRBD protocol
C).
Direct Attached
Storage (DAS)
Network
Attached
Storage (NAS)
Storage Area
Network (SAN)
DAS - este format dintr-un dispozitiv de
stocare a datelor, conectat direct la un
computer, fara nici un dispozitiv de retea
intermediar.
Caracteristici
Accesul restrictionat in general la un singur host
Cererile de I/O acceseaza direct dispozitivele de stocare
Incapacitatea de a partaja date sau resurse neutilizate cu
alte servere
NAS-termen folosit pentru a referi un element de
stocare care se conecteaza la retea si ofera doar
serviciul de acces la fisiere pentru alte sisteme,
fiind specializat pentru aceasta sarcina prin
hardware sau software.
Caracteristici
Format dintr-un procesor integrat si un dispozitiv de stocare
Atasat la o retea TCP/IP (LAN sau WAN) .
Accesat folosind protocoale specializate de acces sau partajare
de fisiere (NFS, SMB/CIFS).
Permite partajarea de mai multi clienti a unui volum.
SAN
O retea dedicata pentru
dispozitive de stocare si
host-urile care acceseaza
aceste dispozitive.
Arhitectura ce permite
atasarea de dispozitive de
stocare aflate la distanta ca
si cand acestea ar fi atasate
local.
Beneficii
Availability
Reliability
Scalability
Manageability
Return of Information
Management
Consolidare-inlocuirea mai multor dispozitive de stocare
de catre un numar redus de dispozitive care permit
partajarea capacitatii de stocare (pooling).
Backup- realizat fara implicarea serverelor si fara
generarea de trafic suplimentar in LAN
Utilizarea eficienta a spatiului de stocare- prin partajarea
acestuia intre servere si managementul unitar.
Integrarea cu solutii de “Disaster Recovery”- permite o
distanta mai mare intre host-uri si dispozitivele de
stocare, disponibilitate ridicata, performanta imbunatatita.
Scalabilitate sporita- elimina restrictia legata de numarul
de dispozitive ce pot fi conectate la un server.
SCSI – Small Computer System
Interface
SAS – Serial attached SCSI
FC – Fibre channel
iSCSI – internet SCSI
AoE – ATA over Ethernet
SMS – Server Message Block
NFS – Network File Systems
CIFS – Common Internet File Systems
PATA – Parallel Advanced Tehnology Attachament
SATA - Serial Advanced Technology Attachament
 NAS vs SAN
NAS
Un dispozitiv independent
Atasat la reteaua primara
Conectat prin Ethernet
Foloseste protocoale standard ca
TCP/IP, CIFS,NFS
Apare ca un singur nod in retea
Modelul client/server
Potrivit pentru partajarea de fisiere
si aplicatii ce presupun tranfer de
date de durata si volum redus
Nu reduce traficul prin reteaua
principala, el insusi fiind conectat la
aceasta
SAN
O retea de dispozitive de stocare
Ca o retea secundara pentru LAN
Conectat folosind Fibre Channel (FC)
sau SCSI peste IP (iSCSI)
Foloseste protocoalele FC sau SCSI
pentru transferul de date.
Apare ca un extra storage pentru
fiecare server
Ofera acces direct la discuri
Potrivit pentru aplicatii cu transfer
intensiv de date si baze de date critice
Reduce incarcarea retelei principale,
scurtand timpul de realizare al copiilor
de siguranta si de restaurare
FC- tehnologie destinata transferului performant si cu
latenta mica a datelor intre diverse tipuri de dispozitive.
Poate fi implementat atat peste fibra optica cat si peste
cabluri de cupru.
FC Switch – ofera conexiuni multiple intre perechi de
porturi intr-o retea FC.

FC Hub – este folosit pentru a realiza FC Arbitrated Loop

(FC-AL). Ele transfera semnalul venit pe un port catre
urmatorul port din bucla. Este responsabilitatea
dispozitivelor sa intercepteze si sa proceseze semnalele
adresate lor.
FC Arbitrated Loop (FC-AL)
topologie FC care permite
atasarea mai multor porturi de
comunicatie intr-o bucla
Nu se face broadcast ca in
arhitecturile ethernet, ci se
transmit de la dispozitiv la
dispozitiv in jurul “buclei” pana
cand datele ajung la destinatie
FABRIC – o retea de switch-uri FC
(in fabric latimea de banda nu
este partajata)
Host Bus Adapter (HBA)- asigura
interfata intre un server si reteaua
SAN. Fiecare HBA are driverul
specific de dispozitiv, care
manipuleaza operatiile de I/O si
controleaza cererile.
Storage Subsystem
Small Computer System Interface
(SCSI)
Redundant Array Of Inexpensive
Disk (RAID)
Just a Bunch Of Disks (JBOD)
Gigabit Interface Converter (GBIC)
Converteste semnale electrice in
optice si invers.
Utilizat in toate tipurile de
dispozitive FC (switches, HBA)
Internet SCSI Protocol (iSCSI)
Permite implementarea SAN peste retelele conventionale
Ethernet.
Foloseste TCP/IP ca protocol de transport pe retea
FC-iSCSI Gateway (SAN Gateway)
Intr-o retea eterogena ce contine atat dispozitive FC cat si
ISCSI, permite interconectarea acestora
Mapeaza dispozitivele iSCSI selectate in FC SAN si cele FC
selectate in IP SAN
SAN Management Software
Gestionarea mediului SAN
Descoperirea, maparea si monitorizarea dispozitivelor de
stocare; partitionarea logica si zonarea.
Redundant path
Multiple HBA/device
Multi-pathing software
Conectivitatea oferita de
SAN faciliteaza
implementarea clusterelor
Serverless backup realizat
de un device specializat
din SAN
Zonare
separarea logica a traficului intre hosturi si resurse
Permite separarea unui nod dintr-un switch FC pe baza
portului fizic, numelui sau adresei acestuia.
Zonare hardware si zonare software
serverul A si storage-ul A pot
comunica
serverul B si storage-ul B pot
comunica
serverul A nu poate comunica
cu storage-ul B
serverul B nu poate comunica
cu storage-ul A
ambele servere si ambele
storage-uri pot comunica cu
libraria de benzi
Este implementata hardware
(in switch) facand legatura
fizica a porturilor din fabric.
Daca doua porturi nu sunt
autorizate sa comunice, atunci
comunicarea intre acestea este
blocata.
Este considerata mai sigura si
mai usor de implementat, dar
este mai putin flexibila ca
zonarea software
Se bazeaza pe World Wide Name (WWN)
Foloseste server-ul de nume din interiorul FC
switch
Permite sau blocheaza accesul la un WWN din
fabric
De obicei se pot realiza nume simbolice pentru
membrii zonei
Elimina grijile legate de conexiunile fizice
Un membru poate apartine mai multor zone
Logical Unit Number (LUN)

Refera fiecare componenta individuala din

storage care este accesata.
LUN masking
restrictioneaza accesul server-elor la anumite unitati
de stocare logice (dispozitive) asignate lor.
Mapare WWN (HBA)->LUN ce nu poate fi realizata prin
zonare
De obicei este implementat in componentele SAN (ex.
Storage controler)
O combinatie de zonare hardware si mascare
LUN ofera un nivel de securitate robust
Clustered XFS (CXFS)
Global Filesystem (GFS) – RedHat
Polyserve Matrix Server (MxS)
Open Global Filesystem (OPENGFS)
Tehnologie de retea de viteza gigabit
Utilizata pentru retele de stocare
Lipsa dependentei de topologie
Topologii
Point–to–point
Arbitrated loop
Switched fabric
Point-to-point
Exista exact doua noduri
Mediu de transmisie nu se partajeaza
Extinderea ulterioara nu este luata in calcul
Arbitrated loop
bucla de pana la 126 de
noduri
gestionata ca o
magistrala comuna
singura conexiune se
realizeaza intre
expeditor si receptor
latenta este influentata
de dimensiunea buclei
Switched fabric
Folosita in implementarile SAN
Foloseste intreaga latime de banda/port
Porturi
L_Port – loop
N_Port – nod
F_Port – fabric
E_Port – expansiune

NL_Port
FL_Port
World Wide Node Number
World Wide Port Number
World Wide Node Number
World Wide Port Number