Obinerea rezultatelor (1)

23.01.2017 1
 Cuprins
Selectarea unei metode de evaluare (recapitulare)
Selectarea unei metrici corespunztoare

23.01.2017 2
 Trei reguli de validare
Nu folosim rezultatele simulrii pn cnd acestea nu au
fost validate de un model analitic sau prin msurtori
directe
Nu folosim rezultatele modelului analitic pn cnd
acestea nu au fost validate prin simulare sau msurtori
directe
Nu folosim rezultatele msurtorilor directe pn cnd
acestea nu au fost validate prin simulare sau folosind un
model analitic
Exist o a treia regula de validare, numit intuiia
expertului
23.01.2017 3
 Trei reguli de validare
Metodele de evaluare pot fi folosite consecutiv sau
simultan
De exemplu, se poate face un simplu model pentru gsirea unui
interval necesar unui parametru, i apoi se poate verifica
sistemul folosind un simulator

23.01.2017 4
 Alegerea metricii

Scopul evalurii

ncrcarea
Metric
sistemului
(eierlegende Wollmilchsau)
Sistem de testat

Componente/factori
23.01.2017 5
 Relativ la scop
1
S = 0; tif = 16 ns
For (i=1; i <= N; i++) { t+ = 20 ns
s = s + x[i] * y[i]; } t* = 40 ns
f = 10%

Timpul de execuie: t1 = N {(t+) + (t*)} => t1 = N * 60 ns

MFLOPS: 33 = (2 / 60)

MFLOPS: 9.09 (2 * 0.1 / 22)

Timpul de execuie: t2 = N {(tif) + f*[(t+) + (t*)]} => t2 = N * 22 ns
2
S = 0;
For (i=1; i <= N; i++) {
If ((x[i] != 0) && (y[i]!=0))
s = s + x[i] * y[i]; }

23.01.2017 6
 Alegerea metricii
Responsivitate
(timp)
Cerere
Vitez Productivitate
(Corect) (rat)
Execut
Utilizare
(resurse)

ncredere Probabilitate
(Incorect) Interval
ntre
evenimente
(eierlegende Wollmilchsau) Durat
Sistem de testat Disponibilitate Eveniment eveniment
(Nu execut) k
Interval
ntre
evenimente
23.01.2017 7
 Alegerea metricii
Medie artimetic versus median:
Exemplu: 25 de calculatoare cu 16 GB, 38 de calculatoare cu 32
GB, 4 calculatoare cu 64 GB, un calculator cu 1024 GB
Media artimetic = 42.6 GB per main
Mediana: 32 GB per main

Uneori suma este o metric bun

23.01.2017 8
 Alegerea metricii
Trebuie considerat att valoarea medie ct i deviaia

23.01.2017 9
 Alegerea metricii
Metric global vs Metric individual
Exemplu: O reea local cu N utilizatori, n care f utilizatori
consum trafic folosind protocolul Bittorrent, iar (N-f) consum
trafic folosind protocolul HTTP.
Limea de band a reelei este: f * Bwtorrent + (1-f) * BWhttp
Limea de band a unui utilizator de torent este (n general)
mai ridicat fa de limea de band folosit de HTTP

23.01.2017 10
 Alegerea metricii
Jains Fairness Index
2
(=1 )
1, , , =
=1 2

Proprieti:
Mereu ntre 0 i 1.
Dac toi au acceai lime de band => FJI = 100%
Pentru exemplu anterior presupunnd c BWhttp=0 => JFI = f/N

23.01.2017 11
 Alegerea metricii - Exemplu
Congestia ntr-o reea de calculatoare:
Reea de calculatoare = echipamente intermediare i dispositive
finale
Congestie = pachete ce ateapt procesarea la dispozitivele
intermediare i nu mai pot fi stocate n bufferele locale

Definirea serviciului:
Trimiterea unui pachet de la surs la destinaie

23.01.2017 12
 Alegerea metricii - Exemplu
Responsivitate
(timp)
Trimite pachet
Vitez Productivitate
(Corect) (rat)
Execut
Utilizare
(resurse)

ncredere Probabilitate
(Incorect) Interval
ntre
evenimente
Reeaua de testat Durat
Disponibilitate Eveniment eveniment
(Nu execut) k
Interval
ntre
evenimente
23.01.2017 13
 Alegerea metricii - Exemplu
Timp - rat resurs
1) Timpul pentru a trimite un pachet de la Surs la Destinaie
(eventual i timpul de rspuns)
2) Throughput: Numrul de pachete n unitatea de timp
3) CPU folosit pentru generarea pachetului
4) CPU folosit la destinaie pentru prelucrarea pachetului
5) CPU folosit la echipamentele intermediare

23.01.2017 14
 Alegerea metricii - Exemplu
Execuie incorect:
Probabilitatea ca pachetele s ajung ntr-o ordine greit
Probabilitatea ca pachetele s fie duplicate (consumnd
resurse)

Execuie nereuit
Probabilitatea de pierdere de pachete
Probabilitatea de deconectare de la reea (fie dispozitiv final, fie
dispozitiv intermediar)

23.01.2017 15
 Clasificarea metricilor

23.01.2017 16
 Setarea cerinelor
Criteriul SMART:
Specific (throughput >= 80 Mbps)
Measurable (delay)
Acceptable + Realizable (Sistemul trebuie s porneasc n
maxim 5 minute)
Thorough (Probabilitatea ca un bit s aib eroare este de maxim
1E-7)

23.01.2017 17
 Bottleneck
Resursa cea mai utilizat reprezint un bottleneck
Este cea care se optimizeaz
Componenta cea mai puin performant

Exerciiu:
O transacie cost (n medie): 1,238.400 de instruciuni CPU,
102.3 accesri de disc, 4 pachete de reea. Un procesor poate
executa 109 instruciuni pe secund. Un disc suport 104
accesri pe secund Placa de reea poate trimite 104 pachete
pe secund.
Cine este bottleneck-ul?
Rspuns:
Utilizarea resurselor: 1,13% CPU; 98,36% HDD; 3,84% NIC
Maxim transacii pe secund: 1.02
23.01.2017 18
 Tipuri de ncrcare - Terminologie
ncrcare de test Orice data de intrare folosite pentru
msurarea performanelor.
ncrcare real Atunci cnd monitorizarea se face pe un sistem
folosit. Greu de repetat, folosit rar.
ncrcare sintetic
Similar cu ncrcarea real (pe care o modeleaz)
Uor de modificat
Testarea poate fi replicat

23.01.2017 19
 Tipuri de ncrcare - Exemple
Instruciuni de adunare
Instruciuni mixte
Programe sintetice
Aplicaii de tip benchmark

23.01.2017 20
 Instruciuni de adunare
Printre primele mecanisme de testare
Procesorul avea un numr redus de instruciuni, cea mai
folosit fiind adunarea

23.01.2017 21
 Instruciuni mixte
Set mixt de instruciuni realizat folosind analiza
aplicaiilor reale => ponderi per instruciuni
Exemplu Jack C. Gibson (1959):

23.01.2017 22
 Programe sintetice
Bucle (finite) folosite pentru a msura nu doar
procesorul, ci i I/O, sau apelurile de sistem (alocare de
memorie, fork, etc.)
Uor de pclit datorit mbuntirilor aduse
sistemelor de operare curente (pipelines, caching)
Nu pot fi folosite n sistemele multiprocessor (problem de
sincronizare)

23.01.2017 23
 Aplicaii de tip benchmark

benchmark v. trans. To subject (a system) to a series of

tests in order to obtain prearranged results not available
on competitive systems. S. Kelly-Bootle

23.01.2017 24
 Aplicaii de tip benchmark
n general particularizate pentru tipul de sistem testat
(CPU, GPU, Database)
Testeazsistemul ca un ntreg folosind un subset de
servicii preluat din aplicaiile reale
Exemple:
Sieve (Ciurul lui Eratostene)
Linpack (1983) rezolvarea unui sistem de ecuaii lineare
http://www.top500.org/project/linpack/
33.86 petaflop/s
SPEC Suite o suit de teste representative diverselor scenario
Vellamo (Qualcomm)

23.01.2017 25