Obinerea rezultatelor (2)

07.01.2016

Cuprins
Componentele sistemului testat
Nivelul de detaliu/reprezentativitatea pentru ncrcarea

07.01.2016

Serviciile testate
SUT (DUT) = System / Device Under Test
CUS = Component Under Study

Serviciile oferite de sistem

determin
tipul de ncrcare

CUS (ex. HDD)

SUT (ex. Calculator)

07.01.2016

Serviciile testate
SUT difer de CUS!
Uneori CUS = SUT (nivel de granularitate sczut sau
performan generic)

Metrica este pentru SUT

ncrcarea este pentru SUT
Cel mai important este definirea serviciilor

07.01.2016

Definirea serviciilor - Calculator

Aplicaii de tip benchmarking

Aplicaie
Programe sintetice

Sistem de operare
Instruciuni mixte

Procesor
Instruciuni de adunare

Unitatea aritmetic logic

07.01.2016

Definirea serviciilor Reea

Trimitere de fiiere, email, etc.

Aplicaie
Compresia datelor, etc.

Prezentare

Dialoguri

Sesiune
Mesaje

Transport
Pachete IP

Reea
Cadre

Legtur de date
Bii
07.01.2016

Fizic

Definirea serviciilor - Jocuri

Inteligen artificial
Meniu
Grafic
Acces la Internet

07.01.2016

Nivelul de detaliu
Cea mai frecvent cerere:
Doar un singur tip de ncrcare
Valid doar atunci cnd un serviciu este mai folosit

Frecven tipurilor de ncrcare

Pondere a fiecrui serviciu

ncrcare secvenial folosind timpul

Conteaz i ordinea cererilor
Bazat de obicei pe o semntur (trace)
Alegerea semnturii se face pe baza datelor reale

07.01.2016

Nivelul de detaliu
ncrcare medie pe clase de servicii
De obicei trebuie analizat mediana i devierea standard atunci
cnd serviciile sunt distribuite

Pentru evaluarea prin simulare sau analitic se folosete

ncrcare ne-executabil
Este suficient specificarea tipului de ncrcare, nu i generarea
sa

Reprezentativitatea datelor
Greu de realizat pentru programele closed-source
07.01.2016

Actualitatea datelor
ncrcarea folosit trebuie s fie actual, sistemele se
dezvolt foarte rapid
Ex., apar noi instruciuni pentru procesor annual => trebuie
introduse la testare
Ex., execuia unei instruciuni devine mai rapid => mai mare
ncrcare pentru instruciunea respective

Previziunile despre ncrcare sunt n general sunt false

07.01.2016

10

Alte aspecte legate de ncrcarea datelor

Nivelul de ncrcare:
Capacitate maxim (cazul cel mai bun testeaz la maxim toate
serviciile)
Peste capacitate (inutil)
Asemntor cu nivelul de ncrcare real

Scopul testrii influeneaz nivelul de ncrcare

Pentru crearea unei noi arhitecturii (toate posibilitile)
Pentru achizitionare (cel real)

Repetabilitatea datelor
Motiv pentru care nu folosim date reale

07.01.2016

11

Impactul componentelor externe

Selectarea ncrcrii trebuie s fie dependent doar de
componentele SUT, nu i cele externe
Ex., Nu selectm o ncrcare care depinde foarte mult de
operaiile de tip I/O atunci cnd evalum performanele unui
procesor

07.01.2016

12

Caracterizarea ncrcrii

07.01.2016

13

Terminologie

Utilizator
(Componenta
ncrcare)
Parametri

Interfa
SUT
CUS (ex. HDD)
SUT (ex. Calculator)

ncercm s caracterizm parametrii de intrare, nu

parametrii sistemului (metrica)
Se dorete caracterizarea datelor de intrare pentru a fi
reproduse pe alte sisteme
07.01.2016

14

Tehnici de caracterizare
Media / Cel mai frecvent / Mediana
1

X = =1

Ex., Nu se poate face media adreselor IP destinaie

Pentru cazuri foarte variate de date se folosete dispersia

(variaia, deviaia standard):
2 =

1
=1(
1

)2

Coeficient de variaie = s/X (spefic dac se poate folosi doar

media, sau este necesar un set mai mare de valori pentru un
parametru)

07.01.2016

15

Histograme cu un singur parametru

Set de valori ale unui singur parametru
Folosite pentru a gsi o distribuie probabilistic
Foarte multe date
N valori * M parametrii * K componente

Ignor relaia dintre parametrii

07.01.2016

16

Histograme cu doi parametri

Atunci cnd exist o relaie direct ntre ei
Rar folosite

07.01.2016

17

Medie ponderat a parametrilor

O component este reprezentat de o sum:
= =1

- greutatea unui anumit parametru

07.01.2016

18

Exemplu Nr. pachete

Trimis

Media

5352.277778 Xt
4889.388889 Xp

Abaterea
1743.348428 St
1379.487251 Sp

07.01.2016

Abaterea

Primit

Abaterea

7718

1.356999

7258

1.717023

6958

0.921056

7232

1.698175

8551

1.834815

7062

1.574941

6924

0.901554

6526

1.186391

6298

0.542475

5251

0.262134

6120

0.440372

5158

0.194718

6184

0.477083

5051

0.117153

6527

0.673831

4850

-0.02855

5180

-0.09882

4825

-0.04668

10

4116

-0.70914

4762

-0.09235

11

5532

0.10309

4750

-0.10104

12

5638

0.163893

4620

-0.19528

13

4147

-0.69136

4229

-0.47872

14

3532

-1.04413

3497

-1.00935

15

2970

-1.3665

3480

-1.02168

16

4271

-0.62023

3392

-1.08547

17

3645

-0.97931

3120

-1.28264

18

2030

-1.90569

2946

-1.40878

19

Exemplu Nr. pachete

Calculul corelaiei dintre parametric:
=

07.01.2016

1 (
=1

)( )

20

Modele Markov
Unele valori sunt generate de valorile anterioare

Matrice pentru probabilitatea unei tranzacii

07.01.2016

De la / Ctre

CPU

HDD

Monitor

CPU

0.6

0.3

0.1

HDD

0.9

0.1

Monitor

21

Gruparea componentelor
Pentru a limita ncrcarea

07.01.2016

22

Gruparea componentelor
Pstrarea datelor relevante (Utilizatori care nu au date
despre HDD pot fi eliminai)
Eliminarea parametrilor (Datele afiate nu ne intereseaz)
De obicei eliminarea paremetrilor nu trebuie s schimbe grupul
unui utilizator

Transformarea datelor (Dac un utilizator a salvat date n

milisecunde, i altul in secunde, trebuie folosit acceai
scar)
Eliminarea datelor eronate (foarte diferite de celelalte)

07.01.2016

23

Gruparea componentelor
Normalizarea parametrilor sau ponderarea acestora
Generarea unei metrici pentru distana dintre
componente
Ex., Distana euclidian

Crearea grupurilor:
Ierarhic
Aglomerat (se pleac de la n grupuri)
Diviziv (se pleac de la un grup)

Arbitrar
Se creaz k-grupuri, se mut componentele pn se minimizeaz
distana intra-grup i extra-grup

07.01.2016

24