Sunteți pe pagina 1din 14

10 Revista Informatica Economica, nr.

3 (15)/2000

Decizie asistata de calculator. Metode si tehnici de asistare


a deciziilor centrate pe judecata umana

Acad. Florin Gheorghe FILIP


Vicepresedinte al Academiei Române, Director stiintific al Institutului
National pentru Cercetare-Dezvoltare în Informatica

Luarea deciziei este o actiune constienta de alegere a unei cai de actiune (dintre mai multe
alternative posibile) de catre o persoana (sau de catre un grup de persoane) care are
responsabilitate si este împuternicita în acest sens. Acest prim articol al unei serii dedicate
problematicii deciziei asistate de calculator îsi propune sa treaca în revista câteva metode în
care decizia se bazeaza în primul rând pe judecata si intuitia umana si sa prezinte câteva
tehnici de asistare si sistematizare cu ajutorul calculatorului a procesului decizional.

Introducere cum: generarea si explorarea ideilor pe


1. Obiectivul principal al acestui prim
articol al unei serii dedicate subiectului
care se bazeaza proiectarea de alternative
de actiune si selectia unei decizii.
“Decizie asistata de calculator” este de a În continuare, articolul este organizat dupa
pregati terenul pentru elementele care vor cum urmeaza. În capitolul 2, se descriu
fi prezentate în articolele urmatoare, prin câteva metode de elaborare si luare a
trecerea în revista a unora dintre cele mai deciziilor în care judecata umana si comu-
utilizate metode si tehnici care se bazeaza nicarea dintre participanti la procesul deci-
în primul rând pe judecata umana, ajutata zional sunt esentiale. Mai întâi (subca-
sau nu de catre calculator. În acelasi timp, pitolul 2.1.), se descriu câteva forme
articolul urmareste sa faca primele referiri realizate în cadrul unor întâlniri directe
la modul în care calculatorul poate asista (denumite în continuare “sedinte”, desi
procesele decizionale. acest cuvânt risca sa aiba cumva, în
Motivele pentru alegerea continutului aces- contextul acestei lucrari, un înteles usor
tui articol sunt variate. În primul rând, s-a înselator sau incomplet), fizice sau virtuale
plecat de la constatarea ca, instrumentele precum: metoda grupului nominal, avo-
informatice în domeniul asistarii proce- catul diavolului, interogarea dialectica si
selor decizionale au fost gândite initial brainstorming- ul. În continuare (subcapi-
pentru a realiza automatizarea metodelor tolul 2.2.) se descrie metoda anchetei
existente, având ca scop facilitarea si, Delphi, în care interactiunea dintre parti-
eventual, structurarea acestora. Mai apoi, cipanti se realizeaza în mod anonim si
au aparut tehnologiile informatice prin care indirect (mijlocit) si la momente discrete
se intentiona schimbarea modului de desfa- de timp. Ultima metoda prezentata (sub-
surare a proceselor decizionale. Un al capitolul 2.3.), cea a elaborarii de scenarii,
doilea motiv este intentia de a reaminti este recomandata pentru acele decizii care
anumite elemente relevante pentru scopul vizeaza un orizont lung de timp si/sau un
acestei lucrari, care sunt prezente din context cu incertitudini foarte pronuntate.
abundenta în literatura (în special din Partea a doua a corpului principal al
domeniul stiintei conducerii), dar sunt acestui articol (capitolul 3) aduce unele
rareori citate în lucrarile centrate pe elemente auxiliare care au ca scop usurarea
tehnologiile informatiei. În fine, metodele proceselor decizionale bazate preponderent
si tehnicile cuprinse în acest capitol sunt pe judecata umana si structurarea lor.
înca folosite în mod preponderent în Astfel, subcapitolul 3.1. contine unele re-
anumite faze ale procesului decizional, cu comandari privind prezentarea datelor
toate dezvoltarile tehnologice actuale, pre- numerice sau textuale cuprinse în general
Revista Informatica Economica, nr. 3 (15)/2000 11

în liste sau tabele. În subcapitolul 3.2. se 2. deschiderea sedintei, care cuprinde: a)


urmareste o prima abordare în aceasta anuntarea de catre conducatorul sedintei a
lucrare a unor aspecte aparent minore, dar menirii si obiectivelor sedintei si b) con-
importante în realitate, privind repre- venirea, împreuna cu participantii, a dura-
zentarile grafice. În fine, subcapitolul 3.3. tei totale de desfasurare a sedintei si a
prezinta o metoda eficace (si folosita din timpului acordat luarilor de cuvânt;
ce în ce mai mult) de structurare a 3. derularea sedintei, în care se urma-
problemelor decizionale si anume cea a reste: a) sublinierea contributiilor semnifi-
diagramelor de influenta si evoca în treacat cative pentru rezolvarea problemei, b)
arborii de decizie, subiect care va fi controlul interventiilor care se dovedesc
dezvoltat într-un articol ulterior. excesive ca durata sau nepotrivite ca mod
de exprimare etc.;
2. Metode 4. închiderea sedintei, prin: a) limitarea
În continuare se vor descrie câteva dintre duratei acesteia (se recomanda 60 – 90 de
principalele metode de elaborare si selec- minute), b) punctarea principalelor decizii
tare a deciziilor folosite în mod traditional luate si a eventualelor puncte de vedere
si care se bazeaza pe judecata umana, si divergente exprimate în vederea transmi-
anume metoda sedintei (sau a întâlnirilor terii întocmai în ziua urmatoare, sub forma
directe), ancheta Delphi si elaborarea de scrisa, catre participanti;
scenarii. Dintre acestea, primele doua pre- 5. evaluarea rezultatelor, efectuata de ca-
supun participarea unui grup de persoane, tre conducatorul sedintei împreuna cu un
al treilea putând fi realizat uneori de un colectiv restrâns de colaboratori, inclusiv
singur om. cu persoana care realizeaza procesul
verbal.
2.1. Sedinta decizionala În sedintele exploratorii care au ca scop
Sedinta decizionala este o metoda tradi- realizarea unor predictii sau proiectarea
tionala de luare a deciziilor în grup. În unor alternative de decizie este, de multe
general, sedinta este definita (Nicolescu, ori, recomandabil sa se realizeze consensul
Nastase, 2000) ca o metoda de solutionare participantilor. Tinând cont de faptul ca,
a unor sarcini, probleme sau situatii personalitatea, pozitia sociala, interesele si
privind adoptarea unor decizii, sau explo- “informatiile de fundal” diferite ale parti-
rarea unor perspective, sau transferul unor cipantilor pot conduce la “dominarea”
informatii, sau armonizarea unor atitudini sedintei, sau la formarea de coalitii preme-
pe baza comunicarii directe între un numar ditate sau ad-hoc si, în ultima instanta, la
de participanti, reuniti (fizic sau, mai nou, rezultate inadecvate, se recomanda (Tar-
prin intermediul mijloacelor de comunica- gett, 1996) structurarea sedintelor. Aceasta
tie electronice) pentru scurt timp, sub coor- se poate realiza prin atribuirea de
donarea unei persoane împuternicite, sau responsabilitati diferite participantilor po-
alese chiar de catre participanti. trivit cu calificarea fiecaruia.

2.1.1. Etape 2.1.2. Tehnici specifice


Etapele metodologice generale ale unei se- Câteva tehnici specifice si care prezinta
dinte sunt: interes pentru lucrarea de fata se prezinta
1. pregatirea sedintei, care consta în în continuare:
urmatoarele: a) specificarea ordinii de zi, Tehnica grupului nominal, propusa de
care trebuie sa contina formularea precisa Delbec si Van der Ven (Lindstone si Tu-
si clara a problemei/problemelor de solu- roff, 1975, citati de Turban si Aronson,
tionat, b) stabilirea participantilor, c) ela- 1998), este o forma traditionala de sedinta
borarea documentelor care contin informa- exploratorie. Ea se compune dintr-o sec-
tiile pregatitoare necesare etc.; venta de activitati precum: a) redactarea de
12 Revista Informatica Economica, nr. 3 (15)/2000

idei în mod individual de catre fiecare un plan de actiune pentru rezolvarea unei
participant, b) afisarea acestor idei pe un situatii aparute într-un mediu în schimbare.
suport vizibil pentru toti participantii, c) Alta persoana, sau grup de persoane, joaca
discutarea în secventa a ideilor afisate, d) rolul avocatului diavolului, încercând sa
acordarea de prioritati fiecarei idei, de evidentieze si sa argumenteze neajunsurile
catre fiecare participant în mod individual, planului propus printr-o critica nu neaparat
e) discutarea în plen a prioritatilor propuse, constructiva. Aceasta critica serveste, ala-
f) rearanjarea prioritatilor în mod inde- turi de planul initial, ca baza pentru un
pendent s.a.m.d. plan revizuit.
Brainstorming -ul este o tehnica imagi- Metoda interogarii dialectice consta în
nativa si creativa asemanatoare, având ca confruntarea de argumente dintre avocatii
scop principal generarea de idei, prog- a doua planuri de actiune opuse, care se
noze, sau de alternative de decizie si de bazeaza pe interpretarea diferita a aceluiasi
criterii de evaluare în sedinte cu durata set de date initiale.
limitata, plecând de la premisa ca
“numarul (de pareri exprimate, chiar si 2.1.3. Asistarea informatica a sedintelor
fanteziste) face calitatea” (în sensul cres- Se pot identifica trei directii principale de
terii probabilitatii de a obtine un rezultat asistare informatica a sedintei: a) organiza-
bun). Alte elemente caracteristice ale me- rea documentelor pregatitoare si constato-
todei sunt: a) separarea momentului de rii, b) simularea întâlnirii prin transmiterea
expunere a ideii de cel al evaluarii ei si b) de imagini si sunet si c) extinderea cu
stimularea formularii de idei noi asociate functii noi, specifice.
cu cele deja expuse (Burdus, Caprarescu, Dertouzos (1997) evoca iminenta unor
1999). instrumente informatice (“Authoring Tools
Ca si în orice alta activitate de grup, bazata for Meeting”) care permit hiperorganizarea
pe contactul nemijlocit între participanti, documentelor folosite în desfasurarea se-
generarea de idei sau de alternative prin dintelor împreuna cu imagini video si
metoda brainstorming poate sa nu conduca înregistrari vocale, asociata cu mijloace
la cele mai bune rezultate în anumite eficiente de regasire si sintetizare.
situatii. Dintre aceste situatii se pot men- Teleconferintele si videoconferintele sunt
tiona: a) calitatea slaba a coordonatorului acceptate de câtiva ani ca mijloace eficace
grupului, b) subiectul discutat este delicat pentru transmiterea si clarificarea unor
si aceasta induce retineri în exprimarea sarcini. Ele s-au dovedit folositoare în
deschisa si completa a punctelor de vedere activitati de co-proiectare (“co-design”),
de catre participanti, c) nu se poate realiza sau în informarea periodica si monitori-
cea mai buna compozitie a grupului zarea desfasurarii unor activitati si lucrari
datorita fie presiunii timpului, fie indis- desfasurate în locuri diferite din punct de
ponibilitatii persoanelor cele mai adecvate, vedere geografic si separate uneori de mari
fie costului prea mare al expertilor cei mai distante. Câstigurile din punct de vedere al
potriviti si d) climatul discutiilor nu este operativitatii au fost semnificative, desi se
constructiv. observa ca, în continuare, întâlnirile fata-
Metoda avocatului diavolului (Schwenk, în- fata pentru luarea unor decizii ramân
Thomas 1983, citati de Turton, 1991) ur- înca mult folosite datorita multiplelor cai
mareste stimularea comportarii creative si de comunicare interumana pe care le
gestionarea conflictelor si tensiunilor apa- permite contactul direct. În acest sens, se
rute între participantii la procesul decizio- constata ca sperantele puse în teleconfe-
nal în etapa de generare a diferitelor rinte pentru reducerea costului deplasarilor
ipoteze considerate în luarea deciziilor. s-au dovedit un “esec monumental” (Ham-
Metoda consta în aceea ca, o persoana sau mer, Champy, 1993).
un grup de persoane pregateste si prezinta
Revista Informatica Economica, nr. 3 (15)/2000 13

Mai de curând, au fost lansate pe piata la medie. În cazul constatarii unor abateri
instrumente informatice cu functii mai evident intentionate cu scopul alterarii
complexe decât “surogatul de teleportare” rezultatului global, acestea sunt filtrate de
realizat de teleconferinte. Este vorba de catre coordonator.
sedintele sau întâlnirile electronice (elec- 5. Participantii primesc reactia moderato-
tronic meetings) (Markowitz, 1997; Rus- rului cu rugamintea de a-si reconsidera
seau, 1998). eventual punctul de vedere în functie de
informatia suplimentara primita. Atunci
2.2. Metoda anchetei Delphi când un participant persista în a nu-si
Metoda anchetei Delphi, care împrumuta revizui punctul de vedere în functie de
numele localitatii în care îsi avea sediul informatiile suplimentare primite, el trebu-
Pythia, renumitul oracol al antichitatii gre- ie sa transmita moderatorului argumentele
cesti, a fost dezvoltata la firma RAND care sustin aceasta atitudine.
Corporation, cu scopul de a coordona gru- 6. Pasii 3, 4 si 5 se repeta pâna când
purile de experti care pregateau luarea unor participantii nu mai fac modificari si se
decizii. realizeaza, cu o toleranta admisa, asa nu-
Ancheta Delphi serveste în principal la mitul “consens Delphi”. În cazul în care,
realizarea de prognoze si predictii necesare într- un numar limitat de iteratii, nu se
în deciziile de planificare si programare a realizeaza consensul, moderatorul stabi-
afacerilor, a produselor si proceselor de leste o medie a parerilor exprimate. Atunci
productie. Metoda urmareste realizarea când persista diferente mari, se apeleaza la
consensului între experti cu evitarea nea- o alta metoda, de exemplu cea a formularii
junsurilor implicate de întâlnirile fata- în- de scenarii (a se vedea subcapitolul 3.2.3.).
fata, evocate în subcapitolul anterior. Metoda anchetei Delphi prezinta avantaje
Ideile de baza ale metodei sunt: a) importante. În primul rând, rezultatul re-
realizarea unei interactiuni mijlocite (prin flecta suficient de corect parerea grupului
intermediul unui moderator, sau coordo- în ansamblul sau. Deoarece participantii nu
nator al grupului) între participanti, care nu au cunostinta unul de altul, ei nu mai sunt
trebuie sa stie direct de implicarea sau de inhibati de numele sau de pozitia ierarhica
parerile celorlalti si b) desfasurarea proce- a unor personalitati cu tendinte domina-
sului în iteratii succesive, declansate de toare din grup. În plus, exprimarea sub
catre interventiile moderatorului, care fil- acoperirea anonimatului ca si caracterul
treaza si mediaza punctele de vedere iterativ al procesului, care permite recon-
exprimate. siderari si ajustari constiente, atenueaza
Etapele procesului sunt (Targett, 1996): eventualele retineri privind exprimarea
1. Moderatorul pregateste si transmite unor puncte de vedere aparent deviante.
fiecarui participant un “pachet informatio- Timpul lasat la dispozitie pentru exprima-
nal” cât mai concis, care contine datele rea unei pareri, sau pentru reconsiderarea
initiale, formularele si metodologia de propriului punct de vedere pe baza
completare. informatiilor suplimentare, desi scurt, este
2. Dupa un interval scurt de timp, suficient pentru evitarea unor judecati
moderatorul verifica daca toti participantii pripite. În fine, comunicarea poate fi reali-
au înteles sarcina si elucideaza eventualele zata prin mijloace electronice, aceasta
neclaritati. permitând realizarea unei cât mai bune
3. Participantii completeaza, în mod compozitii a grupului prin antrenarea per-
independent unul de altul, formularele pri- soanelor cele mai potrivite, indiferent de
mite si le transmit moderatorului într-un locul geografic în care se afla acestea,
timp cât mai scurt. evident în limita unui buget permis.
4. Moderatorul realizeaza o mediere a Metoda poate prezenta neajunsuri sau con-
parerilor exprimate indicând si abaterile de ditionari. În primul rând, atingerea con-
14 Revista Informatica Economica, nr. 3 (15)/2000

sensului Delphi cere timp si, în al doilea proceselor democratice, predomina servici-
rând, costurile nu sunt neglijabile. În plus, ile, creste grija fata de mediu si se dezvolta
metoda depinde foarte mult de calitatea structuri integrate de transport si informa-
coordonatorului. În fine, grupuri cu com- tice într-o societate cultural- informationa-
pozitii diferite pot ajunge la rezultate la. Decizia care se ia în consecinta este de
diferite. a produce automobile inteligente. Într-un
alt scenariu, se presupune amplificarea
2.3. Formularea de scenarii diviziunii sociale, dezvoltarea terorismului
Elaborarea deciziilor folosind scenariile se si a izolatio nismului economic si al comu-
bazeaza pe o filosofie distincta a proce- nitatilor umane. În consecinta, decizia este
sului decizional si anume aceea ca, în de a produce pe de o parte, camioane
deciziile strategice, pentru a nu fi vulne- blindate pentru transportul de marfuri si,
rabil la aparitia unor evenimente nepreva- pe de alta parte, mici automobile pentru
zute, sunt necesare: a) considerarea expli- transportul persoanelor în interiorul locali-
cita a mai multor evolutii posibile ale tatilor. Celelalte doua scenarii vizeaza
“starii naturii” si b) proiectarea în conse- substituirea transportului fizic de persoane
cinta a unui numar de alternative de (dar nu si de marfuri) prin calatoriile
actiune corespunzatoare. virtuale prin “retea” si, respectiv, “mobili-
Un scenariu se poate defini, în contextul tatea pentru mase”, când lumea a treia se
proceselor decizionale, ca o forma de ridica la nivelul tarilor dezvoltate si se
descriere sub forma narativa a modului de sterg diferentele astfel încât calatoriile se
aparitie în viitor a unor evenimente care extind ca numar de participanti si ca
sunt relevante pentru decizia, sau deciziile, distante strabatute.
care urmeaza a fi luate. Planificarea Un alt motiv pentru folosirea scenariilor
bazata scenarii considera în mod obliga- este constatarea (Wack, 1985) ca, cei care
toriu mai multe scenarii: iau deciziile înteleg mai lesne si sunt mai
Folosirea scenariilor în procesul decizional usor de convins atunci când li se face o
este recomandata în câteva situatii prezentare narativa alaturi (sau în locul)
specifice. În primul rând, ea este indicata, uneia exprimate în termenii seci ai cifrelor,
atunci când decizia vizeaza un orizont de rânduite în tabele, ca rezultat al unor meto-
timp mai lung, care poate varia de la de matematice cu care decidentul nu este,
decade, la mii de ani. În acest sens, uneori, prea familiarizat. În acest sens,
Kirkwood (1997) prezinta scenariile consi- experienta prevenirii socului pretului pe-
derate pentru luarea masurilor adecvate trolului la compania Dutch Shell la începu-
pentru depozitarea deseurilor radioactive tul anilor ’70 (Wack, 1985) este ilustrativa.
astfel încât sa se previna accesul neau- Etapele principale ale elaborarii scenariilor
torizat la acestea peste zece mii de ani sunt (Shoemaker, 1995, citat de Kirkwood,
(sic). Un mediu volatil, care prezinta multe 1997):
incertitudini de natura diversa (economica, 1. Identificarea variabilelor esentiale
politica, sociala), necesita folosirea meto- (“cheie”) ale procesului decizional si a
dei scenariilor pentru deciziile strategice intervalului de timp în care fiecare varia-
de tipul realizarii de fuziuni între firme, bila este importanta.
sau efectuarii de investitii majore. Baraba 2. Definirea actantilor celor mai impor-
(1998) descrie folosirea metodei la planifi- tanti care pot fi implicati în procesul
carea noilor generatii de automobile ale decizional (de exemplu administratia pu-
firmei General Motors plecând de la patru blica, firme, consumatori, sindicate etc.) si
scenarii posibile de evolutie a societatii, a rolului, interesului si a puterii de influ-
economiei, relatiilor internationale si the- enta ale acestora.
nologiei. În primul scenariu, se presupune 3. Estimarea tendintelor si evolutiilor de
ca, tehnologia devine parte constituanta a natura tehnologica, legislativa, politica, e-
Revista Informatica Economica, nr. 3 (15)/2000 15

conomica, sau sociala care pot avea impact sunt acceptabile într- un numar sporit de
asupra procesului decizional. Deoarece scenarii. Desigur, scenariile elaborate au
aceste tendinte si evolutii sunt, uneori, la mare utilitate în etapa de evaluare si de
prima vedere, fara legatura cu decizia care selectare a alternativei (sau a fascicolului
urmeaza a fi luata, ele sunt greu de ima- de alternative) care este recomandata
ginat si estimat. Solutia depasirii acestei decidentului.
situatii consta în diversificarea compo-
nentei grupului care elaboreaza scenariile. 2.4. Rolul expertilor
4. Identificarea surselor de incertitudine Metodele prezentate succint în subcapito-
si a variabilelor principale necontrolabile si lele 2.1., 2.2. si 2.3. sunt metode calitative,
impredictibile care pot avea un impact po- bazate pe judecata umana. Desi nu este
zitiv sau negativ asupra deciziei. Aceasta exclusa folosirea unor “numere” rezultate
etapa este critica în procesul de elaborare a din calcule, sau a unor tehnici de facilitare
scenariilor deoarece omul este, în general, a procesului de elaborare a deciziilor (care
tentat sa considere numai o multime vor fi trecute în revista în subcapitolul
restrânsa de posibilitati si incertitudini si sa 3.3.), metodele evocate se bazeaza în
excluda altele care se pot dovedi cu timpul primul rând pe cunostintele din domeniu
foarte importante. ale participantilor si pe judecata lor mai
5. Elaborarea a doua scenarii prelimi- degraba decât pe procedura în sine, care
nare, diametral opuse: primul contine serveste în principal la ordonarea sau
situatia cea mai favorabila, în timp ce al structurarea procesului. În consecinta, cali-
doilea, pe cea mai ne favorabila. tatea rezultatului depinde de selectia com-
6. Evaluarea consistentei si plauzibilitatii ponentei grupului, în care prezenta unor
celor doua scenarii extreme elaborate în experti este, de multe ori, necesara. Impli-
etapa anterioara si formularea altor doua carea unor persoane incompetente în rezol-
scenarii intermediare plauzibile si consis- varea unor probleme de decizie prin
tente prin rearanjarea elementelor compo- metode calitative este asemuita de Targett
nente ale scenariului. (1996) cu alimentarea unor programe de
7. Evaluarea comportarii posibile a calcul cu date improprii, sau masluite.
actantilor principali (identificati în etapa 2) Un expert într-un anumit domeniu este
în cadrul fiecarui scenariu si a modului în acea persoana care poseda cunostinte, pe
care aceasta comportare poate modifica baza carora poate rezolva rapid probleme
scenariul. din acel domeniu, într-o masura mult mai
8. Elaborarea, în functie de rezultatele mare decât se pot gasi în surse docu-
etapei anterioare, a doua, trei, sau maxi- mentare. Se afirma (Augustine, 1979, citat
mum patru noi scenarii distincte care sunt de Turban, 1998) ca, un expert este de trei
suficient de acoperitoare pentru o gama ori mai productiv în rezolvarea unei
larga de situatii viitoare, fara a avea pre- anumite probleme decât o persoana cu
tentia preciziei unor predictii. calificare medie si de o suta de ori mai
Metoda elaborarii scenariilor poate fi utila eficient decât un începator. Alte calitati ale
în mai multe etape ale procesului decizi- expertului sunt (Turban, 1998): a) capa-
onal. În primul rând, în etapa de culegere a citatea de a sesiza existenta unor probleme
datelor, scenariul poate servi ca tehnica de reale si importante, b) usurinta de a discer-
prognoza aproximativa a unui “fascicol” ne informatiile relevante de cele nerele-
de evolutii posibile ale starii naturii. În vante si de a simplifica situatii, care,
etapa de proiectare a alternativelor, pe baza pentru altii par încâlcite sau chiar guver-
unui set initial de alternative principale, nate de haos, c) capacitatea de a învata din
dintre care, unele sunt mai bune în cazul experientele anterioare, d) încrederea în
unui scenariu si mai proaste în cazul altora, propriile recomandari si simtul de raspun-
se pot realiza combinatii de alternative care dere fata de emiterea acestor recomandari,
16 Revista Informatica Economica, nr. 3 (15)/2000

asociate cu constientizarea propriilor limi- continutul informational al unor mesaje,


te, e) capacitatea de comunicare si demon- opinii, sau idei expuse într-o anumita etapa
strare a afirmatiilor, f) flexibilitatea si a procesului decizional.
adaptabilitatea fata de situatii noi pe care Pentru ca activitatile de reprezentare si de
nu le-a mai întâlnit, g) toleranta buna a analiza sa se faca de o maniera care sa
lucrului în conditii de stres, h) tinerea la zi faciliteze procesul decizional, Targett
a cunostintelor legate de domeniu, inclusiv (1996) face urmatoarele recomandari în
a celor mai recente rezultate. În ultima contextul datelor numerice:
instanta, aceste caracteristici confera o 1. Eliminarea datelor care nu sunt rele-
buna reputatie expertului si o mare vante pentru scopul propus (recunoasterea
credibilitate recomandarilor facute de aces- situatiei decizionale, evaluarea alternativei
ta. Într-un articol ulterior se va prezenta etc).
modul în care sistemele bazate pe cunos- 2. Reprezentarea datelor numerice într-o
tinte (“sistemele expert”) sunt concepute si forma potrivita cu modul lor de percepere
folosite în procesele decizionale. de catre mintea umana (indiferent de
suportul de afisare utilizat electronic sau pe
3. Metode si tehnici de facilitare a deci- medii traditionale ca: foi de hârtie, planse,
ziilor bazate pe jude cata folii transparente), folosind urmatoarele
În capitolul anterior au fost prezentate reguli izvorâte din studii empirice si din
câteva metode bazate pe judecata umana considerente psihologice:
care se folosesc în unele etape ale proce- • rotunjirea oricarui numar la primele
sului decizional. În continuare se vor doua cifre cele mai semnificative;
descrie câteva metode si tehnici care • ordonarea “pe coloana” (nu pe rând) a
servesc la asistarea metodelor descrise mai acelor date numerice care se intentioneaza
înainte, fara a le afecta însa esenta. a fi comparate;
• minimizarea numarului de linii si spatii
3.1. Prezentarea eficace a datelor nu- albe în interiorul tabelelor cu date numeri-
merice ce si punerea în evidenta a cifrelor sinte-
Recunoasterea unei situatii decizionale, tizatoare (totaluri, medii), separate de res-
sau proiectarea, evaluarea si selectarea tul tabelului prin inserarea de linii sau de
unei alternative pot necesita, chiar si în ca- spatii mai mari;
zul metodelor calitative bazate pe judecata • folosirea de denumiri (etichete) neam-
umana, prezentarea si analiza unor date bigue si inteligibile pentru toata lumea în
numerice sau de alta natura. Dupa cum capul de tabel;
arata Sprague si Carlson (1982), “orice • redactarea unor explicatii si comentarii
activitate care face parte din procesul succinte privind datele numerice prezentate
decizional se desfasoara în contextul unei în tabele sau grafice;
anume conceptualizari a datelor sau infor- • folosirea de reprezentari grafice suges-
matiilor folosite în acea activitate. Con- tive (se va reveni în subcapitolul 3.3.2.).
ceptualizarea poate fi pur mentala sau 3. Identificarea unor valori numerice
poate îmbraca forma unei reprezentari pe simptomatice repetabile (de exemplu ateli-
un anumit mediu, ca de exemplu: liste cu erele în care neocuparea masinilor cu
nume de produse sau clienti, tabele sau lucrari este mai mare de x minute, sau
grafice cu date numerice, diagrame, harti coeficientul de rebuturi depaseste y%, sau
sau chiar ecuatii matematice”. Aceste scaderea vânzarilor la produsul z cu
forme de reprezentare pe un mediu fizic valoarea de w lei) si evidentierea excep-
(traditional), sau electronic prezinta avan- tiilor.
taje legate de: a) comunicarea neambigua 4. Compararea valorilor numerice anali-
cu ceilalti participanti la procesul decizi- zate cu cele culese în alte perioade de timp
onal si b) arhivarea corecta si conforma cu sau în alte locuri si validarea rezultatelor.
Revista Informatica Economica, nr. 3 (15)/2000 17

alternative. El este, în acelasi timp, usor de


3.2. Reprezentarile grafice interpretat si de memorat. Totusi repre-
Reprezentarea datelor numerice sub forma zentarile grafice nu sunt eficace în cazul
grafica (din nou independent de suportul unor evolutii complicate, care nu permit
de afisare) merita o detaliere suplimentara. evidentierea unor pattern-uri complicate.
Acest mod de reprezentare este, în general, Sprague si McNurlin (1993) fac urmatoa-
foarte apreciat si eficace deoarece permite rele recomandari privind utilizarea diferi-
o comunicare rapida si perceptii sinoptice telor tipuri de reprezentari grafice (figu-
ale unei situatii sau ale implicatiilor unor ra1).

Control
10% Neutilizare
Trasnport Reparatii
15% Asteptare Pregatire
Prelucrare 55% Prelucrari

20%

1 2 3

a) Diagrama cu sectoare b) Diagrama cu coloane


t/zi

t/zi
1

11

13

15

17

19

21

11

13

15

17

19

21
c) Histograma d) Serie de timp

C1
5
4
3
nr h./sapt

2
C5 C2
1
V1
0
V2

C4 C3

venit

e) Diagrama de dispersie f) Diagrama paianjen


Fig. 1. Câteva exemple de reprezentari grafice

• diagramele de tip coloana (”column diferite alternative comparate fata de un


chart”) sau de tip sector de cerc (“pie singur criteriu de evaluare. Coloanele sau
chart”) sunt utile pentru a indica totalurile barele verticale pot fi în trei dimensiuni.
si valorile elementelor componente. Dia- Dupa unii autori (Mertens et all, 1996) este
gramele de tip bara orizontala sunt utile preferabila unei a treia dimensiuni, o
pentru a reprezenta scorurile obtinute de reprezentare separata pe axa absciselor;
18 Revista Informatica Economica, nr. 3 (15)/2000

• diagramele de dispersie (“scatter dia- cuprinde: graficele PERT (în planificarea


grams”) sunt recomandate pentru a sugera activitatilor), retelele semantice (în repre-
relatia de dependenta între doua variabile; zentarea cunostintelor), diagramele entitati
• histogramele si diagramele de serie de - relatie (în structurarea datelor), diagrame-
timp (“time series charts”), sau diagrame le de flux de date (în proiectarea progra-
linie (“line charts”, se pot folosi pentru a melor informatice), arborii de defect (în
ilustra evolutia dinamica a unei variabile. analiza fiabilitatii), diagramele dinamicii
Se recomanda (Mertens et all, 1996) ca, sistemelor sau dinamica industriala (în
atunci când numarul de coloane este mai analiza economica a sistemelor de pro-
mare decât 16, sa se înlocuiasca histo- ductie), retelele Petri si GRAI, diagramele
grama compusa dintr-o succesiune de IDEF, PERA si CIMOSA (în modelarea
coloane printr-o diagrama linie (figura 1 c sistemelor de fabricatie) (Filip si Barbat,
si d); 1999). În analiza deciziilor, un tip specific
• hartile bi si tridimensionale permit de reprezentari grafice îl constituie diagra-
evidentierea unor relatii de dependenta mele de influenta. (Clemen, 1996; Kirk-
spatiala; wood, 1997; Oliver, Smith, 1990; Morgan,
• diagramele de secventa (“flowcharts”) Henrion, 1998). Acestea au fost propuse de
si de tip Gantt ilustreaza ordinea de apari- R. Howard si J. Matheson (1985) de la
tie a unor evenimente si desfasurarea în Universitatea Stanford în scopul reprezen-
paralel a unor activitati; tarii calitative, intuitive si mai ales com-
• organigramele evident iaza relatiile pacte a elementelor esentiale ale unei
ierarhice între diferite entitati; probleme decizionale care prezinta aspecte
• diagramele de tip “paianjen” (“spi- de incertitudine si a relatiilor dintre aceste
der”), sau “radar”, permit compararea unor elemente.
alternative de-a lungul mai multor axe, 3.3.1. Notatii
care reprezinta criteriile de evaluare. Pentru a reprezenta elementele procesului
Un rol important în reprezentarile grafice decizional, diagramele de influenta folo-
pe medii traditionale sau electronice îl sesc un numar restrâns de simboluri grafice
joaca modul de colorare (Power, 2000). (figura 2).
Culoarea poarta anumite mesaje, de exem- Astfel, dreptunghiurile reprezinta o varia-
plu “rosu” indica o situatie care necesita bila sau un nod de decizie. De obicei,
atentie sau chiar o alarma, “albastru” nodurile de decizie se plaseaza în stânga
sugereaza încredere, sau o situatie buna, iar paginii sau a ecranului. Variabilele incerte
verde, ceva clar. În plus, culoarea permite (care sunt exprimate în termenii distribu-
pur si simplu distingerea mai lesnicioasa a tiilor de probabilitate), denumite si noduri
unor contururi pentru cei care au dificultati sansa, sunt reprezentate prin elipse în
de vedere sau se afla la distanta de notatia produsului Analytica al firmei
reprezentarea grafica. În cazul reprezenta- Lumina (Lumina, 2000 a), sau prin cercuri
rilor pe ecran cu tub catodic se recomanda în alte notatii (Clemen, 1996; Kirkwood,
folosirea culorilor pastelate. 1997). Variabilele ale caror valori sunt
univoc determinate atunci când se cunosc
3.3. Diagrame de influenta valorile intrarilor (denumite si noduri
Reprezentarile grafice descrise în subca- deterministe) sunt reprezentate prin drep-
pitolul 3.2. au un caracter general, iar tunghiuri cu colturi rotunjite sau prin elipse
folosirea lor nu se limiteaza numai la sau cercuri duble. Variabila obiectiv (de
analizele efectuate în procesele deciziona- extremizat), sau nodul valoare, se repre-
le. Pe lânga acestea, mai pot fi mentionate zinta fie printr- un hexagon, fie printr-un
o serie de alte modalitati de reprezentare si dreptunghi rotunjit dublu si se plaseaza de
comunicare a ideilor specifice unor disci- obicei în partea din dreapta a paginii
pline. O lista chiar incompleta ar putea ecranului.
Revista Informatica Economica, nr. 3 (15)/2000 19

a)

b)

Decizie Variabila Variabila Variabila


incerta determinista obiectiv

Fig. 2. Reprezentarile grafice în: a) notatia analitica si b) notatii alternative

Simbolurile mentionate mai sus sunt inter- scop descrierea în detaliu a cailor posibile
conectate prin sageti, care reprezinta influ- în secventele decizionale. Ei reprezinta un
entele. În cazul în care nodurile destinatie instrument puternic (si bine sustinut de
reprezinta variabile deterministe, sageata produse informatice) în activitatile de eva-
indica faptul ca, acestea se calculeaza ca luare si selectare unei alternative, folosind
functie de valoarea transmisa de catre anumite calcule si merita o prezentare
nodul (sau nodurile) de origine. În cazul în detaliata. Aceasta prezentare se va facetr-
care nodul destinatie reprezinta o variabila un articol ulterior dedicat analizei decizii-
incerta, sageata arata ca distributia de lor în conditii de incertitudine si impreci-
probabilitate a acesteia este conditionata de zie. La rândul lor diagramele de influenta,
valorile din nodul sursa. O sageata catre un desi sunt în aparenta mai putin complexe si
nod de decizie indica o influenta informa- impresionante din punct de vedere tehnic
tionala, în sensul ca variabila de decizie decât arborii de decizie, pot contine mai
din nodul sursa va fi cunoscuta atunci când multa informatie calitativa si pot repre-
se va lua decizia respectiva si va afecta zenta în mod compact situatii pentru care
decizia corespunza toare nodului destinatie. arborii de decizie ar deveni prea complicati
Absenta sagetilor între anumite noduri si ar necesita sute de noduri si arce
implica presupunerea ca variabilele cores- (Kirkwood, 1997; Lumina, 2000 a) si, în
punzatoare sunt independente (Morgan, consecinta, ar fi greu de reprezentat într-un
Henrion, 1998). mod inteligibil. În plus, ele stimuleaza ca-
pacitatea de analiza si de structurare a pro-
3.3.2. Diagrame de influenta si arbori de blemelor. Dupa cum arata Clemen (1996)
decizie în “Ghidul pentru studenti” la cartea sa
De multe ori diagramele de influenta se “Making Hard Decisions”, pe masura
descriu în literatura (si coexista în pro- trecerii anilor de când preda analiza
dusele informatice) alaturi de arborii de deciziilor, constata ca în aceasta disciplina,
decizie (Targett, 1995; Clemen, 1996; “nivelul matematic necesar este scazut, în
Kirkwood, 1997). Arborii de decizie au ca timp ce cel al gândirii analitice este înalt”.
20 Revista Informatica Economica, nr. 3 (15)/2000

a) Arborele de decizie

b) Diagrama de influente
Fig. 3. Lansarea în activitatea de inginerie a deciziilor asistate de calculator
Legenda:
P%: Probabilitatea; DLA: Decizia de lansare în activitate;
CF: Costuri fixe; CV: Costuri variabile
CT: Costuri totale; SE: Situatia economiei;
NA: Numarul de aplicatii; VP: Valoarea de piata a unei aplicatii;
VT: Venituri totale; P: Profit brut realizat

3.3.3. Exemplu rea, si în consecinta, numarul de aplicatii


Sa presupunem ca unul dintre cititorii aces- realizate vor fi mari (de exemplu, 20 de
tui articol ajunge la concluzia ca domeniul aplicatii pe an), medii (10 aplicatii), mici
ingineriei deciziei asistate de calculator (2 aplicatii). O afirmatie asemanatoare se
poate prezenta interes pentru demararea poate face în ceea ce priveste pretul care
unei activitati lucrative. O decizie de poate fi acceptat de catre clienti pentru
angajare în acest domeniu (constând în fiecare aplicatie. La rândul lor, costurile
dezvoltarea de produse proprii, sau în vor avea o parte fixa pentru acoperirea
implementarea unor produse achizitionate), cheltuielilor curente si a celor de dezvol-
sau de renuntare urmareste atingerea unui tare de produse proprii sau de achizitie a
obiectiv. Vom presupune ca obiectivul este unor produse de la terti. Vom presupune
obtinerea unui profit cât mai mare (sau pentru moment ca, dezvoltarea produsului
evitarea unor eventuale pierderi). Profitul nu prezinta incertitudini în ceea ce priveste
brut se obtine prin scaderea costurilor din resursele consumate si timpul necesar
venituri. În functie de starea naturii, aici pentru activitati de dezvoltare sau adaptare.
starea generala a economiei (o variabila Cheltuielile variabile legate de marketing,
incerta) mai buna, medie sau proasta, cere- de implementare si de asistenta tehnica
Revista Informatica Economica, nr. 3 (15)/2000 21

sunt determinate de starea economiei Language al firmei Applied Decision Ana-


direct sau indirect prin intermediul numa- lysis (Bhargava, Shridar, Herrick, 1999).
rului estimat de aplicatii realizate. Arborele
de decizie si diagrama de influenta care îl 4. Note si comentarii
pot ajuta pe decident în structurarea S-a intentionat ca acest articol sa fie unul
problemei sale decizionale sunt prezentate cu caracter pregatitor, ilustrativ si conti-
în figura 3. nând unele informatii cu caracter preli-
minar. Astfel, prin prezentarea modului
3.3.4. Asistarea cu produse informatice cum se elaboreaza si se iau deciziile
Desigur, diagramele de influenta se pot folosind în mod esential judecata umana s-
elabora manual. În prezent, exista însa a urmarit crearea unei baze pentru
produse informatice comerciale care facili- întelegerea necesitatii unor tehnologii in-
teaza aceasta elaborare. Cel mai cunoscut formatice care sa sprijine procesul decizi-
este produsul Analitica al firmei Lumina onal precum cele care sunt bazate pe
Decision Inc. (Lumina, 2000 a, b; Bhar- analiza datelor, cele care asista lucrul în
gava, Shridar, Herrick, 1999). Acest cooperare asistat de mijloacele de comuni-
produs comercial reprezinta fructul unei care si cele care emuleaza activitatea ex-
activitati de cercetare-dezvoltare îndelun- pertilor umani. Articolul a ilustrat anumite
gate în domeniul instrumentelor de mode- aspecte privind procesele decizionale de
lare, analizei incertitudinii si interfetelor grup. În fine, anumite elemente prezentate
om- masina desfasurate la Universitatea în articolul de fata vor fi reluate si dez-
Carnegie Mellon si la firma Lumina voltate ulterior. Este vorba, în primul rând,
Decision Systems si succede unui alt de problematica deciziilor în conditii de
instrument informatic denumit Demos incertitudine, evocata în subcapitolul 3.4.
(Henrion, Morgan, 1985). Produsul permi- care va fi extinsa într-un articol ulterior.
te o serie de extinderi ale diagramelor de Considerente legate de economia generala
influenta standard precum: a lucrarii au condus la decizia de a lasa pe
• realizarea de ierarhii de diagrame mo- seama cititorului sa studieze alte metode
dulare, care pot cuprinde sute si mii de importante, utilizabile si în analiza deci-
variabile; ziilor, fara însa a fi specifice acesteia,
• posibilitatea de folosire de variabile precum:
vectoriale sau sub forma unor matrici • arborii de pertinenta (Targett, 1996),
multidimensionale cu zeci de dimensiuni; care au ca scop determinarea importantei
• utilizarea de biblioteci de functii pre- deciziilor initiale dintr-o secventa de acti-
definite sau create de utilizator; uni care urmaresc atingerea unui obiectiv;
• realizarea de reprezentari dinamice prin • structurarea problemelor folosind ana-
sageti de influenta de reactie si timpi de liza orientata pe obiecte (Coad, Yourdon,
întârziere. 1992, 1993; Roumbaugh et all, 1996;
Mai multe detalii pot fi gasite în capitolul Fowler, 1997, Jacobson, Ericsson, Jacob-
10 al lucrarii lui Morgan, Henrion (1998). son, 1993). Aceasta este un fel de “lingua
În prezent exista produse informatice care franca”, prin care se poate realiza o struc-
permit: a) obtinerea în mod automatizat de turare compacta, modulara si eficace a unei
arbori de decizie detaliati din diagrame de mari diversitati de probleme prin folosirea
influenta generale, sau b) reprezentari unor metode grafice de abstractizare a
hibride compuse din arbori de decizie si entitatilor din lumea reala (reprezentate
diagrame de influenta. Exemplele cele mai prin clase si obiecte) în vederea proiectarii
cunoscute sunt DATA (Decision Analysis de sisteme informatice si facilitarii realiza-
by Treeage) al firmei Threeage Software si rii de programe indiferent de limbajul folo-
respectiv DPL (Decision Programming sit. Informatii despre UML (“An Unified
Modeling Language”), care combina prin-
22 Revista Informatica Economica, nr. 3 (15)/2000

cipalele abordari în modelarea orientata • Clemen, R.T. (1996). Making Hard


obiect, se pot gasi la adresa: Decisions; An Introduction to Decision
http://www.rational.com/uml. Analysis, Second Edition. Duxbury Press,
Toate metodele expuse în acest articol pot Belmont, CA.
fi utilizate cu sau fara ajutorul calcula- • Coad, P., E. Yourdon (1992). Object
torului. Acest lucru este valabil si pentru Oriented Analysis. Yourdon Press.
alte metode folosite în procesul decizional. Prentice Hall Building, Englewood Cliffs,
Dupa cum arata Clemen (1996) în secti- N.J.
unea “Computers and Decision Analysis” a • Coad, P., E. Yourdon (1993). Object
hiperprefetei la cartea sa “Making Hard Oriented Design. Yourdon Press. Prentice
Decisions”, “conceptele si tehnicile de ana- Hall Building, Englewood Cliffs, N.J.
liza a deciziilor pot fi de fapt însusite, • Dertouzos, M. (1997). What it Will
întelese si folosite în mod eficace chiar Be. How the New World of Information
fara a atinge calculatorul”. Totusi, folo- Will Change Our Lives. Trad, lb.rom.: Ce
sirea tehnologiilor informatice, ca si în alte va fi; cum vom trai în lumea noua a
domenii, potenteaza si extinde aceste informatiei, Editura Tehnica, Bucuresti
metode crescând eficienta participantilor la (2000).
procesul decizional si constituie uneori o • Filip, F.G., B. Barbat (1999).
conditie necesara pentru rezolvarea în timp Informatica industriala; noi paradigme
util a unor probleme complicate. si aplicatii, Ed. Tehnica, Bucuresti.
Cititorului interesat de obtinerea de infor- • Fowler, M. (1997). UML Distilled:
matii suplimentare privind diagramele de Applying the Standard Object Modeling
influenta si de produse demonstrative i se Language. Addison Wesley Longman
recomanda adresele: Inc., Reading MA.
http://www.lumina.com/software (pentru • Henrion, M., M.G. Morgan (1985). A.
produsul Analytica al firmei Lumina) si computer aid for risk and other policy
http://wwww2.sis.pitt.edu/genie (pentru Ge Analysis. Risk Analysis, 5, 195-208.
NIe, un instrument informatic dezvoltat la • Howard, R.A., J. Matheson (1984).
Decision Systems Laboratory al Univer- Principles and Applications of Decision
sitatii din Pittsburgh). Analysis, 2. Strategic Decisions Group,
Menlo Park, California, p.719-762.
Bibliografie • Jacobson, I., M. Ericsson, A. Jacobson
• Augustine, N.R. (1979). Distribution of (1993). The object Advantage: Business
expertise. Defense Systems Management, Process Reengineering with Object
Spring. Technology Addison Wesley, Wokingham
• Barabba, V.P. (1998). Revisiting Pla- • Kirkwood, C.W. (1997). Strategic De-
to’s cave. În D. Tapscott, A. Lowy, D. cision Making. Duxbury Press, London.
Ticol (Eds). Blue Print to the Digital • Lindstone, H., M. Turroff (1975). The
Economy, McGraw-Hill, New York, p. Delphi Method: Technology and Appli-
35-62. cations. Addison-Wesley, Reading M.A.
• Bhargava, H.K., S. Sridhar, C. Herrick • Lumina (2000 a). Influence Diagrams .
(1999). Beyond spreadsheets: tools for (http://www.lumina.com/software/influenc
building Decision Support Systems. Com- ediagrams.html).
puter, March, 31-39. • Lumina (200 b). Learn a bout Analy-
• Burdus, E., Gheorghita Caprarescu tica http://www.lumina.com/software/learn
(1999). Fundamentele managementului aboutanalytica.html
organizatiei, Ed. Economica, Bucuresti. • Markowitz, Jane (1997). Electronic
• Clemen, R.T. (1996) Making Hard meeting systems: another tool in the faci-
Decisions , Guide for Students. litator’s beg. Facilitator, Spring (http://
(http://www.duke.edu/~clemen/guide.htm). www.groupsystems.com/libray-ems- html).
Revista Informatica Economica, nr. 3 (15)/2000 23

• Mertens, P., J. Hagedorn, M. Fischer, • Russeau, B. (1998). Better meetings


N. Bissantz, M. Haase (1996). Towards through electronic thinking. Meeting
active management information systems. News, April 6 (http://www.groupsystems.
In P. Humphreys, L. Bannon, A. Mclosh, com/libraryemsthink.html).
P. Migliaresc, J.Ch. Pomerol (Eds). Im- • Schoemaker, P.J.H. (1995). Scenario
plement ing Systems for Supporting Ma- planning: a tool for strategic thinking.
nagement Decisions; Concepts, Methods Sloan Management Review, 36(2), 25-40.
and Experiences. Chapman & Hall, p.30- • Schwenk, C., H. Thomas (1983). For-
325. mulating the mess: the role of decision aids
• Morgan, M.G., M. Henrion (1998). in problem formulation. Omega: the
Uncertainty: a Guide to Dealing with International Journal of Management
Uncertainty in Quantitative list and Science, 11(3), 225-31.
Policy Analysis. Cambridge University • Sprague Jr., R.H., Barbara McNurlin
Press, New York. (1993). Information Systems Manage-
• Nicolescu, O., M. Nastase (2000). ment in Practice, 3rd Ed. Prentice Hall,
Metoda sedintei. În O. Nicolescu (coord.). Englewood Cliffs, N.J.
Sisteme, metode si tehnici manageriale • Sprague Jr., R.H., E.D. Carlson (1982).
ale organizatiei. Editura Economica, Bu- Building Effective Decision Support Sys-
curesti, p. 427-444. tems. Prentice Hall, Englewood Cliffs N.J.
• Oliver, R.M., J.Q. Smith, (Eds.) • Targett, D. (1996). Analytical Deci-
(1990). Influence Diagrams, Belief Nets, sion Making. Pitman Publishing, London.
and Decision Analysis. John Wiley & • Turban, E., J.E. Aronson (1998).
Sons. Decision Support Systems and Intel-
• Power, D. (2000). Decision Support ligent Systems . Fifth Edition. Prentice
Systems. Cedar Falls, IA; DSS Resources, Hall, Upper Saddle River, New Jersey.
COM, pre-publication, PDF Version, 2000. • Turton, R. (1991). Behavior in a Bu-
(http://dssresources.com/dssbook). siness Context. Chapman and Hall, Uni-
• Rumbaugh, J., M.Blacha, W. versity and Professional Division, London.
Premerlani, F.Eddy, W. Lorensen (1993). • Wack, P. (1985). Scenarios: uncharted
Object Oriented Modeling and Design. waters ahead. Harvard Business Review,
Prentice Hall, Englewood Cliffs, N.J. Sept/Oct, 73-89.

S-ar putea să vă placă și