DECIZIILE COLECTIVE SI ASITAREA LOR CU CALCULATORUL ; Partea I : Metode sistematice F.G. Filip 1.

Introducere Decizia este rezultatul unor activiti contiente, specifice omului, care constau n acumularea i crearea de cunotine n cadrul procesului de rezolvare a unei probleme de alegere dintre mai multe alternative, identificate sau proiectate, n vederea efecturii de aciuni care implic antrenarea unor resurse, n scopul realizrii unor obiective. Stabilirea prioritatilor in cercetarea romaneasca sau in cea desfasurata in sistemul Academiei Romane, adoptarea masurilor de reorganizare a institutelor si centrelor de cercetare, definitivarea planului de actiuni de colaborare internationala, planificarea investitiilor sunt cateva exemple de probleme decizionale. O serie de autori au remarcat necesitatea considerrii deciziilor colective (denumite si "de tip multiparticipant"). Astfel, P.Keen (1981, citat de Gray i Nunamaker, 1993) arta c, este necesar o revizuire a modelului " decidentului singuratic, care strbate cu pai mari, culoarele organizaiei, seara trziu, n ncercarea de a lua o hotarare. Keen arta c acest model este valabil numai ntr-un numr redus de cazuri i c, n majoritatea organizaiilor publice sau private din rile avansate, cele mai multe dintre deciziile [importante] sunt luate dup consultri intense. Pe aceeai linie, J. K.Galbraith (1971, citat de Dumarest, 2001) descria, nc i mai nainte, luarea deciziilor de ctre decideni colectivi (de tip multiparticipant) astfel: Organizaia modern, sau acea parte a ei care necesit conducere i ghidare, const dintr-un numr de indivizi care sunt angajai, n fiecare moment, n aciunile de dobndire, sintetizare, schimb i testare de informaii. O foarte mare parte a schimbului i testrii informaiilor se realizeaz prin conversaii.[....]. Procedura cea mai rspndit este ns lucrul n comitete i n edinele acestor comitete... O decizie n organizaia modern este produsul grupurilor nu al indivizilor. Aceasta prima parte a lucrarii are ca scop prezentarea unor modalitati sistematice de luare a deciziilor colective . Partea a doua va descrie felul in care solutiile bazate pe tehnologia informatiei pot contribui la cresterea calitatii deciziilor si a productivitatii decidentilor. Articolului preia si actualizeaza unele elemente continute in cartile "Sisteme suport pentru decizii" ( Ed. Tehnica , 2004) si " Decizie asistata de calculator: decizii, decidenti , metode si si instrumente de baza" ( Ed. Tehnica si Ed

Expert, Bucuresti, 2002) . Scopul articolului este sa aduca o modesta contributie la pregatirea in plan metodologic a deciziilor importante care urmeaza a fi luate in viitorul apropiat in Academia Romana. 2. Decizii de tip multiparticipant 2.1. Caracteristici Procesele decizionale de tip multiparticipant pot fi vzute ca fiind compuse din subprocese desfurate la nivelul fiecrui individ. Acestea se petrec att n paralel ct i n secven. De mult ori, subprocesele individuale presupun schimburi de informaii (date iniiale, rezultate pariale, reacii) ntre participani. n consecin, comunicarea ntre participani este esenial i necesit un suport pentru mbuntirea calitii soluiei. Decizia adoptat de grup poate fi rezultatul unei combinaii de soluii individuale, (soluia de compromis). Ea mai poate reprezenta rezultatul unei proceduri de selectare (prin consens, vot majoritar sau calificat n funcie de puterile decizionale ale fiecrui participant) a uneia dintre soluiile individuale. In consecin, decizia colectiv poate s nu fie raional n sensul definit de laureatul Premiului Nobel H.Simon pentru deciziile individuale i anume s constea dintr-o alegere dintr-un set complet de alternative innd cont de un criteriu (sau de un set de criterii) de evaluare adecvat. Altfel spus, soluia adoptat de ctre decidentul colectiv nu reprezint n mod necesar combinaia cea mai bun a soluiilor individuale considerate optime din punctele de vedere, posibil diferite, ale cunotinelor disponibile i logicii decizionale adoptate de fiecare participant. n consecin, modelul deciziei de tip multiparticipant trebuie s in seama de mai muli factori ca: a) natura social a soluiei (care e determinat de posibilele conflicte de interese, influenele i relaiile diferite), b) complexitatea i multilateralitatea deciziilor (datorit viziunilor i abordrilor posibil diferite ale fiecrui participant) (De Michelis, 1996). 2.2. Coordonarea participanilor la procesul decizional n elaborarea unei decizii colective este important s se utilizeze un mecanism de coordonare a activitilor participanilor. Se pot identifica (Holsapple, Whinston, 1996) mai multe clase de modaliti de coordonare. Cteva dintre acestea sunt:
1.

Coordonarea prin revizuirea aciunilor, care are ca scop evitarea conflictelor ntre

participani prin furnizarea continu ctre acetia a unor informaii actualizate, de natur s-i determine s-i adapteze activitile la situaia curent.

2.

Coordonarea prin tehnici structurate, cu ajutorul crora participanii sunt ghidai s

ajung la o soluie, sau la un scenariu decizional. Principalele metode sunt descrise mai jos.
3.

Coordonarea prin negociere (sau prin arbitraj) pentru atingerea unei soluii

acceptabile (sau, respectiv, acceptate) de ctre toi participanii care se situau la nceput pe poziii diferite (sau, respectiv, conflictuale). Negocierea este descris n subcapitolul 2.3. din (Filip, 2002). 3. Tehnici structurate n continuare se vor descrie cteva dintre principalele metode de elaborare i selectare a deciziilor folosite n mod tradiional i care se bazeaz pe judecata uman i anume: metodele discuiilor de grup, ancheta Delphi i elaborarea de scenarii. Dintre acestea, primele dou presupun participarea unui grup de persoane, al treilea putnd fi realizat, uneori, de un singur om. 3.1.1. Discuiile de grup 3.1.1. 1. edina decizional edina decizional este o metod tradiional de luare a deciziilor n grup. n general, edina este definit (Nicolescu, Nstase, 2000) ca o metod de soluionare a unor sarcini, probleme sau situaii privind adoptarea unor decizii, sau explorarea unor perspective, sau transferul unor informaii, sau armonizarea unor atitudini pe baza comunicrii directe ntre un numr de participani, reunii (fizic sau, mai nou, prin intermediul mijloacelor de comunicaie electronice) pentru scurt timp, sub coordonarea unei persoane mputernicite, sau alese chiar de ctre participani. Etapele generale ale unei edine sunt (Nicolescu, Nstase, 2000):
1.

pregtirea edinei, care const n urmtoarele: a) specificarea ordinii de zi, care trebuie s conin formularea precis i clar a problemei/problemelor de soluionat, b) stabilirea participanilor, c) elaborarea si distribuirea documentelor care conin informaiile pregtitoare necesare etc.;

2.

deschiderea edinei, care cuprinde: a) anunarea de ctre conductorul edinei a menirii i obiectivelor edinei i b) convenirea, mpreun cu participanii, a duratei totale de desfurare a edinei i a timpului acordat lurilor de cuvnt;

3.

derularea edinei, n care se urmrete: a) sublinierea contribuiilor semnificative pentru rezolvarea problemei. b) controlul interveniilor care sunt excesive ca durat sau nepotrivite ca mod de exprimare sau nerelevante fata de subiectul sedintei etc.;

4.

nchiderea edinei, prin: a) limitarea duratei acesteia, b) punctarea principalelor decizii adoptate i a eventualelor puncte de vedere divergente exprimate n vederea transmiterii ntocmai n ziua urmtoare, sub forma scris, ctre participani;

5.

evaluarea rezultatelor, efectuat de ctre conductorul edinei mpreun cu un colectiv restrns de colaboratori, inclusiv cu persoana care realizeaz procesul verbal. n edinele exploratorii care au ca scop realizarea unor predicii sau proiectarea

unor alternative de decizie este, de multe ori, recomandabil s se realizeze consensul participanilor. innd cont de faptul c, personalitatea, poziia social, interesele i informaiile de fundal diferite ale participanilor pot conduce la dominarea edinei, sau la formarea de coaliii premeditate sau ad-hoc i, n ultim instan, la rezultate inadecvate, se recomand (Targett, 1996) structurarea edinelor. Aceasta se poate realiza prin atribuirea de responsabiliti diferite participanilor potrivit cu calificarea fiecruia. 3.1.1.2. Tehnici bazate pe stimularea creativitii Tehnica grupului nominal, (Nominal Group Technique-NGT) propus de Delbec, Van der Ven i Gustavson (1975) este o form tradiional de edin exploratorie bazat pe stimularea creativitii. Ea se compune dintr-o secven de activiti precum: a) redactarea n scris de idei n mod individual de ctre fiecare participant, b) afiarea acestor idei pe un suport vizibil pentru toi participanii, c) discutarea n secven a ideilor numai dup afiarea acestora, d) acordarea de prioriti fiecrei idei, de ctre fiecare participant n mod individual, e) discutarea n plen a prioritilor propuse, f) rearanjarea prioritilor n mod independent .a.m.d. Brainstorming-ul este o tehnic asemntoare, avnd ca scop principal generarea de idei, prognoze, sau de alternative de decizie i de criterii de evaluare n edine cu durat limitat i cu numr restrns de participani (8-15 persoane). Ea se bazeaz pe premisa c numrul de preri exprimate,(chiar i fanteziste) face calitatea (n sensul creterii probabilitii de a obine un rezultat bun). Alte elemente caracteristice ale metodei sunt: a) separarea momentului de expunere a ideii de cel al evalurii ei i b) evitarea oricrei judeci de valoare a ideilor exprimate. Metoda se deosebete de cea a grupului nominal prin aceea c nu se ateapt expunerea ideilor

elaborate n mod individual. Din contr, se stimuleaz formularea de idei noi asociate cu cele deja expuse. Spre deosebire de metoda grupului nominal, n cazul Brainstorming-ului nu se fac prioritizri. Ca i n orice alt activitate de grup, bazat pe contactul nemijlocit ntre participani generarea de idei sau de alternative prin metoda brainstorming poate s nu conduc la cele mai bune rezultate n anumite situaii. Dintre elementele care pot avea o influen negativ se pot meniona: a) calitatea slab a coordonatorului grupului, b) subiectul discutat este delicat i aceasta induce reineri n exprimarea deschis i complet a punctelor de vedere de ctre participani, c) nu se poate realiza cea mai bun compoziie a grupului datorit fie presiunii timpului, fie indisponibilitii persoanelor cele mai adecvate, fie costului prea mare al experilor cei mai potrivii i d) climatul discuiilor nu este constructiv. Tehnica Phillips 66(Barker, 1987) combin discuiile n plen cu cele cu caracter privat i permite participarea a ct mai multe persoane la discuiile de grup. n esen, tehnica implic divizarea temporar a unui grup mai mare n subgrupuri crora li se cere ca, pe parcursul unui interval de timp foarte scurt, s discute un anume aspect al problemei analizate, s formuleze ntrebri sau s emit o idee. La expirarea timpului alocat, purttorul de cuvnt al subgrupului prezint punctul de vedere al acestuia n plenul grupului. Metoda avocatului diavolului (Schwenk, Thomas 1983) urmrete stimularea comportrii creative i gestionarea conflictelor i tensiunilor aprute ntre participanii la procesul decizional n etapa de generare a diferitelor ipoteze considerate n luarea deciziilor. Metoda const n aceea c, o persoan sau un grup de persoane pregtete i prezint un plan de aciune pentru rezolvarea unei situaii aprute ntr-un mediu n schimbare. Alt persoan, sau grup de persoane, joac rolul avocatului diavolului, ncercnd s evidenieze i s argumenteze neajunsurile planului propus printr-o critic nu neaprat constructiv. Aceast critic servete, alturi de planul iniial, ca baz pentru un plan revizuit. Avantajul metodei const n aceea c problema poate fi considerata din mai multe perspective i ansele de a trece cu vederea anumite aspecte greu de perceput se micoreaz. Rolul moderatorului discuiei, care trebuie s ntrein o atmosfer sntoas, stimulatoare pentru expunerea deschis a opiniilor este foarte important (Clemen, 1996).

Metoda interogrii dialectice const n confruntarea de argumente dintre avocaii a dou planuri de aciune opuse, care se bazeaz pe interpretarea diferit a aceluiai set de date iniiale. 3.2.2. Metoda anchetei Delphi Metoda anchetei Delphi, (Lindstone i Turroff, 1975; Targett, 1996) care mprumut numele localitii n care i avea sediul Pythia, renumitul oracol al antichitii greceti, a fost dezvoltat la firma RAND Corporation. Ea este folosita n deosebi la stabilirea de prioritati si la realizarea de prognoze i predicii necesare n deciziile de planificare. Metoda urmrete realizarea consensului ntre experi cu evitarea neajunsurilor implicate de ntlnirile fa-n-fa, evocate n subcapitolul anterior. Ideile de baz ale metodei sunt: a) realizarea unei interaciuni mijlocite (prin intermediul unui moderator, sau coordonator al grupului) ntre participani, care nu trebuie s tie direct de implicarea sau de prerile celorlali i b) desfurarea procesului n iteraii succesive, declanate de ctre interveniile moderatorului, care filtreaz i mediaz punctele de vedere exprimate. Etapele procesului sunt: 1. Moderatorul pregtete i transmite fiecrui participant cte un pachet informaional ct mai concis, care conine datele iniiale, formularele i metodologia de completare. 2. Dup un interval de timp relativ scurt, moderatorul verific dac toi participanii au neles ce au de fcut i elucideaz eventualele neclariti. 3. Participanii completeaz, n mod independent unul de altul, formularele primite i le transmit moderatorului ntr-un timp ct mai scurt. 4. Moderatorul realizeaz o mediere a prerilor exprimate indicnd i abaterile de la medie. n cazul constatrii unor abateri evident intenionate cu scopul alterrii rezultatului global, acestea sunt filtrate de ctre coordonator. 5. Participanii primesc reacia moderatorului cu rugmintea de a-i reconsidera eventual punctul de vedere n funcie de informaia suplimentar primit. Atunci cnd un participant persist n a nu-i revizui punctul de vedere n funcie de informaiile suplimentare primite, el trebuie s comunice moderatorului argumentele sale care susin aceast atitudine.

Paii 3, 4 i 5 se repet pn cnd participanii nu mai fac modificri i se realizeaz, cu o toleran admis, aa numitul consens Delphi. n cazul n care, ntrun numr limitat de iteraii, nu se realizeaz consensul, moderatorul stabilete o medie a prerilor exprimate. Atunci cnd persist diferene mari, se apeleaz la o alt metod, de exemplu cea a formulrii de scenarii.. Metoda anchetei Delphi prezint avantaje importante. n primul rnd, rezultatul reflect suficient de corect prerea grupului n ansamblul su. Deoarece participanii nu au cunotin unul de altul, ei nu mai sunt inhibai de numele sau de poziia ierarhic a unor personaliti cu tendine dominatoare din grup. n plus, exprimarea sub acoperirea anonimatului ca i caracterul iterativ al procesului, care permite reconsiderri i ajustri contiente, atenueaz eventualele reineri privind exprimarea unor puncte de vedere aparent deviante. Timpul lsat la dispoziie pentru exprimarea unei preri, sau pentru reconsiderarea propriului punct de vedere pe baza informaiilor suplimentare, dei scurt, este suficient pentru evitarea unor judeci pripite. n fine, comunicarea poate fi realizat prin mijloace electronice, aceasta permind realizarea unei ct mai bune compoziii a grupului prin antrenarea persoanelor cele mai potrivite, indiferent de locul geografic n care se afl acestea, evident n limita unui buget permis. Metoda poate prezenta neajunsuri sau condiionri. n primul rnd, atingerea consensului Delphi cere timp i, n al doilea rnd, costurile nu sunt neglijabile. n plus, metoda depinde foarte mult de calitatea coordonatorului. In fine, grupuri cu compoziii diferite pot ajunge la rezultate diferite. Metoda a fost folosita in cadrul proiectului fundamental al Academiei Romane denumit "Societatea informationala-Societatea cunoasterii" la identificarea aspectelor majore de abordat si la stabilirea prioritatilor de actiune( Filip, Dragomirescu, 2001) 3.2.3. Formularea de scenarii Elaborarea deciziilor folosind scenariile se bazeaz pe o filosofie distinct a procesului decizional i anume aceea c, n deciziile strategice, pentru a nu fi vulnerabil la apariia unor evenimente neprevzute, sunt necesare: a) considerarea explicit a mai multor evoluii posibile ale strii naturii i b) proiectarea n consecin a unui numr de alternative de aciune corespunztoare. Un scenariu se poate defini, n contextul proceselor decizionale, ca o form de descriere sub forma narativ a modului de apariie n viitor a unor evenimente care sunt

relevante pentru decizia, sau deciziile, care urmeaz a fi luate. Planificarea bazat scenarii consider n mod obligatoriu mai multe scenarii: Folosirea scenariilor n procesul decizional este recomandat n cteva situaii specifice. n primul rnd, ea este indicat, atunci cnd decizia vizeaz un orizont de timp mai lung, care poate varia de la decade, chiar la mii de ani. n acest sens, Kirkwood (1997) prezint scenariile considerate pentru luarea msurilor adecvate pentru depozitarea deeurilor radioactive astfel nct s se previn accesul neautorizat la acestea peste zece mii de ani (sic). Un mediu volatil, care prezint multe incertitudini de natur divers (economic, politic, social), necesit folosirea metodei scenariilor pentru deciziile strategice chiar daca orizontul de timp este mai redus. Un alt motiv pentru folosirea scenariilor este constatarea c, cei care iau deciziile neleg mai lesne i sunt mai uor de convins atunci cnd li se face o prezentare narativ alturi (sau n locul) uneia exprimate n termenii seci ai cifrelor, rnduite n tabele, ca rezultat al unor metode matematice cu care decidentul nu este, uneori, prea familiarizat. Etapele principale ale elaborrii scenariilor sunt (Shoemaker, 1995):

1. Identificarea variabilelor eseniale (cheie) ale procesului decizional i a

intervalului de timp n care fiecare variabil este important.
2.

Definirea decizional.

actanilor celor mai importani care pot fi implicai n procesul

3.

Estimarea tendinelor i evoluiilor de natur tehnic, legislativ, politic, economic, sau social care pot avea impact asupra procesului decizional. Deoarece aceste tendine i evoluii sunt, uneori, la prima vedere, fr legtur cu decizia care urmeaz a fi luat, ele sunt greu de estimat i imaginat. Soluia depirii acestei situaii const n diversificarea componenei grupului care elaboreaz scenariile.

4.

Identificarea surselor de incertitudine i a variabilelor principale necontrolabile i impredictibile care pot avea un impact pozitiv sau negativ asupra deciziei. Aceast etap este critic n procesul de elaborare a scenariilor deoarece omul este, n general, tentat s considere numai o mulime restrns de posibiliti i incertitudini i s exclud altele care se pot dovedi cu timpul foarte importante.

5.

Elaborarea a dou scenarii preliminare, diametral opuse: primul conine situaia cea mai favorabil, n timp ce al doilea, pe cea mai nefavorabil.

6.

Evaluarea consistenei i plauzibilitii celor dou scenarii extreme elaborate n etapa anterioar i formularea altor dou scenarii intermediare plauzibile i consistente prin rearanjarea elementelor componente ale scenariului.

7.

Evaluarea comportrii posibile a actanilor principali (identificai n etapa 2) n cadrul fiecrui scenariu i a modului n care aceast comportare poate modifica scenariul.

8.

Elaborarea, n funcie de rezultatele etapei anterioare, a dou, trei, sau maximum patru noi scenarii distincte care sunt suficient de acoperitoare pentru o gam larg de situaii viitoare, fr a avea pretenia preciziei unor predicii. Metoda elaborrii scenariilor poate fi util n mai multe etape ale procesului

decizional . n primul rnd, n etapa de informare, scenariul poate servi ca tehnic de prognoz aproximativ a unui fascicol de evoluii posibile ale strii naturii. n etapa de proiectare a alternativelor, pe baza unui set iniial de alternative principale, dintre care, unele sunt mai bune n cazul unui scenariu i mai proaste n cazul altora, se pot realiza combinaii de alternative care sunt acceptabile ntr-un numr sporit de scenarii. Desigur, scenariile elaborate au mare utilitate n etapa de evaluare i de selectare a alternativei (sau a fascicolului de alternative) care este recomandat decidentului. Metoda a fost folosita intens in cadrul proiectului Academiei denumit "Societatea informationala-Societatea cunoasterii" (Filip,2001,2004). 4. Rolul experilor Metodele prezentate succint mai sus sunt metode calitative, bazate pe judecata uman. Dei nu este exclus folosirea unor numere rezultate din calcule, metodele evocate se bazeaz n primul rnd pe cunotinele din domeniu ale participanilor i pe judecata lor mai degrab dect pe procedura n sine, care servete n principal la ordonarea sau structurarea procesului. n consecin, calitatea rezultatului depinde de selecia componenei grupului, n care prezena unor experi este, de multe ori, necesar. Implicarea unor persoane nepotrivite n rezolvarea unor probleme de decizie prin metode calitative este asemuit de Targett (1996) cu alimentarea unor programe de calcul cu date gresite sau msluite. Un expert (sau specialist) ntr-un anumit domeniu este acea persoan care posed cunotine, pe baza crora poate rezolva rapid probleme din acel domeniu, ntr-o msur mult mai mare dect se pot gsi n surse documentare. Se afirm (Augustine, 1979, citat de Turban i Aronson, 1998) c, un expert este de trei ori mai productiv n

rezolvarea unei anumite probleme dect o persoan cu calificare medie i de o sut de ori mai eficient dect un nceptor. Alte caliti ale expertului sunt : a) capacitatea de a sesiza existena unor probleme reale i importante, b) uurina de a discerne informaiile relevante de cele nerelevante i de a simplifica situaii, care, pentru alii par nclcite sau chiar guvernate de haos, c) capacitatea de a nva din experienele anterioare, d) ncrederea n propriile recomandri i simul de rspundere fa de emiterea acestor recomandri, asociate cu contientizarea propriilor limite, e) capacitatea de comunicare i demonstrare a afirmaiilor, f) flexibilitatea i adaptabilitatea fa de situaii noi pe care nu le-a mai ntlnit, g) toleran bun a lucrului n condiii de stres, h) inerea la zi a cunotinelor legate de domeniu, i) rezultate notabile in rezolvarea unor probleme relevante pentru situatiile decizionale in cauz. n ultim instan, aceste caracteristici confer o bun reputaie expertului i o mare credibilitate recomandrilor fcute de acesta 5.. Bibliografie Augustine, N.R. (1979). Distribution of expertise. Defense Systems Management, Spring. Barker, L. (1987). Groups in Process. Prentice Hall, Englewood Cliffs, New Jersey Clemen, R.T. (1996). Making Hard Decisions; An Introduction to Decision Analysis, Second Edition. Duxbury Press, Belmont, CA. De Michelis, G. (1996). Co-decision within cooperative processes: analysis, design and implementation issues. In: Humphrey et al, 1996), p.124-138. Dumarest, M. (2001). Technology and Policy in Decision Support Systems. White Paper. Decision Point Applications Inc., Beaverlon, Oregon. Delbecq, A.L., A.H. Van der Ven, D.H. Gustavson (1975), Group Techniques for Planning Problems. Scott, Foresman, Glenview, I.L. Filip, F.G. (2002). Decizie asistat de calculator: decizii, decideni, metode i instrumente de baz. Ed tehnica si Ed Expert, Bucuresti.
Filip, F.G. , H. Dragomirescu (2001). Raport asupra rezultatelor anchetei Delphi privind Societatea informationala-Societatea cunoasterii. In: Filip ( 2001).pag. 33-42. Filip, F.G. (2003). Catre o economie a culturii si o infrastructura informationala intelectuala. In: Dezvoltarea economica a Romaniei: Competitivitate si integrarea in Uniunea Europeana. (A. Iancu, coordonator). Ed. Academiei Romane, Bucuresti . p.355-364. Filip, F.G. (cord.) (2001). Societatea informationala-Societatea cunoasterii; concepte, solutii si strategii pentru Romania. Ed. Expert, Bucuresti.

Gallbraith, J.K. (1971). The New Industrial State. Signet, New York.
Gray, P., J.F. Numamaker (1993). Group decision support systems. In: Decision Support Systems: Putting Theory into Practice Sprague, Watson Eds.). Third Edition. Prentice Hall International Inc., London.,,p.309-326.

Holsapple, C.W., A.B. Whinston (1996). Decision Support Systems. A Knowledgebased Approach. West Publishing Co. , Minneapolis Keen, P.G.W. (1981b). Remarks, closing plenary session. First International Conference on Decision Support Systems, Atlanta, June.

Humphrey, P., L. Bannon, A. McCosh, P. Migliarese, J.Ch. Pomerol, Eds. (1996). Implementing Systems for Supporting Management Decisions: Concepts, Methods and Experiences. Chapman & Hall, London. Lindstone, H., M. Turroff (1975). The Delphi Method: Technology and Applications. Addison-Wesley, Reading M.A. Nicolescu, O., M. Nstase (2000). Metoda edinei. n: Sisteme, metode i tehnici manageriale ale organizaiei. (O. Nicolescu coord.). Editura Economic, Bucureti, p. 427-444. Schoemaker, P.J.H. (1995). Scenario planning: a tool for strategic thinking. Sloan Management Review, 36(2), 25-40. Schwenk, C., H. Thomas (1983). Formulating the mess: the role of decision aids in problem formulation. Omega: the International Journal of Management Science, 11(3), 225-31. Targett, D. (1996). Analytical Decision Making. Pitman Publishing, London. Turban, E., J.E. Aronson (1998). Decision Support Systems and Intelligent Systems. Fifth Edition. Prentice Hall, Upper Saddle River, New Jersey. (Sixth Ed., 2000).