Întrebări de curs

Condiții preliminare pentru evaluarea inter pares

Istoria evaluărilor de la colegi

Formarea modelului

Metode de modelare euristică

4.1. Metode matriceale

4.2. Metode grafice

4.3. Ierarhia factorilor

4.4. Proprietățile modelului

4.5. Model de management al calității

5. Crearea unui sondaj de experți

6. Metode de evaluare a evaluărilor experților

1. Condiții preliminare pentru evaluarea inter pares

În teoria și practica managementului modern se pot distinge următoarele categorii de sarcini: analiză, evaluare, previziune, optimizare, planificare, alegere etc. Starea științelor exacte de astăzi ne permite să realizăm o formulare matematică clară pentru fiecare dintre ele și să enumerăm metodele formale de rezolvare a acestora.

Utilizarea modelelor matematice vă permite să reproduceți lumea reală (sau cel puțin o parte a acesteia - un obiect de control sau un sistem de control). Cu toate acestea, modelul în practică poate să nu fie atât de adecvat pe cât ne-am dori și poate să nu reflecte întotdeauna întreaga diversitate a vieții reale, ale cărei manifestări sunt mult mai complexe decât ne gândim. Motivul principal al complexității este limitarea cunoștințelor noastre despre lume (interpretarea complexității ca grad al ignoranței noastre a fost propusă de I. Prigogine, care a definit un sistem complex ca un sistem al cărui comportament poate fi neașteptat pentru noi și pentru care nu avem un model adecvat).

Complexitatea sarcinilor reale apare în cele ce urmează.

Varietate de factori. Orice modelare presupune identificarea unui set finit de obiecte (elemente ale sistemului), proprietățile acestora și factorii care acționează în problemă. În același timp, nu se știe câți factori am omis.

natura de calitate. Adesea, factorii și proprietățile unui obiect nu pot fi măsurate și cuantificate.

Personaj aleatoriu. Seturile neclare și factorii necontabiliați din model sunt sursele naturii aleatorii a aproape tuturor proceselor reale analizate. Componenta aleatorie este prezentă peste tot.

Neclaritatea criteriilor. Lipsa de informații și incertitudinea modelului dau naștere unei alte probleme - estomparea scopului. Dacă ideile despre obiectiv sunt neclare, există o problemă de a formula criterii clare, mai ales dacă rezultatul așteptat este estimat aproximativ, iar sarcina de rezolvat este asociată cu risc.

Preț mare. Aceste dificultăți pot fi depășite, dar acest lucru necesită multă muncă, atragerea de specialiști de înaltă calificare, investirea de fonduri semnificative și timp îndelungat.

Toate aceste puncte nu sunt o problemă pentru o persoană care acționează pe baza propriilor cunoștințe informale, experiență și intuiție. Doar o persoană este capabilă să rezolve sarcini formulate vag, să genereze idei, să creeze imagini abstracte, să anticipeze evenimente nesocotite, să acționeze în condiții de informații incomplete și nesigure.

Istoricul recenziilor inter pares

Cuvântul „expert” este de origine latină și înseamnă „experimentat”, „cunoscător”. Metodele științifice de evaluare a experților au fost dezvoltate în a doua jumătate a secolului XX.

Primii pași - 1930 - un grup de psihologi americani a dezvoltat metode de evaluare inter pares a studiului influenței interesului unui expert asupra naturii judecăților cu privire la evenimentele socio-politice viitoare.

În perioada postbelică, impulsul dezvoltării metodelor experte au fost numeroasele lucrări legate de analiza de sistem a problemelor complexe (metoda Delphi). Prima aplicare practică a acestei metode pentru rezolvarea problemelor de evaluare a sistemelor de arme ale Departamentului de Apărare al SUA a fost făcută de Corporația RAND în 1947. Ideile acestei analize au fost folosite în 1952 în dezvoltarea bombardierului supersonic B-58, a sistemelor strategice de rachete și a sistemelor de apărare aeriană.

În domeniul civil, sarcinile de expertiză au fost:

dezvoltarea politicii în domeniul utilizării resurselor de apă;

cercetare în domeniul aviației de transport supersonice;

studiul dezvoltării flotei comerciale atomice;

analiza strategiei de construire a centralelor nucleare în Europa.

O contribuție semnificativă la teoria evaluărilor experților a avut-o M. Kendall, care a publicat în 1955 o monografie privind aplicarea metodei de corelare a rangului pentru analiza evaluărilor experților.

La mijlocul anilor 1960, au apărut metode evaluate de colegi pentru rezolvarea unor probleme complexe, cum ar fi alocarea resurselor. Cele mai faimoase dintre ele sunt PATTERN și QUEST.

Principal clase de probleme moderne, în soluția cărora se folosesc estimări ale experților.

Metoda de cercetare expertă

Metode expert-analitice de cercetare

Principalele incluse în grupul de experți-analitici sunt următoarele metode (Tabelul 3.3):

· expert;

sondaje;

· diagnostic;

grafic.

Să aruncăm o privire mai atentă la aceste metode.

Metoda expertă operează cu informații intuitive transformate de imaginație, iar acest lucru este cel mai potrivit pentru IMS, deoarece în acest domeniu de cunoaștere predomină în principal criteriile calitative de evaluare a eficienței. Această metodă de cercetare ar trebui aplicată tuturor tipurilor de management. Există mai multe modificări ale metodei, dar metoda Delphi este folosită cel mai des. Structurarea metodei de cercetare expertă (categorii de bază) este prezentată în fig. 4.2.

Orez. 4.2. Structurarea metodei expertizei de cercetare (categorii principale)

Cea mai semnificativă zonă de aplicare a metodei cercetării expertului pare să fie zona corectitudinii delimitării ariilor de responsabilitate (sectoare de responsabilitate sau funcții) între manageri și divizii pe orizontală. Deosebit de importante în acest sens sunt cunoașterea principiilor de elaborare a chestionarelor, utilizarea întrebărilor ascunse, indirecte etc.

Evaluările predictive ale experților reflectă aprecierea individuală a specialiștilor cu privire la perspectivele de dezvoltare a obiectului de studiu și se bazează pe mobilizare. experienta profesionalași intuiția (Mescon, 1993).

Condiții de aplicare metoda de cercetare intuitivă (expertă):

1) lipsa unor statistici suficient de reprezentative și de încredere asupra caracteristicilor obiectului;

2) incertitudinea de stat Mediul extern;

3) prognoza pe termen mediu și lung a noilor piețe, obiecte ale unor noi industrii care sunt puternic influențate de descoperirile din științele fundamentale (de exemplu, industria microbiologică, electronica cuantică etc.);

4) lipsa timpului sau a fondurilor alocate pentru cercetare și luare a deciziilor, lipsa oportunităților de aplicare a altor metode adecvate în acest sens;

5) situații de forță majoră.

Gradul de fiabilitate al examinării este stabilită de frecvența absolută cu care evaluarea expertului este în cele din urmă confirmată de evenimentele ulterioare.

Cerințe pentru un expert includ următoarele prevederi:

1) nivel inalt erudiție generală;

2) estimările experților trebuie să fie stabile în timp și tranzitive;

3) disponibilitatea informațiilor suplimentare despre semnele prezise nu face decât să îmbunătățească evaluarea expertului;

4) expertul trebuie să aibă o anumită experiență practică și (sau) de cercetare și să fie un specialist recunoscut în acest domeniu de cunoaștere;

5) expertul trebuie să aibă o mentalitate psihologică pentru viitor;

6) trebuie să poată afișa în mod adecvat tendințele de dezvoltare ale obiectului studiat;

7) expertul nu trebuie să fie interesat de un anumit rezultat al studiului.

La caracterizarea experților, trebuie avut în vedere că, ca urmare a dezvoltării estimărilor, poate exista două tipuri de erori:

1) sistematic,

2) aleatoriu.

Pentru a corecta erorile sistematice, pot fi aplicați factori de corecție sau pot fi folosite jocuri de antrenament special concepute. Bug-uri aleatorii se schimbă de la o evaluare expertă la alta și sunt caracterizate de amploarea dispersiei. În practica cercetării, este foarte dificil să le evaluezi.

Mijloacele de antrenament expert sunt jocuri speciale de antrenament.

Organizarea formularelor de lucru expert trebuie să fie programată sau neprogramată, iar activitatea unui expert se poate desfășura oral (interviu) sau în scris (răspunsuri la întrebări din tabele speciale de evaluări ale experților sau prezentare gratuită pe o anumită temă) (Sarkisyan, 1977).

Organizarea și stimularea muncii unui expert constă în dezvoltarea unor tehnici și metode euristice care facilitează căutarea peer review, norme juridice care garantează expertului înregistrarea priorității în calitate de autor. Este important să nu se dezvăluie toate ideile științifice și tehnice prezentate de expert în procesul de lucru, formele interesului moral, profesional și material al expertului în evaluările de specialitate, formele organizatorice ale muncii expertului (includerea în plan de lucru etc.) (Meskon, 1993).

Atunci când se rezolvă problema formării unui grup de experți, este extrem de importantă identificarea și stabilizarea unei rețele eficiente de experți. Metoda expertă de stabilizare a rețelei constă în următoarele (Dobrov, 1969). Pe baza analizei literaturii de specialitate referitoare la problema studiată, este selectat orice specialist care are mai multe publicații în acest domeniu. I se cere să numească cei mai competenți 10, în opinia sa, experți în această problemă. Apoi, ei apelează simultan la fiecare dintre cei zece specialiști numiți cu o solicitare de a indica cei mai mari 10 dintre colegii lor de știință. Din lista de specialiști primite se șterg 10 inițiale, iar celorlalți se trimit scrisori care conțin cererea de mai sus.

Această procedură se repetă până când niciunul dintre specialiștii nou numiți nu poate adăuga nume noi la lista de experți, ᴛ.ᴇ. până când rețeaua de experți se stabilizează. Rețeaua de experți rezultată poate fi considerată populația generală de specialiști competenți în domeniul cercetării problemelor. În același timp, din cauza unei serii de limitări practice, se dovedește a fi inoportun să implici toți specialiștii în examinare. Din acest motiv, este extrem de important să se formeze un eșantion reprezentativ din populația generală de experți (Bestuzhev-Lada, 1982). Această problemă este rezolvată în cadrul fiecărei metode specifice.

Pentru a minimiza costurile de cercetare, acestea tind să implice numărul minim de experți N min, cu condiția ca eroarea rezultatului cercetării să nu fie mai mare de b, unde 0

Nmin = 0,5 (3/b + 5). (4,1)

În acest caz, trebuie observată stabilizarea estimării medii a caracteristicii prezise. Realizarea acestei stabilizări este evidențiată de faptul că includerea sau excluderea unui expert din grup nu modifică estimarea relativă a valorii dorite cu mai mult de b.

Chestionarul pentru specialiști în sondaj este cel mai important instrument de prognoză expert. Pregătirea și desfășurarea examenului include elaborarea de chestionare care conțin un set de întrebări privind obiectul de studiu. Din punct de vedere structural, setul de întrebări din chestionar ar trebui să aibă legătură logic cu sarcina centrală a examinării. Conținutul întrebărilor este determinat de specificul obiectului de studiu și de metodologia acestuia. Τᴀᴋᴎᴍ ᴏϬᴩᴀᴈᴏᴍ, sistem de întrebări din chestionar trebuie să îndeplinească următoarele cerințe (Glushchenko, 1997).

1) formularea în termeni general acceptați;

2) excluderea oricărei incertitudini semantice;

3) concentrarea pe atingerea obiectivelor studiului;

4) respectarea structurii obiectului de studiu;

5) asigurarea unei interpretări unificate și lipsite de ambiguitate a rezultatelor sondajului.

Întrebările din sondaj sunt sub forma:

· deschis și închis;

directe si indirecte.

Metoda cea mai des folosită sunt interviurile și evaluările experților analitici.

Metoda interviului presupune o conversație cu un expert, în cadrul căreia cercetătorul, în conformitate cu un program pre-elaborat, îi pune întrebări expertului cu privire la perspectivele de dezvoltare a obiectului studiat. Succesul unei astfel de evaluări depinde în mare măsură de capacitatea psihologică a unui expert de a da concluzii improvizate cu privire la diverse, inclusiv. întrebări fundamentale (Sarkisyan, 1969). Un dezavantaj binecunoscut al acestei metode este o presiune psihologică semnificativă asupra expertului.

Metode de expertiză colectivă se bazează pe principiile identificării opiniei colective a experţilor asupra perspectivelor de dezvoltare a obiectului de prognoză.

La baza aplicării acestor metode stă ipoteza că experții au capacitatea de a evalua importanța și semnificația problemei studiate cu un grad suficient de fiabilitate. Există un număr mare de modificări ale metodelor de evaluare colectivă a experților, printre care următoarele metode sunt cele mai populare:

masa rotunda;

· ʼʼDelphiʼʼ;

software de prognoză;

prognoza euristica;

Generarea colectivă de idei.

Colectarea și prelucrarea opiniilor individuale ale experților se bazează pe următoarele principii (Glushchenko, 1997):

1) întrebările din chestionare sunt puse în așa fel încât să fie posibilă cuantificarea răspunsurilor experților;

2) sondajul experților se realizează în mai multe runde, în cadrul cărora întrebările și răspunsurile sunt din ce în ce mai rafinate;

3) toți experții intervievați se familiarizează cu rezultatele sondajului după fiecare rundă;

4) experții fundamentează aprecieri și opinii care se abat de la opinia majorității;

5) prelucrarea statistică a răspunsurilor se realizează secvenţial de la travaliu la travaliu pentru a obţine caracteristici generalizatoare.

Τᴀᴋᴎᴍ ᴏϬᴩᴀᴈᴏᴍ, opinia predominantă a specialiștilor cu privire la orice problemă se dezvăluie într-un mediu care exclude dezbaterea lor directă între ei, dar le permite în același timp să-și cântărească periodic judecățile, ținând cont de răspunsurile și argumentele colegului. Revizuirea și posibilitatea modificării estimărilor lor anterioare pe baza clarificării considerațiilor fiecăruia dintre experți și analiza ulterioară de către fiecare participant a setului de motive prezentate de experți încurajează respondenții să ia în considerare factorii pe care i-au avut la început. a respinge ca nesemnificativ.

Metoda evaluărilor experților ʼʼDelphiʼʼ a fost dezvoltat de cercetătorul american O. Helmer pentru a rezolva probleme strategice complexe în vederea obținerii de surse mai largi de informații extrem de limitate despre viitor, pentru a elimina la maximum factorul subiectiv în judecățile și aprecierile viitorului, pentru a stimula modalitățile de gândire. a specialiștilor prin crearea unui sistem informatic special cu feedback, pentru a elimina interferențele în schimbul de informații între specialiști, presiunea autorității și alte forme de presiune, pentru a asigura o creștere a fiabilității prognozelor prin proceduri speciale de cuantificare a opiniilor experților și a mașinii acestora. prelucrare.

Spre deosebire de metoda scenariului, metoda ʼʼDelphiʼʼ presupune familiarizarea prealabilă a experților implicați cu situația folosind un anumit model: un astfel de model ar trebui să fie atât un model matematic riguros, de exemplu, un model econometric de dezvoltare economică, cât și o descriere informală a procesului. , de exemplu, un scenariu. În analiza sistemului, forma principală a modelului, care este supusă îmbunătățirii și saturării cu informații cu ajutorul evaluărilor experților, este, de regulă, un arbore de obiective.

Specialistul este invitat să evalueze structura modelului în ansamblu și să ofere sugestii cu privire la includerea în acesta a relațiilor nesocotite. În acest caz, se utilizează o metodă de chestionare cu forme unificate de întrebări, răspunsuri și aprecieri. Rezultatele fiecărei etape a sondajului și sistematizarea rezultatelor acestuia sunt din nou aduse la cunoștința tuturor experților, ceea ce le permite să își corecteze în continuare judecățile pe baza informațiilor nou primite. Informațiile obținute sunt comparate și analizate în continuare pe baza utilizării estimărilor cantitative de către experți.

Există o serie de proceduri de mediere și obiectivare a opiniilor experților, precum și o serie de proceduri de evaluare a autorității și ponderii opiniilor experților înșiși, de exemplu, evaluarea reciprocă a competenței în orice domeniu. În cazurile în care nu sunt disponibile date obiective, care se aplică în special informațiilor despre viitor, metoda Delphi pare a fi cel mai fiabil mijloc de a obține date multilaterale și, în același timp, suficient de fiabile. În MIS, metoda ʼʼDelphiʼʼ este utilizată în etapa VI (Tabelul 3.1) pentru a evalua starea actuală a acelor factori care nu pot fi cuantificați direct (de exemplu, evaluarea factorilor sociali moderni care influențează formarea obiectivelor), în etapa VII în evaluare una dintre cele mai importante metode de obținere și prelucrare a informațiilor de prognoză.

Analiza morfologică- ϶ᴛᴏ înseamnă studierea tuturor combinațiilor posibile de opțiuni pentru soluții organizaționale, de exemplu, cele propuse pentru implementarea funcțiilor individuale de management. Dacă notăm toate funcțiile într-o coloană și apoi indicăm rând cu linie față de fiecare funcție toate opțiunile posibile pentru implementarea acesteia, atunci vom obține o matrice morfologică (Tabelul 4.1). Ideea acestei metode este, în esență, de a împărți o sarcină complexă în subsarcini mici, care sunt mai ușor de rezolvat separat. Și funcțiile - ϶ᴛᴏ nu sunt altceva decât un set de sarcini, lucrări și proceduri.

Tabelul 4.1

Matricea morfologică a modalităților de îndeplinire a funcțiilor de control

Legendă:

F – functie;

n este numărul de serie al funcției;

P este modul în care funcția este implementată;

k este numărul ordinal al modului în care este implementată funcția.

Cele mai cunoscute soiuri ale metodei sunt:

metoda de acoperire sistematică a câmpului (MSPP);

metoda de negație și construcție (MOC);

metoda casetei morfologice (MMN), etc.

cercetare sociologică sunt utilizate pe scară largă în practica studierii problemelor din subsistemele informațional-comportamental și structural-funcțional asociate specialiștilor și managerilor, în alegerea direcției de acțiune, creșterea proprietății asupra treburilor organizației, interes pentru implementarea planurilor etc. De exemplu, puteți afla dacă există funcții, sarcini, lucrări și proceduri care nu sunt distribuite între departamente, manageri sau specialiști.

Cercetarea sociologică se realizează prin colectarea și prelucrarea informațiilor despre nevoile și interesele specialiștilor organizației, despre natura relațiilor interpersonale, intergrup, despre tipul de cultură organizațională care s-a dezvoltat sub influența componenței actuale a personalului din organizație. , și alți factori. În aceste scopuri, utilizați:

· interviu;

chestionare;

observarea și autoobservarea;

studiul documentelor;

studiul factorilor comportamentului de grup etc.

Rezultatele obținute în cursul studiului fac posibilă formularea de măsuri și acțiuni de îmbunătățire a eficienței funcționării IPP, SFP și a elementelor acestora.

Metoda scenariului este un mijloc de ordonare primară a problemei și un mijloc de obținere și colectare a informațiilor despre relația problemei cu alte probleme și despre direcțiile posibile și probabile pentru dezvoltarea viitoare. Metoda este numită după tehnologia de scripting bine-cunoscută și bine stabilită. Se bazează pe o secvență iterativă de construire a scenariului pentru a selecta o alternativă de control adecvată (Fig. 4.3).

Principii, care stă la baza metodei de scripting:

· rezolvarea succesivă a incertitudinii (proces iterativ);

Cercetare de scenarii în dezvoltare.

Scopul metodei– obținerea unei previziuni bazate științific pentru luarea deciziilor manageriale.

Scenariu- ϶ᴛᴏ o imagine ipotetică a dezvoltării secvențiale în timp și spațiu a evenimentelor care compun evoluția obiectelor de control.

Orez. 4.3. Metoda de scriptare Logica

Atunci când construiesc scenarii, acestea operează cu următoarele concepte:

1) factori interni și externi:

factori interni - structura internă a sistemului, relația dintre elementele sale, modelele de dezvoltare a acestuia;

Factori externi - interacțiunea sistemului cu un sistem de o clasă mai largă (macro și micromediu).

2) parametrii scenariului - ϶ᴛᴏ factori imprevizibili care afectează sistemul;

3) restricție (fiecare sistem se află în cadrul care îi limitează starea - echifinalitate):

natural (datorită mediului natural în care se află sistemul, de exemplu, condițiilor climatice etc.);

Normativ (asociat cu mediul juridic și cu toate normele de comportament posibile - cultură, obiceiuri, tradiții, moralitate, religie, moralitate).

4) indicator de scenariu - un parametru care este critic pentru stările limită ale obiectului de control.
Găzduit pe ref.rf
Acesta este un parametru care limitează starea sistemului în anumite direcții specifice (care prag nu poate fi depășit pentru a nu provoca distrugerea sistemului);

5) procedura metodei scenariului – definirea prognozei garantate, ᴛ.ᴇ. limite dincolo de care dezvoltarea sistemului nu poate trece din motive obiective.

Scenariile pot fi utilizate în diferite etape ale MIS, atunci când este necesar să colecteze și să organizeze informații foarte eterogene și nestructurate. Însă principalele domenii de aplicare a acestui instrument sunt etapa 1 a analizei sistemului - analiza problemei și etapa VII - prognoza și analiza condițiilor viitoare (Tabelul 3.1).

Metoda de cercetare expertă - concept și tipuri. Clasificarea și caracteristicile categoriei „Metoda de cercetare expertă” 2017, 2018.

Scopul analizei de expertiză este testarea preliminară a obiectului de studiu, având ca scop identificarea în acesta a proprietăților și relațiilor interne ascunse cercetătorului. Datorită metodelor de analiză expertizată, se colectează materialul necesar pentru efectuarea unei evaluări de expertiză, iar conformitatea acestuia cu standardele acceptate este asigurată.

Tehnologia analizei expertului presupune parcurgerea unui număr de etape:

În prima etapă pregătitoare, formarea unor grupuri de experți

la niveluri selectate de conducere și întocmește toată documentația necesară în scopul examinării.

Alegerea unui grup de experți se face ținând cont de competența acestora separat pentru fiecare nivel. În acest caz, putem vorbi despre fiabilitatea examinării și despre costul minim al implementării acesteia. Pentru selecția experților se folosesc următoarele caracteristici: competență, creativitate, atitudine față de expertiză, conformism, analiticitate și amploare a gândirii, autocritica.

Competența unui expert este gradul de calificare a acestuia într-un anumit domeniu de cunoaștere. Competența poate fi determinată pe baza experienței unui expert într-un anumit domeniu, a calificărilor acestuia, a gradului de familiaritate cu realizările științifice din domeniul studiat etc. Una dintre cele mai importante dintre aceste caracteristici, deoarece este cea care determină în mare măsură fiabilitatea evaluărilor experților. Prin urmare, problema determinării competenței experților ar trebui să i se acorde o atenție deosebită.

Creativitatea expertă este capacitatea de a rezolva probleme creative.

Atitudinea față de expertiză este o caracteristică importantă a unui expert, care determină dorința acestuia (activă sau pasivă) de a participa la expertiză.

Autocritica unui expert - autoevaluarea competenței sale.

Analiticitatea, amploarea gândirii, gândirea constructivă - o proprietate a colectivismului - sunt, de asemenea, caracteristici importante ale unui expert.

Chiar și definițiile incomplete ale caracteristicilor experților date mai sus arată că estimările numerice ale acestor caracteristici sunt mult mai dificile și, în unele cazuri, complet imposibile.

Cea mai importantă dintre aceste caracteristici este caracteristica competenței experților, deoarece aceasta este cea care determină în mare măsură fiabilitatea evaluărilor experților. Prin urmare, problema determinării competenței experților ar trebui să i se acorde o atenție deosebită.

La a doua etapă organizatorică, prelucrarea rezultatelor examinării.

În această etapă se efectuează toate calculele necesare pentru a compara obiectivele calitative la fiecare nivel de management cu obiectivele selectate, conform experților, în ceea ce privește numărul și importanța (prioritatea) acestora.

Procesul de discutare a obiectivelor alese are loc până când opiniile majorității experților coincid.

Să formulăm cerințele pe care ar trebui să le satisfacă metodologia de evaluare a obiectivelor funcționării cu ajutorul experților:

· Evaluarea obiectivelor de funcționare trebuie efectuată într-un mediu psihologic favorabil.

· Complexitatea anchetei ar trebui să fie în limite acceptabile.

· Documentația experților nu ar trebui să permită înțelegerea ambiguă a problemelor.

· Documentația experților trebuie să fie cât mai uniformă și completă posibil.

· Sistemul de scale alese pentru evaluarea experților ar trebui să fie fundamentat și adus la cunoștința expertului.

· Obiectivele examinării ar trebui să fie cunoscute de toți examinatorii. Cel mai acceptabil din punct de vedere practic este chestarea.

1. Scurtă descriere a metodelor experților

Economia modernă impune noi cerințe mai mari asupra managementului. Problemele de îmbunătățire a metodelor de management devin acum foarte importante, întrucât tocmai în această sferă există rezerve și mai mari pentru creșterea eficienței economiei naționale. Un factor esențial în îmbunătățirea nivelului științific de management este utilizarea metodelor și modelelor matematice în pregătirea soluțiilor. Cu toate acestea, o formalizare matematică completă a problemelor tehnice și economice nu este adesea fezabilă din cauza noutății și complexității lor calitative.

În acest sens, se folosesc tot mai mult metodele expertizate, care sunt înțelese ca un ansamblu de metode și procedee logice și matematico-statistice care vizează obținerea de la specialiști a informațiilor necesare pentru pregătirea și selecția deciziilor raționale. Metodele experte sunt acum utilizate în situațiile în care alegerea, justificarea și evaluarea consecințelor deciziilor nu pot fi efectuate pe baza unor calcule precise. Asemenea situații apar adesea în dezvoltarea problemelor moderne de gestionare a producției sociale și, mai ales, în prognoza și planificarea pe termen lung.

Esența metodelor experte, atât în ​​rezolvarea problemelor de studiere a sistemelor de control, cât și în utilizarea acestora în practica de luare a deciziilor în alte domenii ale științei, tehnologiei, managementului, este de a media opiniile (judecățile) experților cu privire la problemele supuse luare în considerare în diverse moduri.

Metodele de evaluare a experților sunt metode de organizare a muncii cu experți și de prelucrare a opiniilor experților. Aceste opinii sunt de obicei exprimate parțial în formă cantitativă, parțial în formă calitativă. Metodele de evaluare a experților sunt folosite pentru a prezice evenimente viitoare dacă nu există date statistice sau acestea nu sunt suficiente. Ele sunt, de asemenea, utilizate pentru a cuantifica evenimente pentru care nu există altă modalitate de măsurare, cum ar fi evaluarea importanței obiectivelor și preferința pentru anumite metode de promovare. Cu alte cuvinte, metodele evaluărilor experților sunt utilizate atât pentru măsurarea cantitativă a evenimentelor din prezent, cât și în scopul prognozării.

Evaluările experților sunt înțelese ca un complex de proceduri logice și matematice care vizează obținerea de informații de la specialiști, analiza și generalizarea acesteia în vederea pregătirii și dezvoltării deciziilor raționale.

Funcțiile evaluărilor experților în sistemul de management:

tendințe de prognoză în dezvoltarea anumitor obiecte de control și posibile defecțiuni în subsistemele de control, apariția unor noi subiecți în formarea sistemelor de control;

fundamentarea construirii unui model al obiectului de prognoză. Metode de evaluare a experților - una dintre grupele de metode de prognoză științifică și tehnică, bazată pe ipoteza că, pe baza opiniilor experților, se poate construi un model adecvat al obiectului prognozei;

evaluarea gradului de fiabilitate a datelor obținute în urma studiului, atunci când procesul de cercetare este influențat în mod natural de factori subiectivi. De exemplu, concluziile din orice cercetare socio-economică pot fi trase din fapte deformate de concepția socială a cercetătorului;

evaluarea gradului de completitudine și obiectivitate a informațiilor primite de sistemul de control de la obiectul de control, precum și a validității informațiilor (deciziilor) care intră în obiectul de control din sistemul de control;

evaluarea unor căi alternative de dezvoltare specifice sau a obiectului de control, sau a sistemului de control sau a ambelor sisteme împreună;

certificarea elementelor specifice sistemului de control și a obiectului de control pentru conformitatea acestora cu funcțiile pentru care sunt create.

Cele mai frecvente metode experte utilizate în prezent în luarea deciziilor de management sunt următoarele:

metoda rangului;

metoda de evaluare directa;

metoda de comparare.

Această din urmă metodă include două dintre varietățile sale: compararea perechilor și compararea secvențială.

În principiu, fiecare dintre ele are multe în comun, iar principala diferență este că evaluarea (măsurarea) obiectelor de management al sistemului studiate se realizează în diferite moduri. Fiecare dintre metode are anumite avantaje și dezavantaje.

Caracterul comun al fiecăreia dintre metode constă în succesiunea procedurilor de utilizare a acestora. Acestea ar trebui să includă:

organizarea evaluării experților;

colectarea opiniilor experților;

prelucrarea rezultatelor opiniilor experţilor.

După metoda rangurilor, expertul realizează ierarhizarea (ordonarea) obiectelor studiate ale sistemului organizatoric, în funcție de importanța (preferința) relativă a acestora. În acest caz, obiectului cel mai preferat i se atribuie de obicei rangul 1, iar celui mai puțin preferat îi este atribuit ultimul rang, care este egal în valoare absolută cu numărul de obiecte ordonate. O astfel de ordonare devine mai precisă cu un număr mai mic de obiecte de studiu și invers.

Astfel, această metodă vă permite să determinați locul obiectului studiat printre alte obiecte ale sistemului de control. Avantajul metodei rank este simplitatea sa. Dezavantajele sunt:

imposibilitatea de a clasifica cu suficientă precizie numărul de obiecte, al căror număr depășește 15-20;

nu răspunde la întrebarea cât de departe sunt de importanţă obiectele studiate unele de altele.

Această metodă este folosită în practica studierii sistemelor de control, în ciuda simplității sale, destul de rar.

Metoda evaluării directe este ordonarea obiectelor studiate (de exemplu, la selectarea parametrilor pentru alcătuirea unui model parametric) în funcție de importanța acestora prin atribuirea de puncte fiecăruia dintre ele. În acest caz, obiectului cel mai important i se atribuie (dată o evaluare) cel mai mare număr de puncte conform baremului acceptat. Cel mai comun interval al scalei de evaluare este de la 0 la 1, de la 0 la 5, de la 0 la 10, de la 0 la 100. În cel mai simplu caz, ratingul poate fi 0 sau 1. Uneori evaluarea se realizează în formă verbală. De exemplu, „foarte important”, „important”, „neimportant”, etc., care este uneori tradus și într-o scară de puncte (respectiv 3, 2, 1) pentru o mai mare comoditate în procesarea rezultatelor sondajului.

Utilizarea acestei metode este utilizată numai atunci când cunoașterea deplină a experților despre proprietățile obiectului studiat este asigurată, ceea ce adesea nu se întâmplă.

Metoda de potrivire este realizată prin comparație pereche și potrivire secvențială.

În comparație în perechi, expertul compară obiectele studiate în funcție de importanța lor în perechi, stabilind cele mai importante în fiecare pereche de obiecte. Expertul prezintă toate perechile posibile de obiecte sub forma unei înregistrări a fiecăreia dintre combinații (obiectul I - obiectul 2, obiectul 2 - obiectul 3 etc.) sau sub forma unei matrice.

Ca urmare a comparării obiectelor din fiecare pereche, expertul își exprimă o opinie despre importanța unuia sau altuia, adică acordă preferință unuia dintre ele. Uneori, experții ajung la concluzia despre echivalența fiecăruia dintre obiectele perechii. Ordonarea în fiecare pereche de obiecte, desigur, nu oferă imediat ordonarea tuturor obiectelor luate în considerare, prin urmare, este necesară prelucrarea ulterioară a rezultatelor comparației. Cel mai convenabil este să efectuați comparații în perechi și prelucrarea lor folosind matrice ca instrument.

În unele cazuri, cu un număr mare de obiecte aflate în studiu, rezultatele comparării în perechi sunt influențate de factori psihologici, adică se acordă preferință uneori nu obiectului care este cu adevărat preferabil față de altele, ci celui care este enumerat primul. în lista de perechi sau se află în matricea de deasupra celei comparate. Prin urmare, uneori, pentru a exclude influența psihologică, se efectuează o comparație dublă pereche, adică se efectuează din nou o comparație pereche, dar numai cu aranjarea inversă a obiectelor și, în consecință, a obiectelor din fiecare pereche.

Metoda comparațiilor perechi este foarte simplă și vă permite să explorați un număr mai mare de obiecte (comparativ, de exemplu, cu metoda rank) și cu o mai mare acuratețe.

Esența metodei de potrivire secvențială este următoarea. Expertul aranjează toate obiectele studiate în ordinea importanței lor (cum ar fi metoda rangului). Anterior, fiecărui obiect i se atribuie un anumit număr de puncte, de exemplu, pe o scară de la 0 la I (ca metodă de evaluare). Mai mult, obiectului cel mai important i se acordă un punctaj egal cu I, iar toate celelalte sunt date în ordinea descrescătoare a importanței lor, adică de la I la 0. În continuare, expertul decide dacă importanța obiectului cu rang I va să fie mai mare decât suma scorurilor tuturor celorlalte obiecte. Dacă da, atunci valoarea punctajului primului obiect este mărită până când această condiție este îndeplinită, iar dacă nu, atunci expertul reduce această valoare la o astfel de valoare numerică încât devine mai mică decât suma scorurilor tuturor celorlalte obiecte.

Valorile estimărilor celui de-al doilea, al treilea și al obiectelor ulterioare din punct de vedere al importanței sunt determinate secvențial în același mod ca și evaluarea primului obiect cel mai important.

Metoda de comparare secvențială pentru experți este cea mai consumatoare de timp. Acest lucru se simte mai ales atunci când numărul de obiecte studiate este mai mare de șase sau șapte.

Generalitatea metodelor experte constă în succesiunea procedurilor de utilizare a acestora. Acestea includ organizarea evaluării experților, colectarea opiniilor experților și prelucrarea rezultatelor.

Pentru conducerea generală a lucrării de expertiză este numit președintele comisiei de expertiză. Este format din două grupuri - lucrători și experți.

În subordinea șefului grupului de lucru sunt lucrători tehnici care răspund de latura tehnică de pregătire a materialelor pentru munca experților, prelucrarea rezultatelor etc., precum și specialiști în problemele în curs de rezolvare. Formarea grupului de experți se realizează de către șeful (organizatorul) grupului de lucru. În acest caz, se efectuează o serie de acțiuni succesive:

enunțarea problemei și definirea domeniului de activitate a grupului;

întocmirea unei liste preliminare de experți - specialiști în domeniul de activitate luat în considerare;

analiza componenței calitative a listei preliminare de experți și perfecționarea listei;

obținerea consimțământului unui expert pentru a participa la lucrări;

întocmirea listei finale a grupului de experți.

Numărul de experți din grup depinde de mulți factori și condiții, în special, de importanța problemei care se rezolvă, oportunitățile disponibile etc.

Selecția experților specifici se realizează pe baza unei analize a calității fiecăruia dintre experții propuși. În acest scop sunt utilizate diferite metode:

evaluarea candidaților la funcția de experți pe baza analizei statistice a rezultatelor activităților anterioare ca experți în probleme de proiectare organizațională;

evaluarea colectivă a candidatului la experți în calitate de specialist în acest domeniu;

autoevaluarea unui candidat la funcția de expert;

determinarea analitică a competenţei candidaţilor pentru experţi.

Dintre toate formele cunoscute de colectare a opiniilor, se remarcă individuale, colective și mixte. Fiecare dintre aceste forme are varietăți: interogare, interviu, discuție, brainstorming, întâlnire, joc de afaceri. În multe cazuri de management al calității, acestea sunt utilizate împreună, ceea ce dă un efect și obiectivitate mai mare.

Metodele de evaluare a experților pot fi împărțite în două grupe: metode de lucru colectiv al grupului de experți și metode de obținere a opiniilor individuale ale membrilor grupului de experți.

Metodele de lucru colective ale grupului de experți presupun obținerea unei opinii comune în cadrul unei discuții comune asupra problemei care se rezolvă. Aceste metode sunt uneori denumite metode directe de opinie colectivă. Principalul avantaj al acestor metode constă în posibilitatea unei analize cuprinzătoare a problemelor. Dezavantajele metodelor sunt complexitatea procedurii de obținere a informațiilor, complexitatea formării unei opinii de grup asupra judecăților individuale ale experților, posibilitatea unor presiuni din partea autorităților din grup.

Metodele de lucru în echipă includ brainstorming, scripting, jocuri de afaceri, întâlniri și judecată.

Metoda de brainstorming. Metodele de acest tip sunt cunoscute și sub numele de generare colectivă de idei, brainstorming, metode de discuție. Toate aceste metode se bazează pe prezentarea liberă a ideilor care vizează rezolvarea unei probleme. Apoi cele mai valoroase sunt selectate dintre aceste idei.

Avantajul metodei „brainstorming” este eficiența ridicată a obținerii soluției necesare. Principalul său dezavantaj este complexitatea organizării unui examen, deoarece uneori este imposibil să reuniți specialiștii necesari, să creați o atmosferă relaxată și să excludeți influența relațiilor oficiale.

Metoda „scenariilor” este un set de reguli de prezentare în scris a propunerilor specialiștilor asupra problemei care se rezolvă. Un scenariu este un document care conține o analiză a unei probleme și propuneri pentru implementarea acesteia. Propunerile sunt scrise mai întâi de experți individual, apoi sunt agreate și prezentate sub forma unui singur document.

Principalul avantaj al scenariului este acoperirea cuprinzătoare a problemei care se rezolvă într-o formă accesibilă. Dezavantajele includ posibila ambiguitate, vagitatea problemelor prezentate și valabilitatea insuficientă a deciziilor individuale.

„Jocurile de afaceri” se bazează pe modelarea funcționării sistemului de management social atunci când se efectuează operațiuni care vizează atingerea scopului stabilit. Spre deosebire de metodele anterioare, jocurile de afaceri implică munca activă a unui grup de experți, fiecare membru al căruia are o anumită responsabilitate în conformitate cu regulile pre-compilate și un program.

Principalul avantaj al jocurilor de afaceri este capacitatea de a dezvolta o soluție în dinamică, luând în considerare toate etapele procesului studiat cu interacțiunea tuturor elementelor sistemului de management public. Dezavantajul constă în complexitatea organizării unui joc de afaceri în condiții apropiate de o situație problematică reală.

Metoda „întâlnirilor” („comisiile”, „masa rotundă”) este cea mai simplă și cea mai tradițională. Presupune desfășurarea unei întâlniri sau discuții pentru a dezvolta o opinie colectivă comună asupra problemei care se rezolvă. Spre deosebire de metoda brainstorming-ului, fiecare expert nu poate doar să-și exprime părerea, ci și să critice propunerile altora. Ca urmare a unei astfel de discuții atente, posibilitatea apariției unor erori în elaborarea unei decizii este redusă.

Avantajul metodei este simplitatea implementării acesteia. Cu toate acestea, la ședință, opinia eronată a unuia dintre participanți poate fi adoptată datorită autorității, poziției oficiale, perseverenței sau abilităților oratorice.

Metoda „instanței” este o variație a metodei „conferinței” și este implementată prin analogie cu desfășurarea unui proces. Este recomandabil să folosiți metoda „instanță” atunci când există mai multe grupuri de experți care aderă la soluții diferite.

Metodele de obținere a opiniei individuale a membrilor grupului de experți se bazează pe primirea prealabilă a informațiilor de la experții intervievați independent unul de celălalt, cu prelucrarea ulterioară a datelor primite. Aceste metode includ metode de anchetă prin chestionar, interviuri și metode Delphi.

Principalele avantaje ale metodei de evaluare individuală a experților sunt eficiența acestora, capacitatea de a utiliza pe deplin abilitățile individuale ale unui expert, absența presiunii din partea autorităților și costul scăzut al expertizei. Principalul lor dezavantaj este gradul ridicat de subiectivitate al estimărilor obținute din cauza cunoștințelor limitate ale unui singur expert.

Metoda Delphi este o procedură de anchetă iterativă prin chestionar. Totodată, se respectă cerința absenței contactelor personale între experți și furnizarea acestora de informații complete asupra tuturor rezultatelor evaluărilor după fiecare rundă de anchetă, păstrând în același timp anonimatul aprecierilor, argumentelor și criticilor.

Procedura metodei include mai multe etape succesive ale anchetei.

În prima etapă, se efectuează un sondaj individual al experților, de obicei sub formă de chestionare. Experții dau răspunsuri fără a le argumenta. Apoi se prelucrează rezultatele sondajului, se formează opinia colectivă a unui grup de experți, se identifică și se sintetizează argumentele în favoarea diferitelor judecăți.

În a doua etapă, toate informațiile sunt oferite experților, iar aceștia sunt rugați să-și revizuiască evaluările și să explice motivele dezacordului lor cu judecata colectivă. Noile estimări sunt procesate din nou și se realizează trecerea la etapa următoare. Practica arată că după trei sau patru etape, răspunsurile experților se stabilizează și este necesară oprirea procedurii.

Avantajul metodei Delphi este utilizarea feedback-ului în timpul sondajului, ceea ce crește semnificativ obiectivitatea evaluărilor experților. Cu toate acestea, această metodă necesită timp considerabil pentru a implementa întreaga procedură în mai multe etape.

Astfel, putem concluziona că metodele experte sunt dezvoltate și îmbunătățite continuu. Principalele direcții ale acestei dezvoltări sunt determinate de o serie de factori, printre care se poate indica dorința de a extinde domeniul de aplicare, de a crește gradul de utilizare a metodelor matematice și a calculatoarelor electronice și, de asemenea, de a găsi modalități de a elimina deficiențele emergente. În ciuda progreselor înregistrate în ultimii ani în dezvoltarea și utilizarea practică a metodei evaluărilor experților, există o serie de probleme și sarcini care necesită cercetări metodologice suplimentare și verificare practică. Este necesară îmbunătățirea sistemului de selecție a experților, creșterea fiabilității caracteristicilor opiniei de grup, dezvoltarea metodelor de verificare a validității evaluărilor și studierea cauzelor ascunse care reduc fiabilitatea evaluărilor experților. Cu toate acestea, chiar și astăzi, evaluările experților în combinație cu alte metode matematice și statistice reprezintă un instrument important pentru îmbunătățirea managementului la toate nivelurile.

metoda de management al evaluării inter pares

2. Prelucrarea datelor obtinute prin metoda experta

După efectuarea unui sondaj asupra unui grup de experți, rezultatele sunt procesate. Informațiile inițiale pentru prelucrare sunt datele numerice care exprimă preferințele experților și justificarea de fond a acestor preferințe. Scopul prelucrării este obținerea de date generalizate și informații noi conținute într-o formă ascunsă în evaluările de specialitate. Pe baza rezultatelor procesării, se formează o soluție la problemă.

Prelucrarea opiniilor (datelor) culese ale experților se realizează atât cantitativ (date numerice), cât și calitativ (informații semnificative). Sunt utilizate diferite metode de prelucrare. În prezența datelor numerice, metodele de mediere a judecăților experților sunt utilizate pentru a rezolva problemele furnizate cu material informativ suficient. Cu toate acestea, chiar și cu datele numerice disponibile, dar cu informații insuficiente cu privire la problema abordată, alături de metode cantitative de prelucrare a datelor experților, sunt utilizate metode de analiză și sinteză calitativă.

Prezența atât a datelor numerice, cât și a declarațiilor semnificative ale experților conduce la necesitatea aplicării unor metode calitative și cantitative pentru prelucrarea rezultatelor evaluării experților de grup. Ponderea acestor metode depinde în mod esențial de clasa de probleme rezolvate prin evaluarea experților.

Întregul set de probleme poate fi împărțit în două clase. Prima clasă include probleme pentru a căror rezolvare există un nivel suficient de cunoștințe și experiență, adică există potențialul informațional necesar. Atunci când rezolvă problemele aparținând acestei clase, experții sunt considerați buni măsurători medii. Termenul „bine în medie” se referă la posibilitatea de a obține rezultate de măsurare aproape de adevărate. Pentru mulți experți, judecățile lor se concentrează în jurul valorii adevărate. Rezultă că, pentru prelucrarea rezultatelor evaluării de către experți de grup a problemelor de prima clasă, este posibilă aplicarea cu succes a metodelor statistici matematice pe baza mediei datelor.

Atunci când se aplică metodele experților luate în considerare (grade etc.), opiniile experților adesea nu coincid, prin urmare, este necesar să se cuantifice gradul de consistență al opiniilor experților și să se determine motivele discrepanței dintre judecăți. Măsura coerenței, desigur, este stabilită pe baza datelor statistice ale întregului grup de experți. Pentru evaluarea acestei măsuri se folosesc coeficienții de concordanță, care se calculează prin formula

unde C este suma abaterilor pătrate a sumelor de ranguri pentru fiecare obiect de la suma medie a rangurilor pentru toate obiectele și experții, i.e.

Unde - suma medie a rangurilor;

Aij este scorul (în puncte) acordat celui-lea obiect de către al-lea expert.

K-experti, H-obiecte.

Factorul de concordanță poate fi în intervalul 1>W>0. Când W=0, nu există un consens între experți, iar când W=1, acesta este complet. De obicei, se consideră că consistența este destul de suficientă pentru W>0,5.

Valoarea calculată a coeficientului de concordanță trebuie ponderată conform criteriului Pearson X^2 cu un anumit nivel de semnificație B - probabilitatea maximă a unui rezultat incorect al muncii experților. De obicei, este suficient să setați semnificația în intervalul 0,005 -0,05

Dacă valoarea calculată Х^2calc este mai mare decât cea tabelară (cu nivelul de semnificație selectat), opiniile experților sunt în cele din urmă recunoscute ca fiind de acord.

În cazul determinării inconsecvenței liniilor de experți prin coeficienții de concordanță și cu verificarea corespunzătoare a valorii acesteia după criteriul Pearson, expertizele trebuie repetate.

A doua clasă include probleme pentru a căror soluție nu a fost încă acumulat suficient potențial de informare. În acest sens, opiniile experților pot varia foarte mult unele de altele. În plus, judecata unui expert, care este foarte diferită de restul opiniilor, se poate dovedi adevărată. În mod evident, utilizarea metodelor de mediere a rezultatelor unei evaluări de grup de experți în rezolvarea problemelor de clasa a doua poate duce la erori mari. Prin urmare, prelucrarea rezultatelor unui sondaj de experți în acest caz ar trebui să se bazeze pe metode care nu folosesc principiile de mediere, ci pe metode de analiză calitativă.

Având în vedere că problemele din prima clasă sunt cele mai frecvente în practica evaluării experților, atenția principală este acordată metodelor de prelucrare a rezultatelor examinării pentru această clasă de probleme.

În funcție de obiectivele evaluării experților și de metoda de măsurare aleasă, la procesarea rezultatelor sondajului apar următoarele sarcini principale:

) construirea unei evaluări generalizate a obiectelor pe baza evaluărilor individuale ale experților;

) construirea unei estimări generalizate pe baza unei comparații pereche a obiectelor de către fiecare expert;

) determinarea greutăților relative ale obiectelor;

) determinarea coerenței opiniilor experților;

) determinarea dependenţelor dintre clasamente;

) evaluarea fiabilității rezultatelor prelucrării.

Sarcina de a construi o evaluare generalizată a obiectelor pe baza evaluărilor individuale ale experților apare în evaluarea de grup de experți. Soluția la această problemă depinde de metoda de măsurare folosită de experți.

Când rezolvați multe probleme, nu este suficient să aranjați obiectele în funcție de un indicator sau de un set de indicatori. Este de dorit să existe valori numerice pentru fiecare obiect, indicând importanța sa relativă în comparație cu alte obiecte. Cu alte cuvinte, pentru multe probleme este necesar să existe estimări ale obiectelor care nu numai că efectuează ordonarea lor, dar să permită și să se determine gradul de preferință al unui obiect față de altul. Pentru a rezolva această problemă, puteți aplica direct metoda evaluării directe. Cu toate acestea, în anumite condiții, aceeași problemă poate fi rezolvată prin prelucrarea estimărilor experților.

Determinarea consecvenței opiniilor experților se realizează prin calcularea unei măsuri numerice care caracterizează gradul de similitudine a opiniilor individuale. Analiza valorii măsurii consistenței contribuie la dezvoltarea unei judecăți corecte asupra nivelului general de cunoaștere a problemei care se rezolvă și la identificarea grupărilor de opinii ale experților. O analiză calitativă a motivelor grupării opiniilor ne permite să stabilim existența viziuni diferite, concepte, identifica școli științifice, determină natura activitate profesională etc. Toți acești factori fac posibilă o înțelegere mai profundă a rezultatelor sondajului de experți.

Prin prelucrarea rezultatelor evaluării experților, este posibil să se determine dependențele dintre clasamentele diferiților experți și, prin urmare, să se stabilească unitatea și diferența în opiniile experților. Rol important joacă, de asemenea, stabilirea unei relații între clasamente, care sunt construite în funcție de diverși indicatori de comparație a obiectelor. Identificarea unor astfel de dependențe permite dezvăluirea indicatorilor de comparație aferente și, poate, gruparea acestora în funcție de gradul de conexiune. Importanța sarcinii de determinare a dependențelor pentru practică este evidentă. De exemplu, dacă indicatorii de comparație sunt obiective diferite, iar obiectele sunt mijloacele pentru atingerea scopurilor, atunci stabilirea relației dintre clasamentele care ordonează mijloacele în ceea ce privește atingerea obiectivelor vă permite să răspundeți în mod rezonabil la întrebarea cu privire la măsura în care pe care realizarea unui scop cu aceste mijloace contribuie la realizarea altor scopuri.

Estimările obținute pe baza prelucrării sunt obiecte aleatorii, deci unul dintre sarcini importante procedurile de prelucrare este de a determina fiabilitatea acestora. O atenție corespunzătoare trebuie acordată soluționării acestei probleme.

Astfel, prelucrarea rezultatelor examenului este proces laborios. Efectuarea calculelor manuale ale estimărilor și indicatorilor fiabilității acestora este asociată cu costuri mari de muncă, chiar și în cazul rezolvării sarcini simple comanda. În acest sens, este indicat să folosiți tehnologia informatică și mai ales computerele. Utilizarea calculatoarelor ridică problema dezvoltării programelor informatice care implementează algoritmi de prelucrare a rezultatelor evaluării experților.

Bibliografie

1. Vasilevskaya I.V. Control de calitate: Tutorial/ I.V. Vasilevskaia. - M.: ITs RIOR, 2011. - 112 p.

Vikhansky O.S., Naumov A.I. Management: manual. - Ed. a 3-a. - M.: Economist, 2004. - 528 p.: ill.

De multe ori există multe alternative din care să alegeți, fiecare cu beneficii diferite. Și cum să alegi pe cel mai bun, având părerea a zeci sau chiar sute de experți?

Cum se calculează ratingul joc pe calculator, bazat pe evaluările criticilor cu privire la grafică, joc și intriga și alegerea colectivă a unei sarcini prioritare înainte de apariția clientului, se referă la metodele de evaluări ale experților.

Program educațional scurt

Metode de evaluare a experților fac parte din vastul câmp al teoriei deciziei și evaluarea de specialitate- procedura de obținere a unei evaluări a problemei pe baza opiniei specialiștilor (experților) în scopul luării ulterioare a deciziilor (alegerii).

În cazuri de complexitate extremă a problemei, noutatea acesteia, insuficiența informațiilor disponibile, imposibilitatea formalizării matematice a procesului de soluționare, trebuie să apelăm la recomandările specialiștilor competenți, excelent care cunosc problema, - către experți. Soluția lor la problemă, argumentarea, formarea estimărilor cantitative, prelucrarea acestora din urmă prin metode formale se numesc metoda evaluărilor experților.

Există două grupuri de evaluări de experți:

1. Evaluările individuale se bazează pe utilizarea opiniilor experților individuali care sunt independenți unul de celălalt.
2. Evaluările colective se bazează pe utilizarea opiniei colective a experților.

În linii mari, primul grup include evaluarea articolelor despre Habré, votul în sondaje etc., când fiecare expert ia propria decizie. Selectarea (screeningul) experților se realizează prin karma. Este primul grup care predomină pe Internet 2 datorită posibilității de a ajunge la un număr mai mare de experți.

Metode de măsurare a obiectelor

1. Variind- Aceasta este aranjarea obiectelor în ordine crescătoare sau descrescătoare a unei proprietăți inerente acestora. Clasamentul vă permite să alegeți cei mai semnificativi dintre setul de factori studiat.
2. Comparație de perechi- aceasta este stabilirea preferinței pentru obiecte atunci când se compară toate perechile posibile. Aici, ca și în clasament, nu este necesară ordonarea tuturor obiectelor, este necesară identificarea unui obiect mai semnificativ în fiecare dintre perechi sau stabilirea egalității acestora.
3. Evaluare imediată. Este adesea de dorit nu numai să ordonați (clasificarea obiectelor de analiză), ci și să determinați cât de mult un factor este mai semnificativ decât alții. În acest caz, intervalul de modificări ale caracteristicilor obiectului este împărțit în intervale separate, fiecăruia fiind atribuit un anumit punctaj (scor), de exemplu, de la 0 la 10. De aceea metoda de evaluare directă este uneori numită și metoda de notare.

Metodă clasament simplu este că fiecărui expert i se cere să aranjeze caracteristicile în ordinea preferințelor.

a ij - evaluarea caracteristicii de către un expert. n este numărul de caracteristici, m este numărul de experți.
Apoi, se calculează S i - valoarea medie a importanței caracteristicii.

Metoda de ponderare (a ij)

1. coeficienții de greutate sunt alocați tuturor caracteristicilor astfel încât suma coeficienților să fie egală cu un număr fix (de exemplu, unu, zece sau o sută);
2. celei mai importante dintre toate caracteristicile primesc un coeficient de ponderare egal cu un număr fix, iar tuturor celorlalte coeficienți egali cu fracții din acest număr.

Metoda de comparare secvențială este următoarea:

1. expertul aranjează toate caracteristicile în ordinea descrescătoare a importanței lor: А1>A2>…>An;
2. atribuie valoarea egală cu unu primei caracteristici: A1=1, atribuie coeficienți de greutate restului caracteristicilor în fracțiuni de unu;
3. compară valoarea primei caracteristici cu suma tuturor caracteristicilor ulterioare.

ÎN comparație în perechi nu este necesar, ca la clasare, ordonarea tuturor obiectelor, este necesara identificarea unui obiect mai semnificativ in fiecare dintre perechi sau stabilirea egalitatii acestora. Se pot face comparații pereche cu numere mari obiecte, precum și în cazurile în care diferența dintre obiecte este atât de nesemnificativă încât este practic imposibil să le ierarhăm.
Când se utilizează metoda, cel mai adesea este compilată o matrice n x n, unde n este numărul de obiecte comparate.

La compararea obiectelor, matricea este umplută cu elemente a ij în felul următor(poate fi oferită o altă schemă de umplere):

• 2 dacă obiectul i este de preferat obiectului j (i > j),
• 1 dacă egalitatea obiectului este setată (i = j),
• 0 dacă obiectul j este preferabil obiectului i (i< j).

Evaluare imediată. Este adesea de dorit nu numai să ordonați (clasificarea obiectelor de analiză), ci și să determinați cât de mult un factor este mai semnificativ decât alții. În acest caz, intervalul de modificări ale caracteristicilor obiectului este împărțit în intervale separate, fiecăruia fiind atribuit un anumit scor (punct), de exemplu, de la 0 la 10. De aceea, uneori se mai numește și metoda evaluării directe metoda punctului.

Și acum, cel mai delicios...

Analiza rezultatelor evaluărilor experților

Pentru a analiza rezultatele sunt utilizate diferite metode de statistică matematică. Mai mult, ele pot fi combinate și variază în funcție de tipul de sarcină și de rezultatul dorit.

Formarea unei evaluări generalizate

Deci, lăsați un grup de experți să evalueze un obiect, atunci x j este estimarea expertului j, unde m este numărul de experți.
Pentru a forma o evaluare generalizată a unui grup de experți, valorile medii sunt cel mai adesea utilizate. De exemplu, mediana, pentru care se ia o astfel de estimare, în raport cu care numărul estimărilor mari este egal cu numărul celor mai mici.
Determinarea greutăților relative ale obiectelor
Uneori se cere să se determine cât de important (semnificativ) este unul sau altul factor (obiect) din punctul de vedere al oricărui criteriu. În acest caz, spunem că trebuie să determinăm ponderea fiecărui factor. diferită de formație evaluare generalizată faptul că nu se determină aprecierea generală a obiectului, ci aprecierea pentru fiecare trăsătură a acestuia.
Și
Există o mare varietate metode posibile procesare de evaluare.
Alternativ, utilizați sistemul de evaluare Elo pentru metodă comparații în perechi.

Mai mult, rezultatul poate consta din mai mulți algoritmi, împletite cu alții. De exemplu, algoritmul de calcul al coeficientului de competență al expertului poate afecta evaluarea medie a acestui expert etc.

Stabilirea gradului de acord între experți

Dacă la sondaj participă mai mulți experți, discrepanțe în evaluările lor sunt inevitabile, dar amploarea acestei discrepanțe este importantă. O evaluare de grup poate fi considerată suficient de fiabilă numai dacă există un bun acord între răspunsurile specialiștilor individuali.
Pentru a analiza dispersarea și consistența estimărilor, aplicați caracteristici statistice – măsuri de împrăștiere sau variație statistică.
Asa de, modalități de a calcula măsura răspândirii:
Interval de variație

Abaterea liniară medie

deviație standard

Dispersia

Coeficientul de corelare a rangului lui Spearman

Coeficientul (valoarea) poate varia în intervalul de la -1 la +1. Cu coincidența completă a estimărilor, coeficientul este egal cu unu. Egalitatea coeficientului minus unu se observă cu cea mai mare divergență în opiniile experților.
x ij – rang ( importanţă) atribuit obiectului i de către expertul j, x ik este rangul atribuit obiectului i de către expertul, d i este diferența dintre rangurile atribuite obiectului i.

Coeficientul de concordanță al lui Kendell
Coeficientul poate lua valori cuprinse între 0 și 1. Cu acordul complet al opiniilor experților, coeficientul de concordanță este egal cu unu, cu dezacord total - zero. Cel mai realist este cazul acordului parțial al opiniilor experților.

calcul

Se determină rangul mediu al setului de caracteristici:

Se calculează abaterea d j a rangului mediu al caracteristicii j-a de la rangul mediu al populației:

Se determină numărul de ranguri identice atribuite de experți atributului j-lea - t q .
Se determină numărul de grupuri de ranguri identice - Q. Coeficientul de concordanță este determinat de formula:

Unde

Apropo de consensul experților, merită menționat faptul că clasamentul nu implică (sau nu înseamnă întotdeauna) distanță. Adică pentru un expert A>B>C înseamnă că A>>B>C, iar pentru altul A>B>>C. Și tot felul de corelații și calcule ale estimărilor medii nu vor ajuta aici. Alternativ, luați în considerare indicele de consistență. Ceva de genul numărului de lanțuri închise contradictorii de opinii ale experților (primul crede că A este mai bun decât B, al doilea că B este mai bun decât C și al treilea că C este mai bun decât A) la numărul tuturor acestor lanțuri.

Concluzie

Articolul nu se pretinde a fi o analiză completă în mai multe etape a metodelor și algoritmilor de evaluare, ci doar o descriere superficială a acestora. Prin urmare, dacă cunoașteți metodele și algoritmii aplicabili în acest caz (nu sunt descriși de mine), le voi adăuga cu plăcere în articol. Sau orice literatură tematică utilă.

mă înclin. Sărbători fericite tuturor, ramin. Și pentru cei care au venit să se uite la fete - aici sunteți