Corelatii neparametrice

În conditiile în care nu sunt îndeplinite conditiile pentru aplicarea unor teste parametrice se pot aplica o serie de tehnici care sa indice gradul de asociere între variabile.Printre cele mai utilizate probe corelationale neparametrice sunt:

Coeficientul de corelatie j

Este aplicat când ambele variabile au caracteristici dihotomice, nu datorita unei regrupari ci prin însasi natura variabilei. Acest coeficient se calculeaza numai în situatia în care tabelul cu date are forma 2 x 2 (doua variabile cu doua posibilitati de raspuns). Aceste raspunsuri pot îmbraca diferite forme nominale de tipul "da sau nu"; "corect sau gresit"; "ateu sau religios"; "masculin sau feminin" s.a.

Exista în principal doua formule de calcul al coeficientului de corelatie j (fi). Prima este mai usor de folosit în cazul în care cunoastem valoarea lui hi patrat. Iata formula:

[Image]

Unde: N reprezinta numarul total de subiecti din studiu.

Semnul coeficientului se stabileste în urma consultarii tabelului cu date. Daca diagonala principala numara mai multi subiecti atunci semnul este plus, daca diagonala secundara numara mai multi subiecti semnul coeficientului este minus.

Cea de-a doua formula necesita unele explicitari empirice pentru o mai buna întelegere în functie de modul în care sunt întabulate datele. Variabilele se pot nota cu 0 sau 1 în functie de absenta sau prezenta caracteristicii respective. Diagonala principala trece prin casutele izotrope de tip 11 sau 00. Vom avea deci un tabel cu patru casute. Sunt necesare însa un numar destul de mare de date (peste 60) pentru a obtine un coeficient j cât mai adecvat.
 

Prezenta variabilei y

Absenta variabilei y

 

Prezenta variabilei x

11

10

Total prezente x

Absenta variabilei x

01

00

Total absente x

 

Total prezente y

Total absente y

 

Exemplu: Se încearca sa se stabileasca daca exista vreo legatura între prezenta unui handicap si aderarea la filosofia integrarii în scoala a acestor persoane. Asadar avem doua variabile dihotomice, denumite variabila A (persoane care au un handicap vs. persoane care nu au nici un handicap) si variabila B (persoane care considera integrarea scolara a persoanelor cu handicap ca fiind cea mai buna solutie vs. persoane care se opun acestui curent). Au fost chestionate un numar de 100 de persoane cu handicap si fara handicap, iar raspunsurile primite sunt prezentate în tabelul de mai jos.

  Integrare scolara-Da Integrare scolara-Nu  
Persoane cu handicap

40 (11)

20

Total handicap = 60 (t1)
Persoane fara handicap

10

30

Total normal =40 (t2)
  Total integrare = 50 (t3) Total separare=50 (t4) Total N=100 (T)

Formula pentru calcularea lui j este:

[Image]

Unde:

         X11 este dat de numarul de subiecti care au prezentat ambele caracteristici (11);

        T este totalul de subiecti;

         t1 este totalul obtinut la prima linie;

         t2 este totalul obtinut la cea de a doua linie;

         t3 este totalul obtinut la prima coloana;

         t4 este suma obtinuta la cea de a doua coloana.

Înlocuind în formula amintita cu datele problemei de fata obtinem:

[Image]

Interpretarea lui j se face la fel ca cea a lui r, deoarece coeficientul de corelatie j este în esenta o varianta a coeficientului de corelatie simpla a lui Breavis-Person. Pasul urmator este consultarea pragurilor de semnificatie corespunzatoare valorii lui j în tabelul lui r la N-2 df (grade de libertate), urmarindu-se valorile lui r din dreptul liniei N-2 = 98 pentru problema de fata. Se constata ca j obtinut de 0,40 este semnificativ statistic chiar la un prag de p <.001. Acest fapt semnifica ca exista o corelatie semnificativa între variabilele supuse studiului, observându-se tendinta persoanelor cu handicap de a adera la curentul integrarii lor scolare, în timp ce persoanele fara handicap dovedesc mai multa reticenta în aceasta directie, fiind mai degraba ostile curentului integrationist.

 

Coeficientul de contingenta C a lui Pearson si coeficientul de corelatie V a lui Cramer

Acesti doi coeficienti îndeplinesc functii similare si sunt utilizati pentru a identifica ce asocieri exista între doua variabile nominale (categoriale) a caror desfasurare este mai mare de 2 x 2, putând ajunge la 10 x 10.

Coeficientul de contingenta a C a lui Pearson are o formula ce poate fi generalizata la orice numar de linii si coloane. Pentru a calcula însa coeficientul C trebuie sa aflam mai întâi si valoarea lui hi patrat. Deficienta acestui coeficient apare din formula sa care va fi prezentata mai jos si consta în faptul ca ea nu poate lua niciodata valoarea 1, chiar în cazul unei asocieri perfecte. Astfel, pentru un tabel de tip 3 x 3, valoarea maxima atinsa este de 0,82, pentru unul de tip 4 x 4 ea ajunge la 0,87. Pe masura ce dimensiunea tabelului creste, limita lui C se deplaseaza spre 1, motiv pentru care se recomanda utilizarea respectivului coeficient în special în cazul tabelelor de contingenta de dimensiuni mari (de la 7-8 linii sau coloane în sus). Iata si formula lui C:

Pentru a depasi acest impas al valorii subunitare, Cramer propune urmatorul coeficient de asociere, marime care poate atinge valoarea 1:

Unde sunt necesare:

       hi patrat;

       N- numarul total de subiecti din studiu;

       s- numarul cel mai mic dintre numarul liniilor si al coloanelor.

Exemplu: Un cercetator este interesat sa vada daca exista vreo asociere între stilurile de coping adoptate de subiecti în depasirea situatiilor stresante si particularitatile de vârsta ale acestora. Astfel, cercetatorul chestioneaza un numar total de 373 de subiecti împartiti în patru grupe de vârsta: tineri între 18-30 ani; adulti între 31-45ani; maturi între 46-60 ani; si batrâni peste 60 de ani. Raspunsurile acestora la ipotetice situatii frustrante sunt catalogate în trei grupe: utilizarea predominanta a copingului centrat pe problema; a copingului centrat pe evaluare cognitiva, respectiv a copingului centrat pe emotii. Obtinem astfel un tabel de contingenta a datelor de tip 4 x 3, adica cu 4 linii si trei coloane. Iaa si rezultatele obtinute:
 

Coping problema

Coping cognitiv

Coping emotional

 

Tineri

46 (40)

25 (42)

32 (21)

Total tineri 103

Adulti

40 (38)

35 (39)

20 (19)

Total adulti 95

Maturi

35 (35)

40 (37)

15 (18)

Total maturi 90

Batrâni

24 (32)

53 (35)

8 (17)

Total batrâni 85

  Total coping problema

145 (39%)

Total coping cognitiv

153 (41%)

Total coping emotional

75 (20%)

Total subiecti 373

Pasi în rezolvarea problemei:

  1. Aflarea lui hi patrat (vezi capitolul destinat tehnicilor de comparatie neparametrice):

-trecerea în tabel a valorilor obtinute în urma chestionarii;

-calcularea frecventelor teoretice (expectate) notate în paranteza pentru fiecare casuta a tabelului, pornind de la proportia totala a raspunsurilor la cele trei stiluri de coping fara a tine cont de categoria de vârsta a subiectilor (vezi calcularea lui hi patrat pentru tabele de contingenta mai mari de 2 x 2);

-alcatuirea tabelului ajutator pentru calcularea lui hi patrat;

- calcularea lui hi patrat si interpretarea rezultatului obtinut;

O-E

(O-E)²

E

(O-E)²/E

radical din E

R

6

36

40

0,9

6,3

0,95

2

4

38

0,1

6,1

0,32

0

0

35

0,0

5,9

0,00

-8

64

32

2,0

5,6

-1,43

-17

289

42

6,9

6,5

-2,61

-4

16

39

0,4

6,2

-0,64

3

9

37

0,2

6,1

0,49

18

324

35

9,2

5,9

3,05

11

121

21

5,8

4,6

2,39

1

1

19

0,1

4,4

0,22

-3

9

18

0,5

4,3

-0,69

-9

81

17

4,7

4,1

-2,19

Hi patrat=30,8

Se observa ca hi patrat obtinut de 30,8 este semnificativ statistic din tabel la df=6 grade de libertate la un p mai mic de .001. De asemenea exista patru valori ale lui R care sunt socotite a fi responsabile pentru obtinerea unui hi patrat semnificativ. Urmarind acele date observam ca ele se refera la modul în care doua categorii de vârste (batrânii si tinerii) utilizeaza copingul cognitiv si cel emotional. Concluzia care rezulta din inspectarea datelor poate fi sintetizata astfel: Nu exista diferente semnificative în ce priveste preferinta de a utiliza copingul centrat pe problema între cele 4 categorii; batrânii tind sa utilizeze în comparatie cu tinerii mult mai des copingul cognitiv în defavoarea celui emotional; la tineri situatia este inversa în compararea lor cu tendintele batrânilor. Nu se observa alte diferente semnificative dinn prelucrarea datelor la alte categorii.

B)Calcularea coeficientilor de asociere C si V în functie de rezultatul lui hi patrat.

s este în aceasta problema egal cu 3 deoarece exista 4 linii de date (tineri, adulti, maturi si batrâni) si 3 coloane de date (coping centrat pe problema, pe evaluare cognitiva si pe emotii). Se alege s egal cu trei deoarece este numarul cel mai mic dintre patru si trei.

Interpretarea lui C, respectiv V se face teoretic pornind de la ideea ca un rezultat cat mai apropiat de 1 indica o corelatie pozitiva, iar un coeficient negativ indica o asociere inversa. Se poate spune ca între cele doua variabile exista o asociere, iar din analiza lui R (rezidul standardizat) se observa asociatii puternice în special în ce priveste copingul cognitiv si batrânii, respectiv copingul emotional si tinerii.

Testul Spearman al corelatiei diferentei rangurilor

Aceasta corelatie ne intereseaza când conditiile privind parametrii statistici nu pot fi îndeplinite, fie din cauza neomogenitatii grupului, fie a numarului prea mic de subiecti (sub 20). Proba se aplica luând în considerare rangurile subiectilor care se stabilesc prin ierarhizarea rezultatelor subiectilor, fie în situatia când nu se pot efectua masuratori precise (datele sunt prezentate de la început sub forma rangurilor), fie prin convertirea rezultatelor obtinute în ranguri. Rangurile arata locul fiecarui individ într-un clasament (ex. Rezultatele a patru subiecti la testul de inteligenta au fost 109, 92, 87 si 100; care convertite în ranguri înseamna 1, 3, 4, si 2).

În cazul unor rezultate egale se acorda si ranguri egale acelor subiecti. Pentru a putea fi folosit însa acest test, nu trebuie sa existe un numar prea mare de ranguri egale, cel putin nu peste 25% din totalul rangurilor celor doua grupe. Mai mult, daca doi subiecti sunt clasati pe locul patru, ei vor primi rangul 4,5 aflat între locurile 4 si 5. Urmatorul rang acordat va fi 6. Daca sunt trei subiecti clasati la egalitate pe locul 2, atunci ei vor primi rangul 3, aflat la mijlocul dintre locurile 2,3 si 4, iar urmatorul rang ce va fi acordat va fi rangul 5. Pentru o mai buna întelegere a acetor concepte, vom prezenta în tabelul de mai jos datele urmatoarei probleme:

Se doreste a se afla daca exista vreo asociere între rezultatele obtinute la competitia nationala de discursuri oratorice individuale si gradul de anxietate sociala al subiectilor. Rezultatele la competitia nationala sunt exprimate direct în ranguri (locurile din clasamentul final), în timp ce nivelul de anxietate sociala a fost mai întâi exprimat numeric în urma aplicarii unui test adecvat (rezultatele mari indicau o anxietate sociala puternica), rezultatele obtinute fiind mai apoi convertite în ranguri. Au fost supusi studiului 10 subiecti.

S

Rang competitie

Rezultat anxietate

Rang anxietate

D(diferenta ranguri)

A

4

43

9

-5

25

B

3

54

10

-7

49

C

6

23

2

+4

16

D

8

27

4

+4

16

E

9

42

8

+1

1

F

10

18

1

+9

81

G

5

25

3

+2

4

H

7

35

7

0

0

I

2

30

5,5

-3,5

12,25

J

1

30

5,5

-4,5

20,25

                                                                                                                                                S D2=224,5

Pentru a calcula coeficientul de corelatie a rangurilor notat cu r (ro) utilizam urmatoarea formula:

[Image]

Unde:

N = Numarul de subiecti (în problema de fata 10);

S D2 = suma patratelor diferentelor dintre ranguri (în acest caz 224,5).

În problema de fata obtinem urmatorul rezultat r :

[Image]

Ca si r, coeficientul de corelatie poate avea valori între –1 si +1. Valorile negative apropiate de –1 ne indica o corelatie inversa. Valorile foarte mici ale lui ro, apropiate de zero nu sugereaza o asociere semnificativa. Desi coeficientul de corelatie Spearman r si coeficientul de corelatie r a lui Pearson nu vor avea aceleasi valori pentru acelasi set de date, totusi exista o relativa concordanta (echivalare) între valorile lui r si cele ale lui r . Spre exemplu, un coeficient r de +0,30 este echivalent aproximativ cu un r de +0,31, sau un coeficient r de +0,70 este echivalent cu un r de +0,71.

În cazul problemei de mai sus am obtinut un r = -0.36 la un N = 10. Daca consultam valoarea trecuta în tabelul lui r în dreptul liniei lui N grade de libertate (unde N este numarul de perechi de subiecti), adica 10, observam ca valoarea obtinuta de noi este mai mica decât valorile trecute în tabel. Ca urmare putem spune ca nu exista o corelatie semnificativa statistic între cele doua tipuri de variabile, deci nivelul de anxietate sociala nu influenteaza rezultatele la competitiile de dezbateri individuale.

Cu prilejul compararii clasamentelor exista cazuri în care apare frecvent situatia rangurilor egale. Daca exista putine ranguri egale într-un esantion formula lui r functioneaza satisfacator. Daca mai mult de 25% din date sunt egale în ranguri vom apela la o alta formula, a coeficientilor t (tau) a lui Kendall.

Coeficientul t (tau) b a lui Kendall pentru variabile ordinale

Exista mai multe formule de exprimare a acestui coeficient, ceea ce ne intereseaza însa pe noi este o varianta ajutatoare în cazul datelor ordinale a caror ranguri egale depaseste 25%. Logica construirii acestui coeficient este însa asemanatoare cu cea a corelatiei Spearman: vom vorbi de o asociere pozitiva daca indivizii plasati pe locuri fruntase dupa o variabila, se afla mai în fata si dupa cealalta, iar asocierea va fi negativa daca aceiasi indivizi plasati bine dupa prima variabila se vor regasi mai curând spre coada clasamentului dupa cea de a doua variabila.

Pentru a deveni familiarizati cu demersul statistic se impun câteva precizari privind modalitatea de notare:

(+1, +1) si (-1, -1) sunt perechi concordante, al caror nume îl notam cu C; În primul caz de concordanta (+1, +1) avem Xi mai mare decât Xj si Yi mai mare decât Yj. În al doilea caz (-1, -1) avem Xi mai mic decât Xj si Yi mai mic decît Yj.

(+1, -1) si (-1, +1) sunt perechile discordante, al caror nume îl notam cu D; În primul caz (+1, -1) avem Xi mai mare decât Xj si Yi mai mic decât Yj. În al doilea caz (-1, +1) avem Xi mai mic decât Xj si Yi mai mare decât Yj.

(0, +1) si (0, -1) sunt perechi cu ranguri egale numai dupa prima variabila, pe nume Txi. În primul caz cea de a doua variabila îmbraca forma Yi mai mare decât Yj, iar cel de-al doilea caz forma Yi mai mic decât Yj.

(+1, 0) si (-1, 0) sunt perechi cu ranguri egale numai dupa a doua variabila si se noteaza cu Tyi. În primul caz avem Xi mai mare decât Xj si Yi = Yj, iar în cel de-al doilea avem Xi mai mic decât Xj si Yi egal cu Yj.

(0, 0) sunt perechile cu ranguri egale si dupa prima variabila si dupa a doua variabila si se noteaza cu Txyi. În aceasta ultima situatie avem Xi =Xj si Yi = Yj.

T este indicatorul prin care se exprima numarul total de perechi, adica:

T = C + D + Txi +Tyi + Txyi si este egal cu N(N-1)/2

Mai trebuie remarcat ca: Tx = Txi + Txyi, respectiv Ty = Tyi +Txyi

Facând toate aceste notatii putem introduce si formula lui t tinându-se seama de rangurile obtinute:

[Image]

Vom utiliza spre exemplificare urmatoarea problema:

Doi evaluatori externi trebuie sa stabileasca o ierarhie a subiectilor (cuplurilor) care au reactionat pozitiv în urma unor întâlniri bilunare de consiliere maritala având ca scop reducerea oricaror forme de violenta în cadrul cuplului. Exista anumite criterii de diagnosticare a progresului realizat, însa evaluarea ramâne în mare parte subiectiva, în functie de perceptia fiecarui evaluator.

Cupluri

A

B

C

D

E

F

G

H

Rangul dupa evaluatorul A

1

2

2

2

5

6

6

8

Rangul dupa evaluatorul B

1

2

3

3

3

3

8

7

Fiind mai multi indivizi cu ranguri identice este notat ca rang urmator cel care ar fi urmat daca rangurile ar fi fost diferite. Adica, daca au existat doua locuri 3, rangul urmator atribuit este 5, ca si cum am fi avut ranguri diferite 3 si 4. De observat ca în aceasta situatie, spre deosebire de corelatia Sperman, nu se atribuie un rang mediu în cazul mai multor ranguri egale, ci se pastreaza rangul 3. Cele opt cupluri pot forma 28 de perechi, adica N(N-1)/2 pentru a fi supuse situatiilor amintite anterior.

Perechi cupluri

Xij

Yij

Cat.

Perechi cupluri

Xij

Yij

Cat.

1 si 2

-1

-1

C

3 si 5

-1

0

Tyi

1 si 3

-1

-1

C

3 si 6

-1

0

Tyi

1 si 4

-1

-1

C

3 si 7

-1

-1

C

1 si 5

-1

-1

C

3 si 8

-1

-1

C

1 si 6

-1

-1

C

4 si 5

-1

0

Tyi

1 si 7

-1

-1

C

4 si 6

-1

0

Tyi

1 si 8

-1

-1

C

4 si 7

-1

-1

C

2 si 3

0

-1

Txi

4 si 8

-1

-1

C

2 si 4

0

-1

Txi

5 si 6

-1

0

Tyi

2 si 5

-1

-1

C

5 si 7

-1

-1

C

2 si 6

-1

-1

C

5 si 8

-1

-1

C

2 si 7

-1

-1

C

6 si 7

0

-1

Txi

2 si 8

-1

-1

C

6 si 8

-1

-1

C

3 si 4

0

0

Txyi

7 si 8

-1

+1

D

Reamintim ca –1 desemneaza situatia în care cuplul A este situat înaintea cuplului B dupa variabila respectiva; +1 reda o ordine inversa, iar 0 indica situatia de ranguri egale în cadrul variabilei respective. De exemplu, în situatia cuplurilor 2 si 3 avem de a face cu (0, -1). Aceasta înseamna ca primul evaluator a socotit ca cele doua cupluri au facut progrese egale în reducerea violentei familiale, în timp ce al doilea evaluator a considerat ca rangul (locul) cuplului al doilea este în fata cuplului notat cu numarul trei deoarece a realizat progrese superioare în diminuarea violentei familiale.

Daca vom face un bilant, cele 28 de perechi se distribuie astfel: C = 18; D = 1; Txi = 3; T yi = 5; Txyi = 1. Mai putem calcula si Ty si Tx, astfel avem: Tx = Txi + Txyi = 4; Ty = Tyi + Txyi = 6

Aplicând formula amintita pentru calcularea lui t obtinem:

[Image]

Observatie: Acest coeficient de corelatie este o alternativa viabila la coeficentul lui Sperman în situatiile în care exista multe ranguri egale (peste 25% din totalul rangurilor). Interpretarea valorii gasite nu dispune de compararea ei cu o valoare corespunzatoare dintr-un tabel propriu

Rezumatul testelor neparametrice de corelatie:

Corelatii de date nominale:

- doua variabile dihotomice de tip 2 x 2: se utilizeaza Coeficientul de corelatie j .

- doua variabile categoriale, peste 2 x 2: Coeficientul V a lui Cramer, respectiv coeficientul de contingenta C a lui Pearson (util în special pentru tabele peste 5 x 5).

Corelatii de date ordinale (ordonate sub forma de ranguri):

- doua variabile, putine ranguri egale: Coeficientul de corelatie r a lui Spearman.

- doua variabile, mai multe ranguri egale: Coeficientul t a lui Kendall.

PROBLEME

  1. Pentru a vedea ce legatura exista între consumul de alcol în perioada graviditatii si malformatiile genetice, au fost investigate un numar de 150 de femei. Rezultatele obtinute sunt prezentate în tabelul urmator:
     

    Au consumat alcool

    N-au consumat

    Copii cu probleme

    50

    10

    Copii sanatosi

    30

    60

    Interpretati rezultatele obtinute.

  2. Un psiholog are motive sa creada ca serviciul de psihoterapie de grup pentru delincventi are o influenta pozitiva si este asociat cu scaderea numarului de recidive. Are el dreptate? Priviti datele din urmatorul tabel:
     

    Au recidivat

    N-au recidivat

    Au beneficiat de psihoterapie

    25

    35

    N-au beneficiat de psuhoterapie

    50

    30

  3. Care sunt diferentele principale dintre coeficientul C a lui Pearson si coeficientul V al lui Cramer?

  4. O statistica efectuata la nivel international releva urmatoarea distributie a copiilor cu cerinte educative speciale:
     

    SUA

    Suedia

    România

    Centre de resurse

    42800

    3500

    400

    Clase normale

    27200

    4100

    4900

    Clase speciale

    24400

    2000

    500

    Scoli speciale

    5600

    500

    3800

    Exista o asociere semnificativa între tipul de tara si tipul de scolarizare a copiilor cu CES?

  5. Un psiholog social doreste sa vada daca exista vreo asociere semnificativa între nivelul de scolarizare si atitudinea fata de pedeapsa capitala. Categoriile de raspuns pentru prima variabila au fost: nescolarizat, 4 clase absolvite, gimnaziu, scoala profesionala, liceu, postliceala si colegii, studii universitare, studii postuniversitare. Cea de a doua variabila a fost cotata astfel: sunt foarte de acord cu introducerea pedepsei capitale, sunt relativ de acord, nu stiu, sunt relativ împotriva, sunt total împortiva introducerii ei. Iata rezultatele:
     

    foarte de acord

    relativ acord

    nu stiu

    relativ dezacord

    total împotriva

    Fara scoala

    26

    15

    8

    2

    6

    4 clase

    25

    10

    7

    4

    5

    8 clase

    14

    12

    13

    9

    9

    Sc.profesionala

    8

    15

    10

    3

    9

    Liceu

    9

    24

    4

    10

    16

    Colegiu

    7

    12

    5

    14

    8

    Universitate

    10

    8

    6

    23

    34

    Postuniversitar

    2

    7

    10

    16

    23

    Exista vreo legatura între cele doua variabile? Interpretati rezultatele obtinute.

  6. Doua cadre didactice sunt rugate sa clasifice cei 11 elevi cu dificultati de învatare din perspectiva rezultatelor obtinute la Aritmetica, respectiv Româna. Iata rezultatele:

    rang

    A

    B

    C

    D

    E

    F

    G

    H

    I

    J

    K

    Aritmetica

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    11

    Româna

    3

    1

    2

    9

    4

    8

    6

    5

    7

    11

    10

    Se poate spune ca vorbim de tulburari asociate, comune ambelor situatii?

  7. Calculati coeficientul de corelatie Spearman daca: N=16, iar suma patratului diferentelor dintre ranguri este 308, la un prag de semnificatie de.01 în cazul unui test bilateral.

  8. Exista mai multe programe de terapie comportamentala în scopul reducerii fumatului. O echipa de specialisti a fost rugata sa clasifice eficienta acestora acordându-le un calificativ de la 1(deloc eficiente) la 5(foarte eficiente) folosind doua criterii: rapiditatea schimbarii si durata schimbarii. Exista oare o asociere între cele doua criterii?

Programe

A

B

C

D

E

F

G

H

I

Rapiditate

1

3

2

4

5

5

5

3

2

Durata

2

3

2

1

5

5

3

4

3

I. TEHNICI STATISTICE: Statistica descriptiva, Studiul corelational, Metode de comparatie, Tabele, Formule si raspunsuri la intrebari, Bibliografie recomandata
II. APLICATII STATISTICE: Baze de date - Exemple
III. TESTE
IV. LINK-URI RECOMANDATE

PAGINA DE START
afsava@socio.uvt.ro