LEZIONE A.10 Simmetria e ‘normalità’

1. TQuArs – a.a. 2010/11 Tecniche quantitative per l’analisi nella ricerca sociale Giuseppe A. Micheli LEZIONE A.10 Simmetria e ‘normalità’

2. In questa lezione.. • In questa lezione faremo tesoro dei risultati già ottenuti, e compiremo altri passi utili per rifinire la nostra capacità di analizzare una variabile: • Dapprima applicheremo la trasformata standard su esempi di distribuzioni differenti, per imparare a cogliere le differenze di forme al di là dell’ordine di grandezza e della misura di dispersione. • Daremo a questo punto una definizione della proprietà di simme-tria o asimmetria di una variabil, e ne indicheremo una misura. • C’è una distribuzione simmetrica per eccellenza, di fondamentale importanza in Statistica (soprattutto per l’inferenza): la distri-buzione Normale o di Gauss. Ne faremo la conoscenza. • Impareremo infine a usare i valori tabulati delle frequenze sottese alla distribuzione Normale ‘ridotta’ (standardizzata) per stimare – conoscendo solo media e deviazione standard di una variabile – la frequenza di osservare valori entro o fuori di una qualunque ‘regione di accadimento’.

3. La forma delle distribuzioni: un esempio Densità ricalco-late! Diecimila coscritti secondo il reddito familiare m=1,732; =0,9365; Me=1,46; Md=1,40 Osserviamo una leva di coscritti secondo il reddito familiare. La trasformata stan-dard mostra un addensamento a sinistra, compensato da una lunga coda a destra.

4. Due caratteri, una popolazione Densità ricalco-late! Diecimila coscritti secondo il peso m=83,535; =10,483; Me=83,07; Md=78 E’ ragionevole che i redditi siano distri-buiti in modo ineguale, asimmetrico. Invece la distribuzione del peso sembra più centrata intorno alla media: essa mo-stra però una marcata polarizzazione. La trasformata standard la evidenzia.

5. Confrontare la forma standardizzando Se sovrappongo le due di-stribuzioni standardizzate, fa-cendo attenzione a uniforma-re le scale degli assi (quello orizzontale con i valori z, quello verticale con le densità ricalcolate), possiamo ora co-gliere le differenze nella forma delle v.s.depurate dall’influenza sia dell’or-dine di grandezza che del-la dispersione, ora tenute sotto controllo. Ma quali altri caratteri della forma di una distribuzione possono essere catalogati? La distribuzione dei redditi è ‘asimme-trica’, quella del peso molto meno Blu:reddito Rosso: peso Dopo l'ordine di grandezza e la dispersione, la terza proprietà fondamentale della forma di una variabile è la asimmetria.

6. Una distribuzione ‘simmetrica’ Diecimila coscritti secondo la statura m=175; =10,391; Me=175; Md=175 Consideriamo un terzo carattere. La di-stribuzione delle stature (Quetelet insegna) dà veramente una sensazione di simmetria…

7. Un’altra distribuzione ‘simmetrica’ m- m+ Coscritti secondo il Quoziente di Intelligenza m=110; =20,02; Me=110; Md=110 Ma anche la distribuzione dei Q.I. dà la stessa sensazione. Come definire allora la simmetria o asimmetria di una variabile? E, se è possibile, come misurarla?

8. Come definire la simmetria Il concetto di simmetria implica un polo centrale della distribuzione, ri-spetto a cui si osservi questa proprietà. Immaginiamo il profilo della distri-buzione di una v.s. come il fondale di un palcoscenico chiuso da un sipario. Man mano che il sipario si apre (quindi a pari distanza a sinistra e a destra del centro del palco) il profilo varia ma sempre con pari altezza sui due lati. Un sipario è sempre di velluto rosso

9. Una definizione più formale Diamo allora una definizione più formale. Anzitutto noi non sappiamo defi-nire la asimmetria in sé, ma solo come assenza di simmetria. Una distri-buzione è asimmetrica se non è simmetrica. In generale: Una distribuzione è simmetrica rispetto a un polo se per ogni mo-dalità xi =  + k ne esiste una speculare xj=–k con la medesima frequenza: È abbastanza intuitivo che se X è simmetrica allora il polo centrale deve coincidere sia con la mediana (il ‘valore di mezzo’) che con la media aritmetica (il ‘baricentro’). Cioè  = M(X) = Me(X). Se poi la distribuzione è, come si dice, ‘regolare’ (cioè ha un unico valore modale), la simmetria comporta la sovrapposizione delle tre misure cen-trali m=Me=Md. Su questa ultima proprietà si basa una misura della asimmetria come scostamento dalla perfetta simmetria.

10. Definire la asimmetria Curva skew destra Curva skew sinistra Definiamo asimmetria "negativa" (skewness sinistra) quella di una distribuzione regolare che presenta una co-da a sinistra di valori lontani dalla media e un massimo spo-stato a destra ri-spetto al baricentro. Definiamo asimmetria “positiva" (skewness destra) quella di una distribuzione regolare che presenta una co-da a destra di valori lontani dalla media e un massimo spo-stato a sinistra ri-spetto al baricentro. Rispetto alla situazione di perfetta simmetria possiamo distinguere due situazioni opposte

11. Misurare la asimmetria media=mediana=moda Sk  0 Sk 0 moda moda Sk = 0 mediana mediana media media La differenza (m-Me), depurata dell’effetto della dispersione dei dati divi-dendola per ) è allora u-na buona misura di asim-metria, detta skewness: In caso di skewness destra la media (nel cui calcolo entrano tutte le xi incluse le più alte) è trascinata più a destra della me-diana, a sua volta più a destra della moda: Md  Me  m (m-Me)  0 Analogamente in caso di skewness sinistra la media (che coinvolge anche le xi più basse) è trascinata più a sini-stra della mediana, a sua volta più a sini-stra della moda: m  Me  Md (m-Me)  0 Sk = (m-Me)/  NB: lo skewness non è misura normalizzata tra 0 e 1 (altre lo sarebbero).

12. Un miscuglio, due distribuzioni Sottogruppo con alto red-dito secondo il peso m=78,13; =8,164 Me=78,04; Md=78 Sk=+0,011 La distribuzione del pe-so tra i 10mila coscritti aveva forma bipolare e una certa asimmetria positiva (Sk=+0,044). Ma essa ‘mischia’ due popolazioni distinte in base al reddito, con dif-ferenti m,  e Sk Sk=-0,226 Sottogruppo con basso red-dito secondo il peso m=88,94; =9,69 Me=91,13; Md=94

13. Una distribuzione tutta particolare m+2=195 m-2=155 mx=175 m-=165 m+=185 xi Torniamo alla distribuzione delle stature e disaggreghiamo le classi. L’istogramma as-sume forma simmetrica e campanulare. Se facciamo tendere gli intervalli i di base a misure infinitesime..

14. La distribuzione Normale o di Gauss Va sotto il nome di Gauss la legge di frequenza di una v.s. continua, dalla forma simmetrica e campanulare, per la quale sono stati dimostrati fondamentali risultati di convergenza, tanto da farne una legge di riferimento o “Normale”. • Una distribuzione Normale con media m e deviazione standard  (la indicheremo con N(m,) possiede queste proprietà: • Ha forma simmetrica e campanulare • Dipende da due parametri che corri-spondono alle statistiche m e  • Tende asintoticamente a zero per x • È unimodale, con massimo in x=m=Me • Ha due punti di flesso (dove cambia o-rientamento la concavità della curva) in x=m  N(m, ) m m-2 m+2 m- m+

15. Due buoni motivi di interesse Ci sono almeno due motivi di interesse per la N(m,). Il primo è che già Gauss la identifica come legge di distribu-zione degli errori accidentali intorno a una misura centrale. Il teorema del limite centrale, formulato nel ‘900, indica nella Normale la legge a cui converge la somma di un numero crescente di ‘esperimenti’ ripetuti, qualunque sia la loro distribuzione. Il secondo motivo è che la legge di densità dipende solo dai due parametri m e  (e,  e 2 = costanti!), interni alla distri-buzione stessa. Quindi se noi standardizziamo le modalità di una distribuzione osservata, qualunque ne sia la forma, la di-stribuzione così ‘ridotta’ N(0,1)non dipende da nessun parametro. Insomma, una distribuzione ‘universale’! zi

16. La distribuzione Normale ridotta Ripetiamo questo concetto, così utile e importante. Se noi constatiamo, o sappiamo per certo (o almeno ipotizziamo) che il carattere X si distribui-sce secondo una Normale di media m e deviazione standard (lo scriviamo così: X~N(m;)), e consideriamo i valori standardizzati z=(x-m)/ questi si distribuiranno ancora secondo una Normale, ma con media m=0 e deviazione standard =0 (e lo scriviamo così: Z~ N(0,1)). 34,1% 34,1% Quindi la distribuzione normale standardizzata ha legge di den-sità fissa qualunque sia la distri-buzione N(m,) di partenza. L’area sottesa alla curva in un qualunque intervallo dato è quindi fissa e tabulabile. Per esempio: f(-1<x<1)=68,2% 13,6% 13,6% 2,3% 2,3% m zi m-2 m- m+ m+2

17. La tavola della Normale ridotta Per usare la tavola della Normale ridotta N(0,1) si cerca nella prima colonna (intero e primo decimale) e prima riga (secondo deci-male) l’estremo superiore di un intervallo 0<Z<z (dove z=0 corrisponde al valore medio): all’incrocio tra riga e colonna di entrata si indi-vidua la frequenza di quella regione: f(0<Z<z)=(z). Se z=1,96 (z)=0,475

18. Un primo esempio Abbiamo visto che la statura di diecimila coscritti si distribuisce secondo una Normale, con m=175 e =10,39. Senza dover avere sottomano l’intera distribuzione mi bastano questi due parametri e l’ipotesi che X ~ N(m,) Per stimare per es. la frequenza di coscritti di statura compresa tra 175 (media) e 190 cm. Occorre anzitutto trasformare l’intervallo in valori z: Se x=190 allora z=(190-175)/10,39=1,44 Nella tavola in corrispondenza di z=1,44 trovo (z)=f(0<Z<z)=0,4251. Dunque le stature tra 175 (media) e 190 capitano nel 42,5% dei casi. (-z)=42,5% (z)=42,5% E se avessi voluto stimare la frequenza di stature comprese tra 160 e 190 cm., cioè 15 cm sopra e sotto la media? Niente di più facile, visto che la curva è simmetrica e (z)=f(0<Z<z)= f(-z<Z<0)=(-z) Quindi f(-z<Z<z)=2(z)=85%

19. Un secondo esempio Prendiamo ora la distribuzione del peso dei coscritti. Supponiamo di non avere l’intera distribuzione ma solo i parametri m=83,5 e =10,5. Per avere una stima della frequenza di osservazioni compresi tra 82 e 90 chili, facciamo la solita ipotesi che X ~ N(m,). Ora però l’intervallo non è centrato sulla media (è spostato a destra). Calcoliamo separatamente due frequenze (sapendo che (-z)= (z)): f{m<X<90}=f{0<Z<(90-m)/)}=f{0<Z<0,62}=(0,62)=0,2324 f{82<X<m}=f{(82-m)/<Z<0}=f{-0,14<Z<0}=(-0,14)=(0,14)=0,0557 f{82<X<90}= (0,62)+ (0,14)=0,2324+0,0557=0,288=28,8% (0,62)=23,2% (-0,14)=5,6% In base all’ipotesi di normalità di X si stima che tra 82 e 90 chili stia il 29% dei casi. In realtà la v.s. X ha un ‘buco’ proprio in quella classe che contiene solo il 21% delle osservazioni. Ma più di così non potevamo fare!

20. Un ultimo esempio • A volte siamo interessati a stimare la frequenza di casi non entro una data re-gione, bensì al di fuori di essa. Per es.: • La frequenza dei bocciati • La frequenza di frecce scagliate fuori bersa-glio (troppo a destra e troppo a sinistra)… • Sappiamo che la distribuzione del peso dei coscritti ha m=83,5 e =10,5. Fissia-mo una soglia critica a k=m+2=104,5 chili e chiediamo: date le diverse di-stribuzioni per alti e bassi redditi, quale sarà nei due casi la frequenza di ragaz-zi sovrappeso? Detto k* il valore stan-dardizzato (k-m)/, vale la relazione: (k*) 0,5-(k*) Alto reddito: m=78,1; =8,16 K*=(104,5-78,1)/8,16=3,23 ½ - (3,23)=0,5 – 0,4995  0 Basso reddito: m=88,9; =9,69 K*=(104,5-88,9)/9,69=1,61 ½ - (1,61)=0,5 – 0,4463=5,4% f(X>k)=f(Z>k*)=f(0<Z<)-f(0<Z<k*)=(+)- (k*)=0,5 - (k*)

21. Un confronto con Cebicev L’assunzione di normalità di una distri-buzione, la standardizzazione di una variabile e l’uso della tavola della N(0,1) ci consentono, dati solo m e , di avanzare una valutazione della frequenza di osser-vazioni in un certo intervallo: f{m-z<X<m+z}= f{-z<Z<z}=2(z) Con un po’ di esercizio si può valutare qualunque frequenza, interna o esterna a una data regione, a sua volta centrata intorno alla media o no. La valutazione così ottenuta della fre-quenza f{|x-m|z} (espressione equiva-lente a quella sopra) è comunque assai più elevata del ‘pavimento’ fissato dal teorema di Cebicev [=1-(1/z2)].