Qualità del Software e ISO9126

1. Qualità del Software e ISO9126 Valutazione e Qualità del Prodotto Software Mario Capurso http://info.bazarinfo.info

2. Valutare o non valutare, questo è il problema… • E’ piacevole valutare ? • Dissonanza cognitiva e valutazione • Valutare che cosa ? • Valutare quando ? • Valutare come ? • E dei risultati che farne ?

3. Valutare quando e perchè • Valutazione intermedia o formativa • per modificare il processo produttivo o evidenziare le lacune del prodotto • Valutazione finale o sommativa • prima di vendere il prodotto

4. Valutare perché - 2 • Valutazione sincronica: valuta qui ed ora • Valutazione diacronica: valuta lo stesso prodotto in un arco temporale • Valutazione proattiva: evidenzia le lacune e stimola al superamento • Valutazione retroattiva: riflette sul prodotto ultimato (post mortem) • Valutazione di impatto: valuta l’impatto del prodotto sull’utente

5. Valutare – Chi e come • Autovalutazione • Eterovalutazione • Valutazione tra pari • Valutazione di gruppo • Valutazione per confronto • Valutazione in presenza di criteri

6. Valutare come - modello Come valutereste l’acquisto dell’auto nuova ? 1-10 Valore Costo di Acquisto 50% Economicità 25% Sicurezza 25% Danni al Crash Test Euro Km/Litro 0- 8000 10 8001-10000 8 10001-12000 7 …

7. Indicatori e metriche • Serve un indicatore finale di qualità (1-10 ?) • Una struttura ad albero con le caratteristiche in cui si suddivide la qualità ed i pesi relativi • Delle metriche per le caratteristiche • Degli indicatori associati ai valori delle metriche • Delle prove oggettive

19. Valutare come – indicatori e prove oggettive • Risposte vero/falso • Risposte a scelta multipla • Risposte aperte

20. Cosa fare • Definire: • Il tipo di prova (iniziale, intermedia, finale) • I destinatari • Lo schema (struttura, pesi, metriche, indicatori, domande) • Come inserire le domande nella prova oggettiva

21. Valutazione come analisi campionaria • Il test deve essere un campione del software • Deve essere rappresentativo • Ciascun ambito, area o disciplina può richiedere tipologie diverse di domande • Più domande per argomenti “più importanti” • Raggruppare insieme per tipologia di domanda e (all’interno) per argomento • Dai quesiti più semplici ai più complessi

22. Da non dimenticare • Correttezza linguistica dei quesiti • Formulazione chiara • Istruzioni per la prova chiare • Ogni quesito abbia un identificativo • Impaginazione grafica leggibile • Fotocopiatura di qualità • Con immagini funzionali al testo ed inserite opportunamente

23. Buone Pratiche

24. Sistemi Automatici per la valutazione • On line oppure Off line • Funzionalità • stabilire prioritariamente il punteggio; • scegliere tra tipi di domande: vero/falso, scelta multipla, ecc. • fornire aiuti al valutatore in difficoltà; • elaborare e analizzare i risultati. • I software più diffusi: • Question Mark (www.campustore.it) • Quiz Faber (www.lucagalli.net) • Web Quiz 2002 (www.smartlite.it) • Winask 2000 (www.smartlite.it) • JsVal (www.far.unito.it/JsVal) • Si può fare da sé (con VBA e Powerpoint)

25. I Pregi dei sistemi automatici • Costruzione di un archivio di domande da arricchire e condividere • Differenziare le prove • Distribuire casualmente le domande • Interagire con il valutatore a distanza • Sottoporre a test più valutatori in parallelo

26. Esempio: Valutazione della qualità del Software Didattico • Valutazione del prodotto (non del processo) • Non inventate ma adottate e adattate • Il SD è software • Il SD è software, ma non solo • OK/NON OK vs. Valutazione dettagliata

27. Obiettivo della valutazione • Per un autore: la decisione di migliorare il prodotto • Per un utente: la decisione di comprare il prodotto • Per un editore • La decisione di migliorare il prodotto (come produttore) • La decisione di distribuire il prodotto (come distributore)

28. Criteri di Valutazione • Tecnici (ISO 9126 - Qualità del Software) • Appropriatezza come: • Educativi • Di Contenuto • Operabilità come: • Commerciali

29. Gli Aspetti tecnici • Lo Standard ISO 9126 sulla Qualità del Software • Funzionalità • Affidabilità • Manutenibilità • Portabilità • Efficienza • Usabilità

30. Qualità del Software e Software Educativo Multimediale • Usabilità • Comprensibilità • Facilità nell’essere appreso • Facilità d’uso • Funzionalità • Appropriatezza per lo scopo specifico • …

31. Appropriatezza: Aspetti Educativi • Prequisiti • Obiettivi di apprendimento • Chiarezza Informativa • Flessibilità • Valutazione del processo di apprendimento • Valutazione dei risultati • ...

32. Appropriatezza: Aspetti di Contenuto • Presenza di un indice • Struttura Modulare • Capacità di creare interesse • Aspetti Estetici • Aspetti Grafici • ...

33. Appropriatezza: Caratteristiche Educative e Utenti di riferimento • Sono chiaramente specificati l’età ed il livello scolastico degli utenti di riferimento ? • Sono chiaramente specificati i prerequisiti in termini di conoscenze ed abilità ?

34. Appropriatezza: Caratteristiche Educative e Aspetti formativi • Sono chiaramente specificati gli argomenti coperti e gli obiettivi di apprendimento ? • Gli obiettivi di apprendimento sono compatibili con l’età e la competenza degli utenti di riferimento ? • Gli obiettivi di apprendimento ed i contenuti sono consistenti con i requisiti del curriculum ufficiale ?

35. Appropriatezza: Caratteristiche Educative e Materiali di supporto formativo • Sono previsti ? • Sono chiari ed appropriati ? • Includono: • una introduzione al progetto formativo del SD? • strategie d’uso con differenti tipi di utenti ? • idee per l’uso congiunto con altri materiali ? • strategie di gestione per situazioni differenti ? • indirizzi Web/e-mail con altre risorse ?

36. Appropriatezza: Caratteristiche Educative e Capacità di adattamento alle necessità individuali • Il SD fornisce feedback differenziato e non stereotipato ? • Permette differenti cammini di apprendimento ? • Presenta una sequenza di attività graduate secondo le abilità personali ?

37. Appropriatezza: Caratteristiche Educative e Strategie per stimolare motivazione, attenzione e memoria • Gli obiettivi e le fasi del processo di apprendimento sono progettati per aumentare la motivazione dell’utente ? • La presentazione è accattivante ? • Il SD è efficace nel mantenere l’attenzione ? • Le attività richieste sono varie ? • Le difficoltà sono ben distribuite ? • L’ informazione è ripetuta in differenti forme per aiutare il ricordo ?

38. Caratteristiche EducativeUso • Il SD può essere usato: • Per l’apprendimento a casa • Per l’apprendimento in classe • Come compito a casa • Come verifiche in classe • Come risorsa per l’autoistruzione • Per attività di gruppo • Su diversi computers in rete

39. Caratteristiche EducativeIncoraggiamento al pensiero critico • L’utente è incoraggiato a generalizzare ? • L’utente è incoraggiato a dedurre conclusioni o inferenze ? • L’utente è incoraggiato a analizzare problemi e a generare soluzioni multiple ? • L’utente è incoraggiato a fare esperimenti e ad acquisire conoscenza osservando i risultati ?

40. Caratteristiche EducativeValutazionedei risultati del discente • Sono previsti test di valutazione ? • I test sono rilevanti rispetto agli obiettivi di apprendimento ? • Includono : • test di ingresso ? • quiz/test di unità ? • completamento di una procedura simulata? • esame finale ? • Sono suggerite ulteriori attività di revisione dopo dei cattivi risultati in un test ?

41. Caratteristiche Tecniche Funzionalità • I requisiti HW e SW sono compatibili con le attrezzature disponibili? • L’installazione è facile ? • Ci sono errori di funzionamento ? • Il software è protetto da modifiche ?

42. Caratteristiche Tecniche Funzionalità presenti • Sono presenti le seguenti caratteristiche: • salva su disco ? • copia su disco ? • stampa ? • collegati ad Internet per aggiornamenti ? • registra il percorso dell’utente? • registra i dati dell’utente ? • produce rapporti sul progresso nell’apprendimento del discente ?

43. Caratteristiche Tecniche Qualità dei media • I testi sono facili da leggere ? • La grafica è di buona qualità ? • Il colore è usato in maniera coerente e attrattiva ? • L’audio ed il video sono di buona qualità ? • L’utente ha controllo sugli elementi audio e video ?

44. Caratteristiche Tecniche Livello diInterattività • L’informazione è interrotta frequentemente da interazione con l’utente ? • L’utente può correggere una risposta errata ? • L’utente può provare più di una volta a rispondere ad una domanda ? • Le attività e le domande sono generate a caso o ordinate in ordine differente?

45. Caratteristiche Tecniche Analisi deiResponsi • Il feedback è supportivo ? • Il feedback è informativo ? • Il feedback è vario ?

46. UsabilitàFacilità di uso • Il software è facile da usare ? • Richiede conoscenze informatiche avanzate ? • C’è una funzione di aiuto in linea ? • Le indicazioni sono chiare, accurate e disponibili in ogni momento ? • Gli strumenti di valutazione sono semplici da usare ?

47. Usabilità InterfacciaUtente • I menu, bottoni e le icone sono chiari e semplici da comprendere ? • Sono usati in maniera coerente ? Navigazione • La navigazione nel software è semplice ? • Sono permessi cammini differenti attraverso il software?

48. Usabilità Controllo da parte dell’utente • E’ possibile per l’utente andare indietro ed avanti facilmente ? • Si può accedere liberamente a differenti parti del software, o c’è un percorso obbligatorio da seguire ? • E’ possibile per l’utente “annullare” ogni decisione ? • E’ possibile uscire in ogni istante ? • Si può riprendere dal punto da cui si è usciti ?

49. ContenutoQualità del contenuto • Il contenuto è: • accurato? • chiaro? • completo? • aggiornato? • Le parti testuali, pittoriche, audio e video sono ben bilanciate nel presentare il contenuto? • Le immagini, i grafici ed video clips sono rilevanti ?

50. ContenutoAppropriatezza • Il livello di lettura è appropriato? • Ci sono differenti livelli di difficoltà ? Struttura • La struttura interna segue un ordine logico ? • Il software ha una struttura modulare ? • Gli obiettivi di apprendimento di ciascun modulo sono specificati ?