Curso EDUC 6995 Preparación de propuestas para proyectos educativos, de investigación y servicio

1. El Componente de Evaluación de las Propuestas Curso EDUC 6995Preparación de propuestas para proyectos educativos, de investigación y servicio Sandra MacksoudLopez. Ph.D., Departamento de Estudios Graduados Facultad de Educacion , Iniversidad de Puerto Rico, Recinto de Rio Piedras 19 de octubre de 2011

2. ¿Qué es evaluar?

3. Definición de evaluar • Evaluares la acción de valorar , de dar valor a algo, juzgar, enjuiciar, apreciar, y avaluar • La evaluaciónes un procesosistematico de juzgar la calidad o mérito de algo a partir de ciertainformación (cuantitativa y cualitativa) que se compara contra ciertoscriterios. Ocurre a lo largo del tiempo, en un contextoparticular, y siguiendounasecuenciaestablecida(Verdejoy Medina , 2007) • ¿Por qué se incluye un componente de evaluación en laspropuestas? • Para determinar el logro de los objetivos (Accountability) • Para conocer la efectividad de la estrategiaimplantada • Para tomardecisiones • Para aprender y mejorar

4. Propuesta

5. Estrecha interrelación con los objetivos • Importancia de construir objetivos medibles, realistas, claros • La evaluación ayuda en el proceso de planificar cómo se van a lograr los objetivos , y a mejorar la implantación misma del proyecto

6. El Desarrollo del campo de la Evaluación • La evaluación es una de tres formas de inquirir disciplinado, junto con la investigación y el análisis de política (Lincoln y Guba , 2001) • Curso EDUC 8030 • Patton (2003), Scriven(2011), Stufflebeam(2007), Yuen (2009) • Diferencia evaluación de programas versus proyectos

7. La Evaluación Es requisito de todas las propuestas • Es necesario estudiar los parámetros que establece cada fuente de fondos. Ejemplo- del Programa GEAR-UP • 6. QUALITY OF THE PROJECT EVALUATION (20 POINTS): • In determining the quality of the project evaluation, the Secretary considers the following factors: • •The extent to which the methods of evaluation are thorough, feasible, and appropriate to the goals, objectives, and outcomes of the proposed project. • •The extent to which the methods of evaluation include the use of objective performance measures that are clearly related to the intended outcomes of the project and will produce quantitative and qualitative data to the extent possible; and

8. EjEmplo (cont.) • •The extent to which the methods of evaluation will provide performance feedback and permit periodic assessment of progress toward achieving intended outcomes. • •The extent to which the evaluation will provide guidance about effective strategies suitable for replication or testing in other settings.

9. Incluir en el plan de evaluación datos que requiere la fuente de fondos • Muchasveces se requiereque los proyectosformen parte de lasevaluaciones de los programas a nivelnacional • Government Performance and Results Act (GPRA) requires federal agencies to report annually on the accomplishments of their funded efforts. This requirement includes establishing broad goals or strategic outcomes, performance outcomes, and performance indicators against which progress will be assessed. • Ejemplo- Base de datos longitudinal GEAR UP

10. Definición básica de Evaluación de Proyectos • Busca medir cambios en actitudes, conocimientos, destrezas, conductas , condiciones en los participantes. • Impacto en las necesidades identificadas • No es auditoria, es para mejorar • No es recopilación de datos de indicadores

11. Elementos del plan de evaluación • Foco en los objetivos medibles • Preguntas de evaluación • Establecer indicadores de logros por • cada objetivo • Tipo de evaluación • Actividades e instrumentos que utilizará para evidenciar el logro de cada objetivo que permitan recopilar datos • Quiénes van a ser responsables de qué y cuando • Preparación y divulgación de los informes

12. OutcomesBasedEvaluation • Outcome-based evaluation (OBE) se refiere a la medición de los resultadosparaevidenciar el grado en que el proyectologró los objetivos. Identificadatoscuantificablesquedemuestran de forma creíble el cambiologrado o lascondicionesdeseadas. • Los outcomes pueden ser a corto plazo, intermedios, largo plazo y relacionados a la sustentabilidad • Se deben establecer milestones /benchmarks

13. Modelo lógico • Es unaherramienta conceptual desarrolladoparaayudar en la planificacion y evaluacion de los proyectos, originalmentedesarrolladopor Weiss (1970) • Consiste en diagramarlasrelacionescausales entre los elementos de un proyecto y los resultados • Controversia con causalidad

14. Modelo lógico

15. Outcomes Outputs Inputs Activities Services Indicators Indicators Data Sources Data Sources Applied to (Who) Applied to (Who) Data Interval (When) Data Interval (When) Targets (Goals) Targets (Goals) Observable and measurable behaviors or conditions Observable and measurable behaviors or conditions Sources of information about conditions being measured Sources of information about conditions being measured The population to be measured The population to be measured When data is collected When data is collected The amount of impact desired The amount of impact desired Outcomes Logic Model Mission + Influencers  PROGRAM PURPOSE

16. Preguntas para Evaluación sumativa • El foco son los logros al final del proyecto, o periodo determinado • ¿ Se hanalcanzado los objetivos y resultadosesperados? • ¿ Cuáles son los hallazgos clave? • ¿ Qué impacto ha tenido el proyecto? Esperados e inesperados • ¿ Qué beneficios hay para los partidos interesados? • ¿ Fue efectiva la estrategia de implantación? • ¿ Qué hemos aprendido? • ¿ Qué haríamos diferente?

17. CIPP Stufflebeam context, input, process, and product evaluation.

18. Evaluación formativa • Es un proceso continuo de recopilación de datosdurante el proyectoparadeterminarcuánadecuadaes la implantación y si se estáprogresandohacia el logro de los objetivos. • Buscagenerarretrocomunicaciónparaque el personal del proyectopuedamejorar la implantación. • ¿ Se hanlogrado los milestones a tiempo? • ¿Quédificultades se hanidentificado ? • ¿ Qué se debe hacer para corregir ? • ¿Es efectiva la gerencia del proyecto? • ¿Están involucrados los participantes y partidos interesados? • ¿Quéleccionesestamosaprendiendo? • ¿ Es necesario revisar el plan?

19. Evaluación de procesos

20. Metodología: cualitativa, cuantitativa o mixta • El diseño de la evaluación debe estar basada en un enfoque adecuado para contestar las preguntas de evaluación • Diseños en la evaluación cuantitativa • Experimental con grupos aleatorios o pareados • Medidas de pre prueba o línea base y post prueba • Encuestas • Diseños en la evaluación cualitativa • Estudios de caso únicos y múltiples • Grupos focales • Entrevistas profundas • Observaciones • Análisis de documentos

21. Formas de recopilar datos • Medidas directas • Encuestas • Entrevistas individuales y grupales • Observaciones • Calidad de Productos • Paneles de Expertos Externos

22. QuiÉn hace la evaluación • Es el director del proyecto quien es responsable por que se haga una buena evaluación, pero se debe designar a un personal especializado para encargarse de llevar a cabo todo el proceso • Debe ser una persona que llene las cualificaciones y se involucre desde el inicio en el desarrollo de la propuesta • Puede ser interno o externo, o idealmente ambos que se complementan • Debe ser participativo, involucrar a los participantes, distintos sectores

23. Modelos Participativos • Culturallyresponsiveevaluation • EmpowermentEvaluation (Yuen 2009) • DeliberativedemocraticperspectiveErnest R. House and Kenneth R. Howe October 2000

24. Costo de la evaluación • Desde 5% a 10% para evaluación sencilla- documentar satisfacción de participantes, percepciones, recomendaciones, autoinforme de resultados • Más de 10% moderado,- documentar impacto de forma directa • Avanzado- línea de base, diseño científico, seguimiento a participantes, triangulación

25. Promover el Uso de los resultados • El plan de evaluacióndebecontenerunadescripciónclara de los informesque se van a generar, con un calendario. • Se incluyen los resultados de la evaluación en los informes a la fuente de fondos • Se presentan los informes internamente al personal del proyecto y a los participantes • Diseminación en diversos foros para ampliar el impacto

26. Preparación de los informes y Comunicación de resultados • Resumen ejecutivo • Presentación de métodos • Resultados e interpretación • Hallazgos mas importantes • Implicaciones • Recomendaciones para mejorar la evaluación

27. Ejemplos Matemáticas para Todos

30. MathforAll • Pre y post pruebas para los participantes en cada sesion de desarrollo profesional • Evaluación de la transferencia de lo aprendido mediante analisis de las lecciones desarrolladascon unas rubricas • Impacto en el aprendizaje de los estudiantes • Entrevistas con personal de las escuelas participantes

31. Referencias • Arce, J. , Bravo, M., Del llano, A. Wayland, K. (2010). Sharingourjourneytoimprovescience and mathematicseducation. • http://alacima.uprrp.edu/sharing_our_journey/index.php/book/chapter/9 • Grun, R. (2006 ) Monitoring and Evaluating Projects: A step-by-step Primer on Monitoring, Benchmarking, and Impact Evaluation. The International Bank for Reconstruction and Development: Washington DC • Guba , R. & Lincoln, Y. (2001) .Guidelines and Checklists for constructivist (A.K.A. 4th generation) Evaluation ht.tp://www.nsf.gov/pubs/2002/nsf02057/nsf02057.pdf • Miro, A. (2009). Informe del Proyecto MathforAll. Facultad de Educación, Universidad de Puerto Rico, Rio Piedras • Patton , M.Q. (2002 ). Utilization-focused evaluation checklist http://www.wmich.edu/evalctr/archive_checklists/ufe.pdf

32. Referencias (cont.) • Patton, M. Q. (2003). QUALITATIVE EVALUATION CHECKLIST • National Science Foundation. (2002). User Friendly Handbook for Project Evaluation. http://www.nsf.gov/pubs/2002/nsf02057/nsf02057.pdf • Scriven, M. (2011). Evaluating Evaluations: A meta-evaluation checklist. http://michaelscriven.info/images/EVALUATING_EVALUATIONS_8.16.11.pdf • Stufflebeam, D. (2007). CIPP EvaluationModelChecklist (2nd. Edition) http://www.wmich.edu/evalctr/archive_checklists/cippchecklist_mar07.pdf • US. Department of Energy. (2006). EERE Guide forManaging General ProgramEvaluationStudies . Washington D. C. http://www1.eere.energy.gov/ba/pba/pdfs/evl_mg_app.pdf

33. Referencias (cont.) • Verdejo-Carrión, A. & Medina-Díaz, M.R. (2007). Evaluación del aprendizaje estudiantil, (5ta ed.). ExPERTConsultants, Inc. San Juan, Puerto Rico. • W. K. Kellogg Foundation (2004). EvaluationHandbook. http://www.wkkf.org/knowledge-center/resources/2010/W-K-Kellogg-Foundation-Evaluation-Handbook.aspx • Yuen, F. K. O., Terao, K. L., & Schmidt, A. M. (2009). Effectivegrantwriting and programevaluationfor human serviceprofessionals(3rd ed.). Hoboken, NJ: John Wiley & Sons.