Atención Basada en el Paciente: La validación e implementacion de un cuestionario de satisfacción .

1. Atención Basada en el Paciente: La validación e implementacion de un cuestionario de satisfacción. Dr. Ezequiel García Elorrio Ege@cemic.edu.ar I Jornada de la Sociedad Argentina de Calidad en Salud 27/9/02

2. Objetivos de la Presentación • Exponer la política de Calidad del CEMIC. • Discutir la importacia de validación adecudada de cuestionarios de satisfacción. • Describir los procesos generales que llevan desde la ideación de un instrumento hasta su implementación a través de un caso práctico. • Comentar cuales son los escollos habituales en estos procesos. I Jornada de SACAS

3. Política de calidad del CEMIC • Política para la calidad • Comité de calidad • Comité de Efectividad Clínica • Círculos de Calidad • Acreditación y certificación por normas ISO. • Acreditación institucional. • Implementación de procesos de mejoramiento de la calidad en ámbitos médicos y de gestión. • Desarrollo de instrumentos para la valoración de las preferencias de los pacientes. • Desarrollo de actividades que favorezcan la investigación en servicios de salud. I Jornada de SACAS

4. Porque validar un cuestionario. • La adaptación e implementación de encuestas sin cumplir con las etapas necesarias, puede llevar a la generación de conclusiones erróneas. • El PEC promueve el desarrollo de cuestionarios con criterios adecuados de validación y aplicación de cuestionarios de satisfacción y de calidad de vida. I Jornada de SACAS

5. ¿Porqué medir satisfacción? • 1-Los pacientes pueden tener un rol primordial en la manera en la cual los cuidados médicos son implementados (programas de Managed care –Gerenciamiento medico- ) • 2-Los pacientes contribuyen en definir que es calidad de atención más allá de los aspectos técnicos de los cuidados. Influidos por los aspectos culturales del medio. • 3-Las cualidades de relación interpersonal de los médicos contribuyen a los mejores resultados de la atención médica. I Jornada de SACAS

6. ¿Porqué medir satisfacción? II • 4-Se cree que la satisfacción produce un efecto placebo que puede contribuir hasta en un 30% del beneficio de los cuidados médicos. • 5-Con el desarrollo de la corriente que ha transformado a los sistemas de salud en proveedores de servicios a sus miembros dentro de un medio altamente competitivo y con multiples ofertas, la satisfacción ha tomado un rol fundamental en su desempeño. I Jornada de SACAS

7. Mitos sobre los consumidores • La mayoría de las personas asume que recibirá cuidados de alta calidad • La gente que cree que la mayoría de los centros de atención son similares • Estudios muestran que los pacientes no prestan atención a los datos publicados sobre calidad • Las personas toman decisiones basándose en el precio. I Jornada de SACAS

8. ¿De que se preocupa la gente? • La mayoría de la gente cree que el la calidad de atención es buena, pero que hay mucha variabilidad. • La gente esta especialmente preocupada por el acceso y la coordinación de los cuidados. • Además de la morbilidad y la mortalidad, la gente esta muy preocupada por otros aspectos del cuidado de la salud. • La gente evalúa con cuidado aquellos reportes de calidad que son distribuidos. Calidad: Cumplir con las necesidades que los pacientes esperan. I Jornada de SACAS

9. ¿Cómo se mide satisfacción? • Quejas. • Motivos de baja. • Call centers. • Entrevistas personalizadas. • Grupos focales. • Encuestas estructuradas • Cuantitativas • Cualitativas I Jornada de SACAS

10. Características Del Proyecto • Objetivo: desarrollo y validación de un cuestionario de satisfaccion con la atención ambulatoria. Validar con el mayor parecido posible el MMSS del HEDIS 3.0. • Estudio bicentrico: CEMIC y plan de salud del Hospital Italiano de Buenos Aires. • Llevado a cabo entre septiembre del 1998 y abril de 1999. • Falta de experiencia previa en cuanto a la implementacion de proyectos en los sistemas de salud involucrados. • Los costos operativos del programa fueron cubiertos por los investigadores. Apoyo institucional indirecto a través del staff. • Limitaciones de implementación frente a lo ideal. I Jornada de SACAS

11. Etapas en La Generación y Validación De Un Instrumento • Determinación de áreas de interés a evaluar. • Generación de items y dominios. • Definición de escala de respuesta. • Definición de método de administración. • Estudio piloto. • Estudio para determinar confiabilidad y validez. • Análisis de los resultados y confeccion del instrumento definitivo. I Jornada de SACAS

12. Desarrollo De Items • Basado en las áreas de interés de los pacientes. • Grupos focales y entrevistas personales. • Entrevistas con médicos y personal paramedico. • Estudio piloto para valorar el interés de los pacientes por los items seleccionados. • Generación de dominios en base a los items elegidos. (Ver tabla N° 1.) • Instrumento básico utilizado: MMSS HEDIS 3.0. I Jornada de SACAS

13. Instrumentos de referencia • Member satisfaction survey (MMS) HEDIS 3.0 NCQA 1998 • PSQ III (Davies AR, Ware J E) 1987 • Ambulatory Patients satisfaction questionnaire. The Picker Institute 1995 • CAHPS Questionnaire (RAND, Harvard Medical School and Research Triangle institute – AHCPR- ) 1997 • The consumer satisfaction Survey (Ware- Quality Metric inc) 1998 • Visit Satisfaction questionnaire –VSQ- (Ware JE RAND corporation) 1988 • ABIM PSQ (Hulka et al) 1970 I Jornada de SACAS

14. Adaptación Transcultural • Habitual por el escaso desarrollo original de cuestionarios de salud en idioma castellano. • Crítica para la acreditacion de resultados válidos. • Traduccion y “contratraduccion.” • Es importante definir correctamente los términos involucrados en los items. • Traduccion por el autor principal y “contraduccion” realizada por traductora pública con experiencia en trabajos sobre ciencias de la salud. I Jornada de SACAS

15. Método de administración • Las encuestas se hicieron disponibles en los centro de atención de los sistemas de salud involucrados. • A completar en forma previa o posterior a la consulta. Anónimo para aumentar la tasa de respuesta. Buzón disponible en las salas de espera (tasa esperada entre 20-40 %). • Sesgo de selección relevante pero no suficiente para invalidar validación. • Otros metodos: entrevista personal, telefonica, Mailing e Internet. I Jornada de SACAS

16. Lugar y Poblacion a Evaluar • Población a evaluar: pacientes Adultos que reciben atención ambulatoria en sistemas prepagos privados sin fines de lucro de la ciudad de Buenos Aires. • Participantes: Centro de educacion médica e investigaciones clinicas (CEMIC) y el Plan de Salud del Hospital Italiano de Buenos Aires. • Pacientes con características definidas que tal vez no sean representativos de otros sistemas de salud de nuestro país. I Jornada de SACAS

17. Cuestionario para el piloto • Sección 1: Caracteristicas demográficas y sociales (8 preguntas en total). • Sección 2: Cuestionario central (30 preguntas en total). • Sección 3: integrada por el SF-12, espeficaciones sobre morbilidad e ingresos familiares (15 preguntas en total). • Sección 4: Caracterización de la comprensión de las preguntas, tiempo de llenado y observaciones. I Jornada de SACAS

18. Piloto • Realizado entre los pacientes de ambos sistemas con el fin de determinar si los pacientes comprendian las preguntas y cuanto tiempo les llevaba completar el cuestionario. Duración dos meses. Pacientes seleccionados y con alto compromiso de participación. • Los resultados del piloto fueron satisfactorios. • Modificaciones realizadas: Se reformularon los enunciados de varias de las preguntas y 2 fueron eliminadas por no ser comprendidas y decidirse que no eran útiles para nuestro medio. I Jornada de SACAS

19. Consideraciones estadísticas • Análisis univariado- frecuencia, normalidad y asociacion. • Muestra: ¿cuántas encuestas son suficientes? Considerar número de items en validación. Cálculo muestral • Confiabilidad • Validez • Respuesta al cambio I Jornada de SACAS

20. Confiabilidad • Es la capacidad del instrumento de reproducir los resultados a lo largo del tiempo. Se basa en un test de correlación. • Test- retest. • Instrumento paralelo. • Consistencia interna (alpha de cobbrach). Ver resultados en tablas N° 5 y 6. I Jornada de SACAS

21. Items Correlation RTT Name Label Q5 Easiness of making appointments 0,46 0,912 Q6 Number of doctors 0,56 0,907 Q7 Waiting times at office 0,56 0,907 Q8 Amount of time given by your doctor 0,69 0,905 Q9 Attention to what you have to say 0,68 0,905 Q10 Explanations you received 0,69 0,90 Q11 Thoroughness of care 0,75 0,90 Q12 Information of plan benefits 0,64 0,90 Q13 Courtesy of administrative staff 0,60 0,907 Q14 Courtesy of paramedic personnel 0.57 0,908 Q16 Easiness for appointments 0,67 0,905 Q17 Cost of Health plan 0,49 0,910 Q18 Out of pocket money 0,49 0,912 Q19 Delay in approvals 0,39 0,910 Q20 Difficulties in receiving care 0,47 0,910 Q21 Not getting a referral for specialist 0,41 0,912 Q24 Are you satisfied with your health plan? 0,79 0,90 Q25 Overall performance 0,37 0,912 I Jornada de SACAS

22. Validez “Es la intención de determinar si el instrumemto mide lo que queremos medir.” • Validez de contenido y de inspeccion: hablan de la capacidad del instrumento de comprender todos los aspectos que deben ser evaluados según los objetivos previamente planteados. La primera se evalúa al final del desarrollo, mientras que la segunda se evalúa durante la creación del instrumento. Ambas son subjetivas pero necesarias. • Validez de construcción. • Validez de criterio. I Jornada de SACAS

23. Validez De Construcción • Es la búsqueda de estructuras dentro de cuestionario que brinden medidas sumarias relacionadas con los dominios propuestos. • Factor analysis y principal component analysis: intenta identificar factores latentes que son responsables por la correlación entre factores entre los items. Comprueban el diseño de los dominios. • También se evalua la correlación entre los items (item-item correlation) y entre los items y el total (item total correlation) para definir la integridad del cuestionario. I Jornada de SACAS

24. Validez de criterio • Variables incluidas exploradas para deteminar correlación entre los scores obtenidos y “datos de la realidad” • Fuerte correlación con :Intención de cambio de plan y de recomendar a sus parientes y amigos,Ingreso familiar, tiempo de espera autoreportado. • Debil correlacion con MCS y PCS del SF12, Hx de morbilidad o enfermedad actual, antigüedad en el plan. I Jornada de SACAS

25. Respuesta al cambio. • Es la capacidad del instrumento de ser lo suficientemente sensible para lograr identificar cambios clínicamente importantes a lo largo del tiempo. • Para ello es necesaria su implementación sucesiva a lo largo del tiempo. I Jornada de SACAS

26. Formalidades a Cumplir • Presupuesto para conseguir financiación. • Confidencialidad de los resultados. • Aprobación de la dirección de investigacion. • Aprobación del director médico o responsable de la población a evaluar. I Jornada de SACAS

27. Limitaciones y sesgos • Muestra de conveniencia, pacientes que consultan al sistema de salud. • Validación necesita ser confirmada por estudios posteriores. • Baja tasa de respuesta frente a lo ideal. • Es necesaria la valoración de la respuesta al cambio en sucesivas implementaciones. I Jornada de SACAS

28. Recursos Necesarios • Tiempo. Es un estudio primario. • Predisposicion de los encuestados prelinarmente para hacer sugerencias sobre las modifiacines. • $$$ Para la impresión de los cuestionarios y su distribución. • Personal para la carga de datos- data entry-. • Habilidad para hacer un buen análisis. I Jornada de SACAS

29. Sugerencias • Inclusión de preguntas válidas para caracterizar adecuadamente la población. • No asustarse por la cantidad de items. La gente quiere expresarse. Aunque en forma anonima. • El mailing es el método más adecuado para para conseguir los resultados menos sesgados. Los otros son muy caros. • Negocien tiempo para una adecuada interpretación de los resultados I Jornada de SACAS

30. Implementación • El instrumento fue nuevamente adaptado y corregido (aunque no en forma estructural). Nuevo formato de presentacion para respuesta postal paga. Se mantuvo el cuestionario central y se adaptaron las preguntas introductorias a las necesidades del momento. • Con un presupuesto adecuado, fue distribuido entre los afiliados del CEMIC a principios de este año. (1850 cuestionarios devueltos sobre 15.500 distribuidos). • El plan de Salud del HIBA decidio Implentar el CAHPS. • Análisis presentado para mostrar resultados a los directivos y sugerir oportunidades de mejora. I Jornada de SACAS

31. El futuro • Aplicación de mayor cantidad de cuestionarios validados que valoren adecuadamente satisfacción con la atención médica. • Uso de CAHPS del AHRQ por parte de financiadores locales. • Idealmente regulación para publicar resultados y fundamentar la decisión de elegir un plan de salud. I Jornada de SACAS