Faculdade de Medicina da Universidade do Porto Serviço de Bioestatística e Informática Médica

1. Regente: Professor Doutor Altamiro PereiraOrientadora: Dr.ª Filipa AlmeidaAutores:TURMA 7/ 1ºANOFátima Seabra; Fernando Leite; Filipa Godinho; Filipa Fernandes; Filipa Moreira; Filipa Bianchi de Aguiar; Filipe Pacheco; Filipe Santos; Filipe Martins; Filipe Soares; Francisca Santos; Carlos Aguiar Faculdade de Medicina da Universidade do PortoServiço de Bioestatística e Informática Médica Introdução à Medicina 2004/2005 Qualidade dos dados nos Registos Clínicos Electrónicos (RCE) 2ª apresentação

2. Introdução • Definição RCE • Evolução e importância dos RCE • Objectivos

3. Definição de RCE • Ficheiros criados por profissionais de saúde, contendo dados pertinentes de carácter clínicoe administrativo;1 • Dados informatizados, permitindo acesso instantâneo e constante através de um terminal;1 • Permite o armazenamento, consulta e partilha de informação clínica; 2 _____________________________________________________________________________________ 1 http://im.med.up.pt_RCE 2 The computer-based patient record. (1997)

4. é essencial a observação periódica da qualidade dos dados: correctness e completeness 6,7 Evolução e importância • De 1991/1997 houve um boom tecnológico 2; • Suporte na prestação de cuidados de saúde; • Ajuda na decisão clínica; • Avaliação da qualidade dos cuidados prestados; • Gestão e planeamento dos recursos de saúde; • Auxílio na investigação; • Apoio na educação médica. 1,2 _____________________________________________________________________________________ 2 The computer-based patient record. (1997) 6 Hogan, WR, Wagner, MM. (1997) 7 Brennan, Stead. (2000)

5. Objectivos Objectivo primário • Avaliar os resultados encontrados em publicações sobre a qualidade dos dados nos registos clínicos electrónicos. Objectivo secundário • Revisão sistemática de estudos publicados sobre o tema proposto, com avaliação da qualidade metodológica dos mesmos.

6. Métodos Identificação dos estudos Selecção dos estudos Avaliação dos estudos Recolha de dados Análise

7. "Medical Records Systems, Computerized“ [MeSH] AND (accuracy OR reliability OR completeness OR error OR quality) NOT ("Internet"[MeSH] OR "Letter"[Publication Type] OR "Meta-Analysis"[Publication Type] OR "Editorial"[Publication Type] OR "Review"[Publication Type]) 1.Identificação dos estudos • Publicações entre 1997 e 2005, indexadas na MEDLINE, de artigos que relacionem a qualidade dos dados com sistemas electrónicos de informação clínica. • Limites: • entre 1997 e 2005

8. 2.Selecção dos Estudos 1ª selecção: aplicação dos critérios de exclusão • Leitura de cada abstract por três revisores; • Exclusão dos artigos que falhavam pelo menos um dos critérios de exclusão: 6 A:O Objecto de estudo é um RCE 2; B:Está bem determinado o gold standard; C:É abordada a Qualidade dos Dados;8 • Para a exclusão foi exigida a concordância de dois revisores; • Em caso de dúvida o artigo não é excluído; _____________________________________________________________________________________ 2. The Computer-based Patient Record. (1997) 6. Hogan, WR, Wagner, MM. (1997) 8. Thiru K, Hassey A, Sullivan F (2003)

9. 2.Selecção dos Estudos 2ª selecção: aplicação dos critérios de inclusão • Leitura de cada artigo por três revisores; • Inclusão dos artigos que obedecem integralmente aos seguintes critérios de inclusão 8,9: 1) O tipo de dados em estudo é alfanumérico; 2) O RCE em estudo deve tratar mais do que uma variável; 3) A qualidade dos dados é definida pelos conceitos de correctness e completeness, ou sinónimos; 4) O gold standard utilizado não pode ser questionários nem estatísticas; _____________________________________________________________________________________ 8 Thiru K, Hassey A, Sullivan F (2003) 9 Stauberg et al. (2003)

10. Descrição do RCE:métodos de recolha de dados (1); abrangência (1); conteúdo geral dos dados (1); acessibilidade (1); registo oficial (1); Metodologia; técnicas de amostragem não enviesadas (2); ocultamento (4); gold standard próximo do verdadeiro estado do paciente (4); gold standards eram outros registos (2); ambos os conceitos de qualidade eram medidos claramente (2); Objectivos do estudo; (1) 3.Avaliação dos Estudos • Uma vez seleccionados os artigos, é necessário avaliá-los quanto à sua qualidade metodológica; • Dois avaliadores classificam cada artigo segundo uma escala de 0 a 18 6 considerando vários parâmetros: _________________________________ 6 Hogan, WR, Wagner, MM. (1997) Questionário 1

11. 4.Recolha de dados • É recolhida a informação de cada artigo, com o preenchimento de um questionário, no que respeita ao: • Artigo (objectivo de estudo, tipo de estudo, gold standard utilizado, tempo de duração do estudo, alcance, amostra, etc.) • RCE em estudo (nome, programação, registo oficial, forma de introdução de dados e seu conteúdo, acessibilidade, completeness, correctness, etc.) • Os dados foram armazenados numa base de dados SPSS 12.0 Questionário 2

12. 5.Análise • Avaliados os artigos e recolhidos os seus dados mais relevantes, têm-se em conta as divergências metodológicas e passa-se ao tratamento de dados: • Análise • da reprodutibilidade da primeira fase da selecção; • da qualidade dos artigos (avaliação): • é introduzida e analisada na base de dados SPSS • da recolha de informação: • sobre os artigos • sobre os RCE NOTA: A análise estatística (metanálise) da informação sobre a qualidade metodológica dos artigos e dos dados nos RCE: Só pode ser executada se os estudos incluídos forem semelhantes, ou seja, se o método utilizado, a qualidade metodológica e as conclusões (correctness e completeness) forem homogéneas.

13. Dos 108 artigos resultantes da 1ª fase de selecção: aplicação de critérios de exclusão, apenas foram recolhidos 42 e como tal, só estes foram submetidos à 2ª fase de selecção. 108 Resultados • Progressão do trabalho Gráfico 1 – progressão do trabalho

14. 100,00 825 108 80,00 60,00 50,93 40,00 34,25 20,00 14,82 0,00 Incluídos com 2 Incluídos com Incluídos com revisores dúvida unanimidade favoráveis Resultados • Reprodutibilidade inter-revisor: 1ª selecção de exclusão % de artigos incluídos Gráfico 2 –reprodutibilidade inter-revisor

15. Resultados • Avaliação da qualidade metodológica dos artigos [0,4] – Medíocre [5, 8] – Não Satisfaz [9, 12] – Satisfaz [13, 15] - Bom [16, 17] – Muito Bom [18] - Excelente voltar Gráfico 3 – avaliação

16. Resultados • Avaliação da qualidade metodológica dos artigos Tabela 1 – avaliação voltar

17. Resultados • Tabela da recolha de informação relativa aos artigos. A Número de registos que foram revistos b Duração do estudo efectuado acerca dos RCE  Objectivo primário do estudo não é o RCE  Objectivo primário do estudo é o RCE Tabela 2 – Artigos voltar

18. Resultados • Tabela da recolha de informação relativa ao RCE. Tabela 3- RCE voltar

19.  - Registo não é oficial  - Registo oficial

20. Resultados • Ignorando os dois artigos que classificavam qualitativamente a correctness e completeness, temos que a média: • Correctness: 90, 32% • Completeness: 89,5 % Tabela 5 – objectivo e gold standard Tabela 4 – conteúdo dados

21. Discussão Artigos (Objectivo Secundário) Avaliação da qualidade metodológica: homogénea • Metodologia bastante homogénea em relação à qualidade: • média de Satisfaz (10,86 p.); • 1 artigo obteve uma classificação Bom (14 p.), • e um Não Satisfaz (8 p.). • Parâmetros referidos em todos os estudos • método de recolha de dados • descrição do conteúdo dos dados do RCE; • Parâmetros que falham com maior insistência • gold standard que mais se aproxime do verdadeiro estado do paciente (2 artigo) • ocultamento (só presente em 2 artigos); • registo oficial só é observada em 2 artigos. ver

22. Discussão Artigos (Objectivo Secundário) Recolha de informação: heterogeneidade de métodos • A importância dada às conclusões sobre correctness e completenesspode ter sido influenciada: • 71, 4 % dos artigos tinham como objectivo primário a determinação da qualidade dos dados nos RCE. Os restantes consideravam este objectivo como secundário; • Várias características metodológicas eram díspares: • Tempo de estudo variou significativamente: de 4 a 72 meses; • Tamanho da amostra oscilou entre 241 e 32 634 registos clínicos individuais; • O gold standard utilizado só foi aquele mais próximo do verdadeiro estado do paciente em 14,3% dos casos; • No entanto, outras eram concordantes: • Desenho de estudo, era em todos os casos transversal; O método de amostragem em apenas um é que não era aleatório. ver

23. Discussão Qualidade dos dados nos RCE (Objectivo Primário) Recolha de informação: heterogeneidade de RCEs • Apenas 2 artigos se consideravam registos oficiais. • Forma de introdução de dados no RCE era diversa: • 3 RCEs era por introdução directa, • 2 RCEs primeiramente registados em papel e depois transferidos para este. • Num artigo eram ditados a outro profissional de saúde, que os introduzia. • 1 artigo não referia. ver

24. Conteúdo dos dados não era constante: • dados demográficos são os que menos estão presentes nos RCEs (42,9%). No entanto, foi já um critério de exclusão; • a história clínica estava presente em 85,7% dos artigos, • tanto os exames complementares de diagnóstico, os diagnósticos e a medicação/tratamentos encontravam-se apenas em 57,1% dos artigos. Estes eram os mais relevantes no apoio à decisão médica e para a avaliação da qualidade dos dados nos RCE!

25. Conclusões • Objectivo secundário: A metodologia é de qualidade satisfatória e homogénea. No entanto, a difere em muitos aspectos cruciais (tamanho da amostra, tempo do estudo, gold standard, objectivo do estudo). Este factor é o que impossibilitou a realização de uma metanálise. • Objectivo primário: a heterogeneidade verificou-se também nos RCE (registo oficial, introdução dos dados, acessibilidade, conteúdos dos dados.) Este facto, associado à disparidade de métodos (objectivo primário), leva-nos a duvidar da sobrevalorização da avaliação da qualidade (Correctness: 90, 32% Completeness: 89,5 %). • Sugestões: em estudos futuros é importante ter em conta pontos como um gold standard que mais se aproxime do verdadeiro estado do paciente, a relevância dada ao registo, que deve ser oficial, assim como o ocultamento, para assegurar a validade dos resultados. Também a acessibilidade, o método de introdução de dados e o conteúdos destes são essenciais para a validade da conclusão.

26. Distribuição de tarefas

27. Bibliografia • (1) Curso de Informática Médica: Registos Clínicos Electrónicos. [página na Internet] SBIM (2002). Acesso em http://im.med.up.pt_RCE • (2) The computer-based patient record: An essencial technology for health care. Committee on improving the patient record, Institute of Medicine. National Academic Press. Washington; 1997. • (3) Leape LL, Bates DW, Cullen DJ, et al. Systems analysis of adverse drug events. ADE Prevention Study Group. JAMIA 1995; 274:35-43. • (4) Johnson N, Mant D, Jones L, Randall T. Use of computerised general practice data for population surveillance: comparative study of influenza data. BMJ. 1991: 302:763-5. • (5) Hogan WR, Wagner, MM. Using belief networks to enhance sharing of medical knowledge between sites with variations in data accuracy. Proc. of AMIA Annu Fall Symp. Philadelphia: Hanley & Belfus, 1995, 218-22. • (6) Hogan WR, Wagner, MM. Accuracy of data in computer-based patient records. JAMIA. 1997; 5:342-355. • (7) Brennan, Stead. Assessing data quality: from concordance, through correctness and completeness, to valid manipulatable representations. JAMIA Editorial Comments. 2000 Jan / Feb. 7(1). • (8) Thiru, K, Hassey A, Sullivan F. Systematic review of scope and quality of electronic patient record data in primary care. BMJ 2003; 326: 1070-1075.

28. (9) Stauberg et al. Comparing paper-based with electronic patient records: lessons learned during a study on diagnosis and procedure codes. JAMIA. 2003; 10: 470-477. • (10) Paul C. Tang et al. , Use of computer-based records, completeness of documentation, and appropriateness of documented clinical decisions; JAMIA; 1999; 6:245-251 • (11) Charles R. Woods ; Impact of different definitions on estimates accuracy of the diagnosis data in a clinical database; Journal of Clinical Epidemiology 54(2001); 782-785 • (12) Alan Hassey et al.; A survey of validity and utility of electronic patient records in a general practice; BJM, 2001 • (13) Dominik Aronsky et al.; Assessing the Quality of Clinical Data in a Computer-based Record for Calculating the Pneumonia Severity Index; Journal of the American Informatics Association;2000 • (14) Jürgen Stausberg et al.; Comparing Paper - Based with electronic patient records: lessons learned during a study on diagnosis and procedure codes, J Am Med Inform Assoc, 2003; 10:470-477 • (15) David B. Preen et al.; Hospital chart review provided more accurate comorbidity informatics than data from a general practitioner survey or an administrative database ; Journal of Clinical Epidemiology 57(2004); 1295-1304 • (16) Charlton Wilson et al.; Patients with Diagnosed Diabetes Mellitus Can Be Accurately Identified in an Indian Health Service Patient Registration Database; Public Helth Reports; 2001

29. FIM Fátima Leal Seabra Fernando Leite Filipa Godinho Filipa Fernandes Filipa Moreira Filipa Aguiar Filipe André Pacheco Filipe Lima Santos Filipe Martins Filipe Soares Francisca Santos Carlos Aguiar