Challenges of a calibration process for an epidemiological study involving quantitative and ordinal categorical variables
one example
DOI:
https://doi.org/10.7308/aodontol/2012.48.1.03Keywords:
Avaliação, Epidemiologia, Reprodutibilidade dos testesAbstract
Objetivo: Relatar os desafios de um exercício de calibração de examinadores para estudo epidemiológico sobre maloclusão envolvendo variáveis quantitativas e categóricas ordinais, apresentando os resultados da consistência diagnóstica intra e interexaminadores. Materiais e Métodos: Voluntários foram selecionados antecipando condições que os examinadores encontrariam em campo. Maloclusão foi avaliada pelo DAI, cujos critérios foram expostos no treinamento teórico e reforçados no prático. Os examinadores foram divididos em grupos e os dados coletados por exame. As concordâncias inter e intraexaminadores foram estimadas pelo CCI (Coeficiente de Correlação Intraclasse) para o DAI geral e o CCI ou Kappa
ponderado (Kw) para os componentes do DAI, utilizando-se os programas PASW e Excel. Os examinadores com concordância inferior a 0,60 foram considerados inaptos e deveriam ser submetidos a mais um exercício
de calibração. Resultados: Em três exercícios de calibração, demorados e dispendiosos, 33 examinadores em sete grupos, examinaram e re-examinaram 315 escolares. As concordâncias interexaminadores para o
DAI geral, entre os pares de examinadores, variaram de -09 a 0,99 (pobre à excelente). A concordância de todos os examinadores em conjunto, por grupo, variou de 0,51 a 0,96, (razoável a excelente). Na análise por
componentes, concordâncias entre os pares de examinadores >0,60 nos sete grupos foram encontradas para dentição, apinhamento e diastema. Discordâncias entre pares de examinadores para alguns dos componentes
foram observadas mesmo em grupos cuja concordância entre o mesmo par de examinadores foi satisfatória para DAI geral. Pela concordância intra-examinadores para o DAI geral, de 0,37 a 1 (pobre a excelente), dois examinadores foram inaptos; na avaliação por componentes do DAI, 11 apresentaram CCI e Kw<0,60. Conclusão: A calibração de examinadores configura-se como um desafio para os pesquisadores demandando
tempo e esforço. A concordância obtida por componentes do DAI identifica maior número de examinadores inaptos, garantindo assim maior acurácia aos resultados do levantamento epidemiológico.
Descritores: Avaliação. Epidemiologia. Reprodutibilidade dos testes.
Downloads
References
2. Frias AC, Antunes JLF, Narval PC. Precisão e validade de levantamentos epidemiológicos em saúde bucal: cárie dentária na cidade de São Paulo, 2002. Rev Bras Epidemiol. 2004; 7:144- 54.
3. Peres MA, Traebert J, Marcenes W. Calibração de examinadores para estudos epidemiológicos de cárie dentária. Cad Saude Publica. 2001; 17:153-9.
4. Assaf AV, Zanin L, Meneghim MC, Pereira AC, Ambrosano GMB. Comparação entre medidas de reprodutividade para calibração em
levantamentos epidemiológicos da cárie dentária. Cad Saude Publica. 2006; 22:1901-07.
5. World Health Organization. Oral Health surveys: basic methods. 4th ed. Geneva: ORH EPID; 1997.
6. World Health Organization. Calibration of examiners for oral health epidemiology surveys. technical report. Geneva: ORH/EPID; 1993.
7. Brasil. Ministério da Saúde. SB Brasil 2010. Manual de Calibração de Examinadores. Brasília: Ministério da Saúde; 2010.
8. Oliveira CM, Sheiham A. Orthodontic treatment and its impact on oral health-related quality of life in Brazilian adolescents. J Orthod. 2004; 31:20-7.
9. Marques LS, Barbosa CC, Ramos-Jorge ML, Pordeus IA, Paiva SM. Prevalência da maloclusão e necessidade de tratamento ortodôntico em escolares de 10 a 14 anos de idade em Belo Horizonte, Minas Gerais, Brasil: enfoque psicossocial. Cad Saúde Pública. 2005; 21:1099- 106.
10. Richmond S, O’Brien KD, Roberts CT, Andrews M. Dentists variation in the determination of orthodontic treatment need. Br J Orthod. 1994; 21:65-8.
11. Brasil, Ministério da Saúde. Projeto SBBrasil 2003: condições de saúde bucal da população brasileira 2002-2003: resultados principais.
Brasília: Ministério da Saúde; 2004.
12. Munoz SR, Bangdiwala SI. Interpretation of Kappa and B Statistics Measures of Agreement. J Appl Stat. 1997; 24:105-11.
13. Cons NC, Jenny J, Kohout FJ. DAI: the dental aesthetic index. Iowa City: Iowa College of Dentistry; 1986.
14. Peres KG, Traebert ESA, Marcenes W. Diferenças entre autopercepção e critérios normativos na identificação das oclusopatias. Rev Saúde Pública. 2002; 36:230-6.
15. Beglin FM, Firestone AR, Vig KWL, Beck FM, Kuthy RA, Wade D. A comparison of the reliability and validity of 3 occlusal indexes
of orthodontic treatment need. Am J Orthod Dentofacial Orthop. 2001; 120:240-6.
16. Jenny J, Cons NC. Guidelines for using the DAI: a supplement to DAI–the dental aesthetic index. Iowa: College of Dentistry; 1988.
17. Jenny J, Cons NC. Establishing malocclusion severity levels on the dental aesthetic index (DAI) scale. Aust Dent J. 1996; 41:43-6.
18. Hamamci N, Basaran G, Uysal E. Dental Aesthetic Index scores and perception of personal dental appearance among Turkish university students. Eur J Orthod. 2009; 31:168-73.
19. Gábris K, Márton S, Madléna M. Prevalence of malocclusions in Hungarian adolescents. Eur J Orthod. 2006; 28:467-70.
20. Alves JAO, Forte FDS, Sampaio FC. Condição socioeconômica e prevalência de más oclusões em crianças de 5 e 12 anos na USF Castelo Branco III – João Pessoa/Paraíba. Rev Dent Press
Ortodon Ortopedi Facial. 2009; 14:52-9.
21. Lopes LS, Cangussu MCT. Prevalência e severidade das alterações oclusais em escolares de 12 a 15 anos de Salvador – BA, 2004. J Med
Biol Sci. 2005; 4:105-12.
22. Costa RN, de Abreu MH, de Magalhães CS, Moreira AN. Validity of two occlusal indices for determining orthodontic treatment needs of
patients treated in a public university in Belo Horizonte, Minas Gerais State, Brazil. Cad Saúde Pública. 2011; 27:581-90. 196-207,
Desafios de calibração para estudo epidemiológico
23. Fleiss JL. Statistical methods for rates and proportions. 2nd ed. New York: John Wiley & Sons, 1981.
24. Cicchetti DV, Volkmar F, Sparrow SS, Cohen D, Fermanian J, Rourke BP. Assessing the reliability of clinical scales when the data have both nominal and ordinal features: proposed guidelines for
neuropsychological assessments. J Clin Exp Neuropsychol. 1992; 14:673-86.
25. Bartko JJ, Carpenter WT. On the methods and theory of reliability. J Nerv Ment Dis. 1976; 163:307-17.
26. Bulmann JS, Osborn JF. Measuring diagnostic consistency. Br Dent J. 1989; 166:377-81. 27. Fleiss JL. The Design and analysis of clinical
experiments. New York: John Wiley & Sons, 1986.
28. Franco LJ. A Pesquisa em epidemiologia: dificuldades e perspectivas. Saúde Soc. 1995; 4:31-4.
29. Roberts CT, Richmond S. The design and analysis of reliability studies for the use of epidemiological and audit indices in orthodontics. Br J Orthod. 1997; 24:139-47.
