Kappa statistic for judgment agreement in Sociolinguistics / Estatística Kappa para concordância de julgamento em Sociolinguística

Abstract

Abstract: Perception studies have required the development of new techniques, as well as new ways of analyzing data. This paper discusses the proposal of Kappa statistic for the measurement of agreement amongst judgments in perception tests. The analysis deals with data obtained from a subjective reaction test focusing on the variable pronunciation of /t, d/ as stops or affricates in Aracaju, Sergipe, Brazil, considering aesthetic, rhythmic, and dialectal factors. Kappa statistic shows aspects of the inter-rater agreement and reliability that can explain how the linguistic change is driven in the community. This type of analysis also allows to account for, in a perception study, the sex/gender bias observed in production. Results suggest that Kappa-statistics is a tool that can improve the explanatory power of perceptual studies in Sociolinguistics.

Keywords: Sociolinguistic perception; statistic tools; inter-rater agreement; /t,d/ palatalization.

Resumo: Estudos de percepção têm demandado o desenvolvimento de novas técnicas, assim como novas formas de analisar os dados obtidos. Este texto discute a proposta do teste Kappa para a aferição da força de convergência de julgamentos em testes de percepção. A análise é realizada com dados obtidos em um teste de reação subjetiva quanto à realização variável de /t,d/ em Aracaju, Brasil, considerando fatores estéticos, rítmicos e dialetais. A estatística Kappa mostra aspectos da concordância e da confiabilidade entre os avaliadores que podem ser usados para explicar como a mudança linguística se dá na comunidade. A análise também permite identificar em um estudo da percepção o viés de sexo/gênero observado nos estudos de produção. Os resultados mostram que a estatística Kappa é uma ferramenta que pode ampliar o poder explanatório dos estudos de percepção em Sociolinguística.

Palavras-chave: percepção sociolinguística; ferramentas estatísticas; concordância de juízes; palatalização de /t,d/.