Kappa de Cohen : tutoriel dans Excel

Ce tutoriel montre comment calculer et interpréter le coefficient Kappa de Cohen qui permet de mesurer l’accord entre deux juges, dans Excel avec XLSTAT.

Jeu de données pour calculer et interpréter le Kappa de Cohen

Deux médecins ont évalué séparément la présence ou l’absence d’une maladie chez 62 patients. Comme indiqué ci-dessous, les résultats ont été rassemblés dans un tri croisé ou tableau de contingence, croisant deux variables qualitatives (médecin 1 : sain ou malade ; médecin 2 : sain ou malade). 34 patients ont été diagnostiqués sains par les deux médecins. 4 patients ont été diagnostiqués malades par le médecin 1 et sains par le médecin 2, et ainsi de suite.

Les données sont fictives et ont été créées pour ce tutoriel.

But de ce tutoriel sur le calcul et l’interprétation du Kappa de Cohen

L’objectif de ce tutoriel est de mesurer l’accord des deux médecins sur leur diagnostic d’une maladie. Ceci est aussi appelé fiabilité inter-évaluateurs. Afin de mesurer l’accord, on pourrait simplement calculer le pourcentage de cas pour lesquels les deux médecins sont d’accord (pourcentage de cas dans la diagonale du tableau de contingence), ce qui correspond à : (34 + 21)*100 / 62 = 89%. Cette statistique a une faiblesse importante : elle ne prend pas en compte les cas où l’accord apparait par hasard. En revanche, le Kappa de Cohen mesure l’accord tout en éliminant les effets dus au hasard, garantissant ainsi une bonne reproductibilité.

Paramétrer le coefficient Kappa de Cohen dans XLSTAT

Une fois que XLSTAT est activé, cliquez sur le menu XLSTAT / Tests de corrélation/association / Tests sur les tableaux de contingence (voir ci-dessous).

Une fois que vous avez cliqué sur le bouton, la boîte de dialogue apparaît :

Activez l’option Tableau de Contingence, et sélectionnez vos données dans le champ Tableau de Contingence. Dans l’onglet Sorties, assurez-vous d’activer l’option Coefficients d’Association.

Interpréter le coefficient Kappa de Cohen

Après avoir cliqué sur OK, les résultats apparaissent. Ils comprennent de nombreux coefficients d’association :

De la même manière que le coefficient de corrélation de Pearson, le Kappa de Cohen varie entre -1 et +1 avec : - -1 reflétant un désaccord total

• +1 un accord total
• 0 reflétant le hasard pur

Les seuils de bon accord peuvent changer d’un domaine ou une question à un autre. Cependant, Landis et Koch (1977) ont proposé l’échelle suivante pour évaluer la force de l’accord traduit par le Kappa de Cohen : < 0 : Pas d’accord 0 - 0.2 : très faible 0.2 - 0.4 : faible 0.4 - 0.6 : modéré 0.6 - 0.8 : fort 0.8 – 1 : presque parfait Dans notre cas, la valeur du Kappa de Cohen est de 0,76, ce qui indique un accord fort entre les médecins, selon l’échelle ci-dessus.

Aller plus loin : Gage R&R pour attributs

L’analyse Gage R&R (Reproductibilité et Répétabilité) pour attributs utilise le Kappa de Cohen notamment pour mesurer le degré d’accord d’opérateurs avec eux-même.