Analyse de fiabilité avec Excel

Ce tutoriel vous aidera à calculer et interpréter des indices de fiabilité (alpha de Cronbach et indices de Guttman) dans Excel avec XLSTAT.

Qu’est-ce que l'analyse de la fiabilité ?

L’Analyse de la fiabilité permet d'étudier les propriétés d’une échelle de mesure et des éléments qui la constituent. La procédure d'analyse de fiabilité fournit plusieurs résultats fréquemment utilisés pour estimer la consistance interne (capacité des items utilisés à mesurer le même phénomène ou les mêmes dimensions d’une échelle) et propose également des informations sur les relations entre les différents éléments composant cette dernière.
L’analyse de fiabilité est souvent utilisée pour vérifier que les questions (items) d’un questionnaire (test) sont cohérentes les unes avec les autres.
Une fiabilité élevée suggère de fortes relations entre les mesures / items dans une procédure de mesure.
Il existe deux familles de méthodes d’estimation de la consistance interne :
1. La fiabilité en deux parties, qui suppose que la procédure de mesure puisse être divisée en deux moitiés fortement corrélées et d’autre part la cohérence interne entre chaque élément mesuré (Indice L4 de Guttman et Spearman-Brown).
2. La consistance interne (modèle interne), se basant sur les scores entre chaque item et la somme de tous les autres (coefficients Alpha de Cronbach, Guttman L1 et L6, …). Elle suppose une bonne homogénéité entre les items.

Dans ce tutoriel, nous nous focaliserons sur le calcul et l’interprétation d’indices relatifs au modèle internet, et mentionnerons les indices de fiabilité en deux parties.

Jeu de données pour réaliser une analyse de la fiabilité

Dans ce tutoriel, nous utiliserons les données provenant du site web Personality Tests (le fichier original peut-être obtenu à l’adresse http://personality-testing.info/_rawdata/BIG5.zip).
Elles correspondent au test du Big Five lequel mesure cinq traits principaux de la personnalité. Dans le cadre de ce tutoriel, seules les 2000 premières observations seront analysées ; et afin d’estimer la consistance interne, seul le trait de personnalité correspondant au névrosisme (représentant la stabilité émotionnelle) a été conservé dans l’analyse (hypothèse unifactorielle du test).
Ce trait de personnalité est évalué par le biais de 10 items (questions) pour lesquelles chaque personne interrogée exprime son degré d'accord ou de désaccord vis-à-vis d'une affirmation (Echelle de Likert). Nous appellerons l’ensemble de questions test ou questionnaire.

Paramétrer une Analyse de fiabilité dans Excel avec XLSTAT

Une fois que XLSTAT est ouvert, choisissez XLSTAT / Description des données / Analyse de la fiabilité (voir ci-dessous) :

Une fois le bouton cliqué, la boîte de dialogue correspondant à l'Analyse de la fiabilité apparaît.
Vous pouvez alors sélectionner les données sur la feuille Excel via le champ Tableau Observations / Variables
L'option Libellés des variables est activée, car la première ligne de données contient le nom des variables.
Le Type de fiabilité choisi est Modèle interne, ce qui signifie que nous étudierons la contribution de chaque item en supposant le test en une seule partie.
Ce type de fiabilité suppose également l’égalité des scores de chaque item mesuré (hypothèse de Tau-équivalence) afin que les différents estimateurs de la cohérence interne du test aient un biais minimal.

Dans l'onglet Sorties, nous choisissons d'activer les options Statistiques de Guttman et Afficher la meilleure fraction ce qui aura pour effet d’afficher les résultats des différents indices de Guttman ainsi que de la partition correspondant à l’indice de Guttman L4 calculé (celle maximisant la corrélation des scores entre les deux sous-parties, c’est-à-dire correspondant au maximum de Guttman L4).

Dans l'onglet Options, il convient alors de choisir la méthode de calcul de la meilleure fraction correspondant au maximum de Guttman L4.

Le nombre d’items du questionnaire étant peu élevé, nous choisissons la méthode Enumération, effectue une recherche exhaustive parmi l’ensemble des partitions possibles**.**

Dans le cas contraire, la méthode Rapide sera plus appropriée et permettra de fournir une valeur de l’indice de Guttman L4 en un temps acceptable en effectuant une recherche optimisée mais en contrepartie partielle.

Dans l'onglet Graphiques, l’option Cartes des corrélations sera activée.

Les calculs commencent lorsque vous cliquez sur le bouton OK.

Interpréter les résultats de l'Analyse de la fiabilité

Le coefficient alpha de Cronbach, appelé également coefficient α, permet d’évaluer la cohérence interne (et donc par conséquent la fiabilité) des questions posées lors de ce test (les réponses aux questions portant sur le même thème devant être corrélées). Sa valeur s'établit généralement entre 0 et 1 et est considérée comme acceptable à partir de 0,70.
Il est à noter que l’alpha de Cronbach peut parfois être négatif en raison d’un faible nombre de questions en association à des corrélations fortement négatives de certains items par rapport aux autres.
La suppression de ces questions du questionnaire ainsi que l’ajout de nouvelles font partie des solutions à cette problématique.

Dans l’étude proposée, le coefficient Alpha obtenu vaut 0,869 ce qui indique une bonne capacité des items du questionnaire à évaluer le névrosisme chez des sujets.

De plus, l’alpha de Cronbach standardisé (en considérant le score de chaque item avec moyenne nulle et variance unitaire) est quasiment identique à l’alpha de Cronbach ce qui valide l’hypothèse de Tau-équivalence (égalité des moyennes et variances des vrais scores de chaque item) du questionnaire. La validité de cette hypothèse est nécessaire afin d’obtenir un coefficient alpha représentatif de la fiabilité (biais faible).

Bien qu’il soit plus judicieux d’utiliser l’alpha de Cronbach dans ce cas précis, d’autres estimateurs de la fiabilité tels que les indices L1-L6 proposés par Guttman permettent sous certaines conditions d’obtenir une estimation beaucoup plus précise de la consistance interne d’un test.

Voici un récapitulatif des conditions nécessaires à l’emploi de ces indices :

L1 : Un coefficient intermédiaire utilisé dans le calcul des autres indices (conservateur).

L2 : Estimation de la corrélation inter-score dans le cas de mesures parallèles. Il est plus complexe que l'alpha de Cronbach et représente mieux la vraie fiabilité du test dans les cas de fiabilité composite (multifactoriel).

L3 : Equivalent à l'alpha de Cronbach.

L4 : Fiabilité en deux parties de Guttman. Utile lorsque l’hypothèse de Tau-équivalence n’est pas respectée. Ce cas de figure arrive très fréquemment en analyse de la fiabilité et pourrait être vu dans le cas de notre exemple comme des réponses différentes suivant les personnes pour caractériser le trait de névrosisme . La consistance interne du test serait donc difficile à estimer dans ces conditions.

Pour pallier ce problème, on fractionne le test en deux parties (idéalement égales) dont la corrélation est maximale. Chacune de ces deux fractions du test est ensuite présentée aux mêmes personnes au même moment.

La fonctionnalité Analyse de la fiabilité fournit la partition correspondant au maximum de l’indice Guttman L4.

L5 : Recommandé lorsqu'un seul item covarie fortement avec les autres qui, eux, ne présentent pas de covariances élevées les uns avec les autres.
L6 : Recommandé lorsque les corrélations inter-éléments sont faibles par rapport aux coefficients de détermination item vs items restants (devient un meilleur estimateur de la fiabilité lorsque le nombre d’items devient important).

Rappelons-nous qu’une échelle fiable est constituée de questions mesurant proportionnellement la quantité la plus importante de véritable résultat.
Ainsi nous souhaitons dans notre exemple sélectionner des questions qui mesurent principalement le névrosisme (stabilité émotionnelle). Pour ce faire, examinons le tableau suivant :

Les résultats des 10 questions sont donnés ci-dessus. Les quatre colonnes les plus à droite de cette table sont pour nous les plus intéressantes. Elles fournissent :

• La corrélation entre la question et le résultat de la somme totale des autres questions.

• La corrélation multiple au carré entre la question respective et toutes les autres

• La cohérence interne de l'échelle (coefficients Alpha et Guttman L6) si la question était supprimée.

Les questions 2 et 4 sont nettement moins cohérentes avec le reste de l'échelle. Leurs corrélations avec l'échelle de somme sont respectivement de 0,451 et 0,342, tandis que toutes les autres questions sont corrélées au moins à une valeur de 0,55.
Dans les colonnes relatives aux indices de cohérence interne, nous pouvons voir que la fiabilité de l'échelle serait légèrement augmentée (de l'ordre de 0,1) si l'une ou l'autre des deux questions était supprimée. Par conséquent, nous devrions sans doute conserver ces deux questions de notre échelle au vu de ce faible gain.

Un graphique intéressant dans l’analyse de la fiabilité est la carte des corrélations, qui permet de mettre en évidence d’éventuelles structures dans les corrélations, ou d’identifier rapidement les éléments ayant des corrélations intéressantes.
Nous voyons clairement sur cette carte que les questions N2 à N4 sont moins corrélées au reste des items du questionnaire.