Traduire une échelle d’évaluation

April 10, 2020May 2, 2021Posted in UXTagged Attrakdiff, échelle, évaluation, traduction, user research, UXLeave a comment

Pourquoi adopter un processus scientifique de traduction et de validation d’un outil tel qu’AttrakDiff ?

Les échelles d’évaluation standardisées de l’UX sont fréquemment utilisées mais les processus de création et de traduction sous-jacents sont souvent incompris. Cela peut amener à de mauvais usages. Nous synthétisons ci-dessous la méthode de traduction de ce types d’échelles.

Souvent, chercheurs ou professionnels traduisent eux-mêmes les outils dont ils ont besoin sans forcément suivre de méthodologie précise. Or, les questionnaires standardisés tels que l’AttrakDiff, le UEQ ou le meCUE ont des propriétés psychométriques qui ne peuvent être préservées que si l’on adapte un processus rigoureux de traduction et de validation.

Plusieurs étapes jalonnent une méthodologie de traduction et de validation transculturellle :

1) Préparation d’une version préliminaire. Plusieurs chercheurs bilingues (ou trilingues dans le cas de l’AttrakDiff) créent une première version française. Ils donnent ensuite cette version française à d’autres chercheurs trilingues (sans leur donner la version originale) et leur demandent de re-traduire les items français en allemand et en anglais. C’est ce qu’on appelle une back-translation (ou traduction renversée).

2) Evaluation par un comité d’experts trilingues des versions traduites. Les items qui ont été retraduits fidèlement par les traducteurs sont conservés. Les autres items sont discutés jusqu’à ce qu’un consensus soit trouvé sur la traduction. Il est possible en cas de doute de contacter l’auteur de l’outil original pour savoir quel sens donner à un item. A noter qu’il ne s’agit pas ici d’une traduction littérale parfaite. Parfois, il est nécessaire d’adapter un peu certains items pour que la signification d’origine soit la même dans la langue traduite. La version de l’outil obtenue à ce stade s’appelle la version expérimentale.

3) Avant de réaliser une étude à grande échelle, on effectue un pré-test de la version expérimentale. Concrètement, on interroge une vingtaine de personnes à qui on demande de remplir le questionnaire traduit en présence d’un chercheur. On demande également aux personnes de commenter à voix haute toutes leurs impressions sur les items et d’évaluer la compréhensibilité de chaque item. On vérifie que tous les items reçoivent un score de compréhensibilité élevé et on réajuste si besoin la version expérimentale en repassant par la deuxième étape “comité”.

4 et 5) Enfin, sur base de la version expérimentale pré-testée et validée par le comité, on réalise une étude de l’expérience utilisateur à grande échelle. Un échantillon supérieur à 100 personnes est nécessaire pour pouvoir faire les analyses statistiques nécessaires. On analyse ensuite diverses propriétés de l’échelle et de chaque sous-échelle (consistance interne notamment) pour vérifier que les propriétés psychométriques de l’instrument de base sont respectées. Par exemple, on vérifie que les 7 items constitutifs de chaque sous-échelle de l’AttrakDiff font bien partie de leur échelle de base. De même, on vérifie les liens entre l’AttrakDiff traduit et d’autres variables de mesures de l’UX pour s’assurer que les scores obtenus sont bien corrélés aux mesures similaires et sont bien indépendants de mesures qui évalueraient des aspects différents de ceux de l’AttrakDiff.

Methodo traduction AttrakDiff — Méthodologie de traduction et de validation transculturelle du questionnaire AttrakDiff (Lallemand, 2015 ; adaptée de Vallerand, 1989)

Votre toolkit UX en français

June 22, 2016December 2, 2017Posted in Méthodes UX, Ressources, UXTagged Attrakdiff, évaluation, évaluation experte, évaluation heuristique, évaluation UX, boite à outils, Carine Lallemand, complétion de phrases, conception, critères persuasion technologique, Design, expérience utilisateur, heuristiques UX, innovant, innovation, long terme, méthode, méthodes de design UX, nouveau, outil, plex cards, premières impression, rétrospective, télécharger, test 5 secondes, toolbox, toolkit, user experience, UX, UX Cards, ux curve4 Comments

Ce toolkit est focalisé sur les méthodes et outils académiques qui peuvent s’avérer utiles en pratique, et qui existent en français (ou que j’ai traduit avec l’accord des auteurs). J’ai évoqué la plupart de ces méthodes lors de mes conférences ou dans le livre Méthodes de design UX, où elles sont décrites bien plus en détail avec une approche pédagogique vous permettant de les appliquer correctement. Les outils francophones sont rares mais je mettrai l’article à jour dès que j’en déniche ou en traduit (et valide) un autre !

Si vous utilisez l’un des outils présenté dans ce toolkit, n’hésitez pas à m’envoyer votre feedback sur son usage en pratique : dans quel contexte vous l’avez utilisé, ce qui fonctionne, ce qui ne fonctionne pas, ce qui est facile ou non, comment vous l’avez adapté à vos besoins, si cela vous a apporté des résultats exploitables, quels livrables vous en avez tiré, … Il est réellement temps de construire plus de liens entre recherche et pratique et nous avons besoin mutuellement les uns des autres pour relever les challenges de l’UX design !

Outils d’idéation et de conception UX

UX Cards – Conception pour l’expérience utilisateur

Les UX Cards (Lallemand, 2015) sont basées sur une approche psychologique de l’expérience utilisateur. L’épanouissement des besoins psychologiques fondamentaux est considéré comme l’un des principaux moteurs d’expériences positives avec les technologies. Pour concevoir des systèmes ayant une UX positive, les concepteurs doivent les considérer comme des moyens d’épanouir des besoins psychologiques, et pas uniquement des moyens de réaliser des tâches. Les 7 principaux besoins psychologiques transposables aux produits et services sont décrits sous forme de cartes pouvant soutenir la conception et l’évaluation. Le set est composé de sept cartes besoins et deux cartes d’instructions. Les UX Cards existent en anglais et en français.

Référence : Lallemand, C. (2015). Towards Consolidated Methods for the Design and Evaluation of User Experience. (Doctoral dissertation). University of Luxembourg.

Lien : https://uxmind.eu/portfolio/ux-design-and-evaluation-cards/

Téléchargement (version FR) : https://carinelallemand.files.wordpress.com/2015/12/ux-cards_lallemand_fr_v1.pdf

PLEX Cards – Conception d’expérience ludiques

Les PLEX Cards (Lucero & Arrasvuori, 2010) sont focalisées sur la conception d’expériences ludiques. Elles sont basées sur le cadre conceptuel PLEX (playful experiences) décrivant 22 catégories d’expériences ludiques. Deux techniques d’idéation sont proposées pour accompagner les PLEX Cards : PLEX Brainstorming (pour des idées nombreuses, rapidement) et PLEX Scenarios (pour des idées plus élaborées). Existent en français, anglais, espagnol ou allemand.

Référence : Lucero, A., & Arrasvuori. J. (2010). PLEX Cards: a source of inspiration when designing for playfulness. Proc. Fun and Games 2010. New York, USA: ACM, 28-37.

Lien : http://www.funkydesignspaces.com/plex/

Téléchargement : http://www.funkydesignspaces.com/plex/PLEX_Cards_French.pdf

Critères de persuasion technologique – Concevoir des interfaces persuasives

Cette grille permet d’analyser les aspects persuasifs des interfaces technologiques selon 2 dimensions (aspects statiques vs. aspects dynamiques) et 12 critères principaux. Elle peut être utilisée pour réaliser une évaluation experte de la dimension persuasive des interfaces ou servir de guide pour orienter les choix de conception. Pour chaque critère, une définition, une justification ainsi que des exemples sont fournis.

Référence : Nemery, A. Elaboration, validation et application de la grille de critères de persuasion interactive. Psychologie. Université de Metz, 2012.

Lien : http://wp.me/a2i3pb-hJ

Outils d’évaluation UX

AttrakDiff – Questionnaire d’évaluation UX

Le questionnaire AttrakDiff (Hassenzahl, Burmester & Koller, 2003) est l’un des outils d’évaluation de l’expérience utilisateur les plus utilisés au niveau académique. Initialement développé en allemand, il a récemment été traduit et validé en français (Lallemand et al., 2015). L’AttrakDiff repose sur le modèle théorique proposé par Hassenzahl pour expliquer la qualité perçue d’un système interactif. Il comprend 28 items répartis en 4 sous-échelles (qualité pragmatique, qualité hédonique-stimulation, qualité hédonique-identité, attractivité globale).

Référence FR : Lallemand, C., Koenig, V., Gronier, G., & Martin, R. (2015). Création et validation d’une version française du questionnaire AttrakDiff pour l’évaluation de l’expérience utilisateur des systèmes interactifs. Revue européenne de psychologie appliquée.

Lien : https://uxmind.eu/2015/09/30/outil-attrakdiff-version-francaise/

Bientôt : les versions françaises du User Experience Questionnaire et du questionnaire meCUE !

Complétion de phrases – Evaluation qualitative et projective de l’UX

La complétion de phrases est une méthode qualitative d’évaluation de l’UX et/ou d’exploration des besoins et valeurs des utilisateurs. Les débuts de phrases sont des amorces qui doivent aider l’utilisateur à penser aux aspects expérientiels de l’interaction et à exprimer son ressenti de manière semi-structurée. Les résultats sont moins fastidieux à analyser que ceux obtenus à partir d’entretiens. Ils sont évidemment plus longs à analyser que les résultats d’un questionnaire, mais ils fournissent une information plus détaillée, notamment sur les émotions négatives.

Débuts de phrase et instructions disponibles prochainement !

Test des 5 secondes – Evaluation de la première impression

Le test des 5 secondes, que l’on retrouve aussi quelquefois sous les appellations Quick-Expo- sure Memory Test ou Rapid Desirability Testing, est une méthode qui recueille la première impression que les utilisateurs se forment spontanément d’un système. Le test consiste à présenter une interface statique à l’utilisateur, pendant exactement cinq secondes, puis à recueillir sa première impression à l’aide d’un court questionnaire.

Test des 5 secondes (instructions + questions) : https://carinelallemand.files.wordpress.com/2016/06/le-test-des-5-secondes.pdf

UX Curve – Evaluation rétrospective de l’UX en situation d’entretien

Après une période d’usage étendu, les courbes d’évaluation UX permettent d’analyser rétrospectivement les évolutions temporelles et fluctuations de l’expérience des utilisateurs en une seule session. Dans les méthodes d’évaluation par courbes, les participants dessinent plusieurs courbes pour décrire comment leur expérience avec un système a évolué à travers le temps. Chaque courbe représente une dimension particulière de la relation utilisateur-produit (utilisabilité, attractivité…). La méthode UX curve, développée par Kujala et al. (2011), est basée sur des templates de courbes en format papier. En session individuelle, on demande à un participant de dessiner des courbes représentant son expérience avec plusieurs dimensions du produit. Les dimensions évaluées sont l’expérience globale, l’attractivité, l’utilisabilité, l’utilité et le volume d’usage. Pendant qu’il trace les courbes, le participant explique à voix haute les raisons des changements dessinés et annote ses graphiques.

Templates UX Curve en français (traduction C. Lallemand)

Guidelines for using the UX Curve method (anglais)

Référence : Kujala, S., Roto, V., Väänänen-Vainio-Mattila, K., Karapanos, E., Sinnelä, A. (2011). UX Curve: A method for evaluating long-term user experience. Interacting with Computers, 23, pp. 473-483.

Heuristiques UX de Colombo & Pasch – Evaluation experte basée sur la théorie du flow

Les 10 heuristiques de Colombo & Pasch (2012) sont dérivées de la théorie du flow, appliquée aux Interactions Homme-Machine. La théorie du flow est une théorie psychologique développée par Mihaly Csikszentmihaly, qui ne concerne pas initialement le domaine des IHM. Le flow est décrit comme une expérience optimale. Selon les auteurs, cette liste d’heuristiques UX peut être utilisée pour la conception ou l’évaluation de systèmes interactifs. Colombo et Pasch revendiquent une approche discount de l’évaluation de l’UX, avec une liste « conçue comme un moyen économe en ressources pour garantir la bonne UX d’un produit quand le temps et l’argent sont rares ».

Lien : https://uxmind.eu/2014/08/14/10-heuristiques-pour-une-ux-optimale-de-colombo-et-pasch/

Outil – Questionnaire UX AttrakDiff version française

September 30, 2015November 21, 2015Posted in Ressources, UXTagged Attrakdiff, échelle de mesure, échelle UX, évaluation, Design, français, Hassenzahl, Lallemand, méthode, outil, questionnaire, traduction, UX, version française7 Comments

Voici le document de présentation de la version française de l’AttrakDiff, incluant les items pour la passation et les instructions pour le scoring. Vous trouverez plus d’informations dans l’article consacré au questionnaire dans la section Méthodes UX : https://uxmind.eu/2014/06/23/attrakdiff-evaluation-quantitative-ux/

Le document est également téléchargeable au format pdf.

Workshop Evaluation UX – Journée Thématique FLUPA 2014

June 23, 2014June 27, 2014Posted in Conférence, Events, UXTagged Attrakdiff, évaluation, FLUPA, journée thématique, UX, Web School Factory, workshop1 Comment

Vendredi 20 juin, j’ai animé un atelier Evaluation UX lors de la Journée Thématique FLUPA spéciale Ateliers.

Au programme, un panorama rapide des méthodes UX, un focus sur le questionnaire AttrakDiff, sur les méthodes d’évaluation rétrospectives de l’UX à long terme et enfin un débat sur l’évaluation experte de l’UX. La journée a été un grand succès et j’ai été ravie de voir que les professionnels présents ont appris des choses nouvelles, qu’ils pourront mettre à profit rapidement dans leurs projets !

Résumé de l’Atelier

L’expérience utilisateur (UX) est devenu un facteur concurrentiel crucial sur le marché des produits et systèmes interactifs. Améliorer l’expérience utilisateur durant le cycle de développement d’un produit nécessite notamment de savoir l’évaluer. Or, les méthodes traditionnelles d’évaluation de l’utilisabilité ne sont pas adaptées à l’évaluation de l’UX. Parfois méconnues des professionnels en IHM, plusieurs méthodes existent pour évaluer l’UX.

Dans cet atelier, je vous proposerai tout d’abord une vue globale des méthodes d’évaluation de l’UX, catégorisées en fonction :
a) du type de méthode (études de terrain, recherches en laboratoire, études online ou enfin outils auto-administrés,
b) de la phase de développement du produit dans laquelle chaque méthode intervient (phase conceptuelle, prototypes préliminaires, prototypes fonctionnels ou produits sur le marché),
c) de la période d’expérience évaluée (avant, durant ou après l’usage),
d) de la principale source d’information (experts, utilisateurs, groupes d’utilisateurs).

Nous nous centrerons ensuite sur trois outils principaux :

1) une échelle d’évaluation quantitative de l’UX, basée sur un modèle scientifique. Simple et rapide à utiliser, vous découvrirez de manière pragmatique comment l’utiliser pour l’évaluation des systèmes interactifs.

2) des outils d’évaluation retrospective de l’UX à long terme. Généralement présentés sous forme de courbe, vous apprendrez à faire dessiner à vos utilisateurs les principaux changements de leur UX à travers le temps

3) un débat sur l’évaluation experte de l’UX grâce à des heuristiques ou outils plus génériques

Contenu de la présentation sur Slideshare

AttrakDiff : une évaluation quantitative de l’UX

June 23, 2014March 1, 2017Posted in Méthodes UX, UXTagged Attrakdiff, échelle, évaluation, expérience utilisateur, Hassenzahl, mesure, quantitatif, questionnaire, traduction française, UX24 Comments

Le questionnaire AttrakDiff, élaboré par Hassenzahl et ses collègues en 2003, est un outil de référence pour les chercheurs en UX. Il permet d’évaluer les qualités hédoniques et pragmatiques des systèmes interactifs. Jusqu’en 2014, il n’avait jamais été traduit et validé en version française. Afin de pouvoir étudier l’UX sur des échantillons francophones dans le cadre de ma thèse, j’ai traduit et validé ce questionnaire en suivant une méthodologie scientifique (ce qui permet de garantir les qualités psychométriques de l’outil traduit).

Le modèle théorique d’Hassenzahl

AttrakDiff est basé sur un modèle théorique développé par le chercheur Marc Hassenzahl et son équipe. Selon ce modèle, les utilisateurs perçoivent les produits interactifs selon deux dimensions :

les qualités pragmatiques : capacité à soutenir l’accomplissement de “do-goals” (tâches). Focus sur le produit (utilité, utilisabilité, réalisation des tâches). Un produit perçu comme ayant de bonnes qualités pragmatiques sera structuré, clair, contrôlable, efficace, pratique, etc.
les qualités hédoniques : capacité à soutenir l’accomplissement de “be-goals”. Focus sur le soi (pourquoi on possède et on utilise un produit particulier). Un produit perçu comme ayant de bonnes qualités hédoniques sera original, créatif, captivant (versant hédonique – stimulation) ou encore présentable, professionnel, de bon goût, qui me rapproche des autres (versant hédonique – identification).

Ces deux dimensions (pragmatique et hédonique) vont influencer la perception subjective de l’attractivité du produit ou système, qui va donner naissance à des comportements (par exemple une utilisation accrue) et émotions (ex : joie, frustration).

Modèle théorique d’Hassenzahl (User Interface Design GmbH, http://attrakdiff.de/)

L’AttrakDiff, un outil de mesure quantitative de l’expérience utilisateur

L’AttrakDiff est un questionnaire standardisé comprenant 4 sous-échelles de 7 items chacune, soit 28 items au total. Il est exploité par la société allemande User Interface Design GmbH, qui propose la passation en ligne gratuitement (en allemand et en anglais) sur son site http://attrakdiff.de/

Les sous-échelles de l’AttrakDiff sont les suivantes :

Echelle de qualité pragmatique (QP) : décrit l’utilisabilité du produit et indique à quel point le produit permet aux utilisateurs d’atteindre leur(s) but(s)
Echelle de qualité hédonique – stimulation (QH-S) : indique dans quelle mesure le produit peut soutenir le besoin de stimulation
Echelle de qualité hédonique – identification (QH-I) : indique dans quelle mesure le produit permet à l’utilisateur de s’identifier à lui
Echelle d’attractivité globale (ATT) : décrit la valeur globale du produit basée sur la perception des qualités pragmatiques et hédoniques

Format : Les items se présentent sous la forme de différenciateurs sémantiques (paires de mots contrastés) à évaluer par des échelles de Likert en 7 points. L’ordre de passation des items est standardisé. Ceux-ci sont mélangés et les 7 items d’une même sous-échelle ne sont jamais passés à la suite.

Passation et scoring

Passation : L’AttrakDiff est un outil auto-administré. Les utilisateurs peuvent y répondre aussi bien en présentiel (après un test utilisateur par exemple) qu’en ligne. La passation dure généralement entre 5 et 10 minutes maximum. Pour les plus pressés, une version raccourcie existe en 10 items seulement.

Types d’évaluation : L’AttrakDiff soutient 3 types d’évaluation

Evaluation unique : adaptée pour une évaluation unique ou temporaire d’un produit ou système
Comparaison avant-après : ce type d’évaluation permet de tester le produit 2x : avant et après l’implémentation de changements. Vous aurez ainsi un résumé détaillé des effets des changements.
Comparaison Produit A – Produit B : ce type d’évaluation implique deux produits qui sont évalués et comparés. Vous serez en mesure de voir comment les utilisateurs perçoivent les différents produits.

Scoring : Le scoring de l’AttrakDiff est relativement facile.

Tout d’abord, il faut inverser certains items, c’est à dire transformer le score obtenu par son opposé (+3 depuis -3, +2 devient -2, etc). Cette étape est nécessaire car, pour éviter la tendance à l’acquiescement lors de la passation, les items n’ont pas la même valence (parfois le mot à gauche est négatif et parfois il est positif). Avant de calculer un score, il faut donc s’assurer que les items sont bien scorés dans le même sens, c’est à dire que les termes négatifs soient à gauche et les termes positifs à droite.

Il s’agit ensuite de calculer les moyennes et écart-types pour chaque échelle, ainsi que les intervalles de confiance (le calcul de l’intervalle de confiance est détaillé dans les slides de l’atelier Evaluation UX)

Présentation des résultats

La présentation des résultats peut se faire sous différentes formes. Les concepteurs de l’outil en proposent 3 formes principales.

Diagramme des valeurs moyennes

Les valeurs moyennes des différentes dimensions de l’AttrakDiff sont représentées sur ce diagramme. Les qualités hédoniques stimulation et hédoniques identité sont distinguées et l’attractivité globale est présentée.

Les valeurs proches de la moyenne (zone entre 0 et 1) sont standards. Elles ne sont pas négatives et remplissent leur fonction. Toutefois, des améliorations sont possibles sur ces aspects pour créer une UX ou attractivité très positive.

Graphique des paires de mots

Ce diagramme présente les valeurs moyennes pour chaque paire de mots. Les items sont regroupés par sous-échelles et placés autour d’un continuum avec au centre la valeur neutre 0, ce qui permet de distinguer très rapidement quels aspects sont perçus comme négatifs et quels aspects sont perçus comme positifs.

Les valeurs extrêmes (entre -2 et -3 ou à l’inverse entre +2 et +3) sont particulièrement intéressantes. Elles montrent quelles dimensions sont critiques ou au contraire particulièrement positives, et appellent à des actions d’amélioration sur ces aspects.

Portfolio des résultats

Dans cette représentation des résultats, les valeurs moyennes obtenues aux échelles hédoniques sont représentées sur l’axe vertical (avec en bas valeur la plus basse, soit -3) et la valeur moyenne à l’échelle pragmatique est représentée sur l’axe horizontal (à gauche valeur la plus basse). Selon les scores obtenus aux deux dimensions, le produit ou système évalué sera positionné dans l’une des zones, définissant ainsi sa « personnalité » ou son « orientation ».

Chaque valeur moyenne est entourée d’un rectangle représentant l’intervalle de confiance du résultat. Le rectangle de confiance montre si les utilisateurs ont fait une évaluation homogène du produit ou si on constate une grande variété dans l’évaluation. Plus l’intervalle de confiance est grand, plus l’évaluation a varié selon les utilisateurs. Ainsi, il est plus difficile de catégoriser le produit dans une zone particulière. Un petit intervalle de confiance est un avantage car il signifie que les résultats sont plus précis et plus fiables.

Conseils pratiques

L’AttrakDiff étant un outil quantitatif, essayez d’avoir un échantillon d’utilisateurs raisonnable pour une passation.
Ne modifiez aucun élément de l’AttrakDiff (formulation des items, nombre d’items, format, ordre de passation, etc) sous peine de détériorer les qualités psychométriques du questionnaire.
Utilisez la version courte (abridged AttrakDiff) en 10 items si vous ne pouvez pas faire passer l’échelle complète.
Ajoutez avant ou après l’AttrakDiff des questions socio-démographiques pour croiser les résultats en fonction de certaines caractéristiques de votre échantillon. Les plus fréquentes sont le sexe, l’âge et le sentiment de maîtrise des technologies.

Retrouvez les items de la version française ainsi que les instructions de passation dans la section Ressources.

La version abrégée du questionnaire consiste en une sélection de dix items sur les 28 que comprend l’outil d’origine Voilà les codes des items à retenir pour la version courte :
• qualité pragmatique (4 items) : QP2, QP3, QP5, QP6 ;
• qualité hédonique (4 items) : QHS5, QHS2, QHI3, QHI4 ;
• attractivité (2 items) : ATT2, ATT5.

Sources

Création de l’outil : Hassenzahl, M., Burmester, M., Koller, F. (2003) AttrakDiff: Ein Fragebogen zur Messung wahrgenommener hedonischer und pragmatischer Qualität. In: Ziegler, J., Szwillus, G. (eds.) Mensch & Computer 2003. Interaktion in Bewegung, pp. 187–196. B.G. Teubner, Stuttgart.
Site web : http://www.attrakdiﬀ.de.
Traduction française : Lallemand, C., Koenig, V., Gronier, G., & Martin, R. (2015). Création et validation d’une version française du questionnaire AttrakDiff pour l’évaluation de l’expérience utilisateur des systèmes interactifs. Revue européenne de psychologie appliquée, 65(5), p 239-252.