Traduire une échelle d’évaluation

Pourquoi adopter un processus scientifique de traduction et de validation d’un outil tel qu’AttrakDiff ?

Les échelles d’évaluation standardisées de l’UX sont fréquemment utilisées mais les processus de création et de traduction sous-jacents sont souvent incompris. Cela peut amener à de mauvais usages. Nous synthétisons ci-dessous la méthode de traduction de ce types d’échelles.

Souvent, chercheurs ou professionnels traduisent eux-mêmes les outils dont ils ont besoin sans forcément suivre de méthodologie précise. Or, les questionnaires standardisés tels que l’AttrakDiff, le UEQ ou le meCUE ont des propriétés psychométriques qui ne peuvent être préservées que si l’on adapte un processus rigoureux de traduction et de validation.

Plusieurs étapes jalonnent une méthodologie de traduction et de validation transculturellle :

1) Préparation d’une version préliminaire. Plusieurs chercheurs bilingues (ou trilingues dans le cas de l’AttrakDiff) créent une première version française. Ils donnent ensuite cette version française à d’autres chercheurs trilingues (sans leur donner la version originale) et leur demandent de re-traduire les items français en allemand et en anglais. C’est ce qu’on appelle une back-translation (ou traduction renversée).

2) Evaluation par un comité d’experts trilingues des versions traduites. Les items qui ont été retraduits fidèlement par les traducteurs sont conservés. Les autres items sont discutés jusqu’à ce qu’un consensus soit trouvé sur la traduction. Il est possible en cas de doute de contacter l’auteur de l’outil original pour savoir quel sens donner à un item. A noter qu’il ne s’agit pas ici d’une traduction littérale parfaite. Parfois, il est nécessaire d’adapter un peu certains items pour que la signification d’origine soit la même dans la langue traduite. La version de l’outil obtenue à ce stade s’appelle la version expérimentale.

3) Avant de réaliser une étude à grande échelle, on effectue un pré-test de la version expérimentale. Concrètement, on interroge une vingtaine de personnes à qui on demande de remplir le questionnaire traduit en présence d’un chercheur. On demande également aux personnes de commenter à voix haute toutes leurs impressions sur les items et d’évaluer la compréhensibilité de chaque item. On vérifie que tous les items reçoivent un score de compréhensibilité élevé et on réajuste si besoin la version expérimentale en repassant par la deuxième étape “comité”.

4 et 5) Enfin, sur base de la version expérimentale pré-testée et validée par le comité, on réalise une étude de l’expérience utilisateur à grande échelle. Un échantillon supérieur à 100 personnes est nécessaire pour pouvoir faire les analyses statistiques nécessaires. On analyse ensuite diverses propriétés de l’échelle et de chaque sous-échelle (consistance interne notamment) pour vérifier que les propriétés psychométriques de l’instrument de base sont respectées. Par exemple, on vérifie que les 7 items constitutifs de chaque sous-échelle de l’AttrakDiff font bien partie de leur échelle de base. De même, on vérifie les liens entre l’AttrakDiff traduit et d’autres variables de mesures de l’UX pour s’assurer que les scores obtenus sont bien corrélés aux mesures similaires et sont bien indépendants de mesures qui évalueraient des aspects différents de ceux de l’AttrakDiff.

Methodo traduction AttrakDiff
Méthodologie de traduction et de validation transculturelle du questionnaire AttrakDiff (Lallemand, 2015 ; adaptée de Vallerand, 1989)

Interview podcast les voix du design thinking

Il y a plusieurs mois déjà, j’ai été interviewée par Inès Beatrix pour son podcast Les Voix du Design Thinking.

Elle y interviewe des sociologues, anthropologues, designers, facilitateurs, entrepreneurs et créatifs tous experts en innovation pour nous éclairer sur les stratégies, pratiques, techniques et conseils que vous pourrez mettre en pratique.

Sur un format de conversations plutôt longues et détendues (de 45 min à 1h environ), le podcast est très agréable à écouter et les sujets sont tout aussi variés que passionnants.

Pour ma part j’ai parlé de choses variées sur l’UX, avec évidemment pas mal de trucs et astuces sur les méthodes.

  • Mon parcours : de la psychologie à l’UX design, origine et motivation derrière l’écriture de mon livre
  • Focus groups : que faire quand l’un des membres du groupe monopolise la conversation ? Comment relancer les discussions ?
  • La technique de la photo elicitation
  • Personas : quand et comment les créer, leurs limites et les idées fausses les concernant –> Consultez l’article à ce sujet.
  • Sondes culturelles : quand et comment les utiliser ? Origines de la méthode et exemple de Bill Gaver
  • Comment s’assurer que les informations recueillies dans la phase d’exploration ne sont pas perdues dans les phases suivantes d’idéation, de prototypage et de test ?
  • Astuces pour prendre des notes pendant un entretien utilisateur et être plus efficace pendant la phase d’idéation
  • Pour conclure, on parle gamification, design persuasif, mes exemples UX préférés et mes sources d’inspiration !

Retrouvez le podcast sur :

iTunes : https://lnkd.in/ebpc4H5

Stitcher : https://lnkd.in/e2RsmjJ

Spotify : https://lnkd.in/evaCJFV

Soundcloud : https://lnkd.in/e2N_qy8

Et suivez les Voix du design Thinking sur Facebook et Twitter (@lesvoixdudt) ou Linkedin.

Questionnaire UX meCUE version française

L’échelle meCUE est un questionnaire standardisé d’évaluation de l’expérience utilisateur (UX). Il a été développé par Minge, Riedel, & Thüring en 2007 sur base du modèle des composantes de l’UX de Thüring et Mahlke. Le meCUE fait partie des échelles généralistes, qui produisent une évaluation globale de l’UX.

Comme pour l’Attrakdiff ou le UEQ, j’ai réalisé la version française de l’échelle meCUE suivant un processus de traduction scientifique. La version française du questionnaire meCUE comporte seulement 30 items (contre 34 au total dans la version d’origine). Les modules du meCUE sont tous indépendants et vous pouvez donc choisir de les passer tous ou d’en sélectionner certains selon vos besoins.

Questionnaire UX meCUE coverpage

Voici le document de présentation de la version française du questionnaire d’évaluation UX meCUE, incluant les items pour la passation et les instructions pour le scoring. Le document est téléchargeable au format pdf.

 

Votre toolkit UX en français

Ce toolkit est focalisé sur les méthodes et outils académiques qui peuvent s’avérer utiles en pratique, et qui existent en français (ou que j’ai traduit avec l’accord des auteurs). J’ai évoqué la plupart de ces méthodes lors de mes conférences ou dans le livre Méthodes de design UX, où elles sont décrites bien plus en détail avec une approche pédagogique vous permettant de les appliquer correctement. Les outils francophones sont rares mais je mettrai l’article à jour dès que j’en déniche ou en traduit (et valide) un autre !

Si vous utilisez l’un des outils présenté dans ce toolkit, n’hésitez pas à m’envoyer votre feedback sur son usage en pratique : dans quel contexte vous l’avez utilisé, ce qui fonctionne, ce qui ne fonctionne pas, ce qui est facile ou non, comment vous l’avez adapté à vos besoins, si cela vous a apporté des résultats exploitables, quels livrables vous en avez tiré, … Il est réellement temps de construire plus de liens entre recherche et pratique et nous avons besoin mutuellement les uns des autres pour relever les challenges de l’UX design !


Outils d’idéation et de conception UX

UX Cards – Conception pour l’expérience utilisateur

UX Mind votre toolkit en FR.005

Les UX Cards (Lallemand, 2015) sont basées sur une approche psychologique de l’expérience utilisateur. L’épanouissement des besoins psychologiques fondamentaux est considéré comme l’un des principaux moteurs d’expériences positives avec les technologies. Pour concevoir des systèmes ayant une UX positive, les concepteurs doivent les considérer comme des moyens d’épanouir des besoins psychologiques, et pas uniquement des moyens de réaliser des tâches. Les 7 principaux besoins psychologiques transposables aux produits et services sont décrits sous forme de cartes pouvant soutenir la conception et l’évaluation. Le set est composé de sept cartes besoins et deux cartes d’instructions. Les UX Cards existent en anglais et en français.

Référence : Lallemand, C. (2015). Towards Consolidated Methods for the Design and Evaluation of User Experience. (Doctoral dissertation). University of Luxembourg.

Lien : https://uxmind.eu/portfolio/ux-design-and-evaluation-cards/

Téléchargement (version FR) : https://carinelallemand.files.wordpress.com/2015/12/ux-cards_lallemand_fr_v1.pdf

PLEX Cards – Conception d’expérience ludiques

UX Mind plex cards

Les PLEX Cards (Lucero & Arrasvuori, 2010) sont focalisées sur la conception d’expériences ludiques. Elles sont basées sur le cadre conceptuel PLEX (playful experiences) décrivant 22 catégories d’expériences ludiques. Deux techniques d’idéation sont proposées pour accompagner les PLEX Cards : PLEX Brainstorming (pour des idées nombreuses, rapidement) et PLEX Scenarios (pour des idées plus élaborées). Existent en français, anglais, espagnol ou allemand.

Référence : Lucero, A., & Arrasvuori. J. (2010). PLEX Cards: a source of inspiration when designing for playfulness. Proc. Fun and Games 2010. New York, USA: ACM, 28-37.

Lien : http://www.funkydesignspaces.com/plex/

Téléchargement : http://www.funkydesignspaces.com/plex/PLEX_Cards_French.pdf

Critères de persuasion technologique – Concevoir des interfaces persuasives

UX Mind persuasion technologique

Cette grille permet d’analyser les aspects persuasifs des interfaces technologiques selon 2 dimensions (aspects statiques vs. aspects dynamiques) et 12 critères principaux. Elle peut être utilisée pour réaliser une évaluation experte de la dimension persuasive des interfaces ou servir de guide pour orienter les choix de conception. Pour chaque critère, une définition, une justification ainsi que des exemples sont fournis.

Référence : Nemery, A. Elaboration, validation et application de la grille de critères de persuasion interactive. Psychologie. Université de Metz, 2012.

Lien : http://wp.me/a2i3pb-hJ

 


 

Outils d’évaluation UX

AttrakDiff – Questionnaire d’évaluation UX

UX Mind votre toolkit en FR.002

Le questionnaire AttrakDiff (Hassenzahl, Burmester & Koller, 2003) est l’un des outils d’évaluation de l’expérience utilisateur les plus utilisés au niveau académique. Initialement développé en allemand, il a récemment été traduit et validé en français (Lallemand et al., 2015). L’AttrakDiff repose sur le modèle théorique proposé par Hassenzahl pour expliquer la qualité perçue d’un système interactif. Il comprend 28 items répartis en 4 sous-échelles (qualité pragmatique, qualité hédonique-stimulation, qualité hédonique-identité, attractivité globale).

Référence FR : Lallemand, C., Koenig, V., Gronier, G., & Martin, R. (2015). Création et validation d’une version française du questionnaire AttrakDiff pour l’évaluation de l’expérience utilisateur des systèmes interactifs. Revue européenne de psychologie appliquée.

Lien : https://uxmind.eu/2015/09/30/outil-attrakdiff-version-francaise/

Bientôt : les versions françaises du User Experience Questionnaire et du questionnaire meCUE !

Complétion de phrases – Evaluation qualitative et projective de l’UX

UX Mind votre toolkit en FR.004

La complétion de phrases est une méthode qualitative d’évaluation de l’UX et/ou d’exploration des besoins et valeurs des utilisateurs. Les débuts de phrases sont des amorces qui doivent aider l’utilisateur à penser aux aspects expérientiels de l’interaction et à exprimer son ressenti de manière semi-structurée. Les résultats sont moins fastidieux à analyser que ceux obtenus à partir d’entretiens. Ils sont évidemment plus longs à analyser que les résultats d’un questionnaire, mais ils fournissent une information plus détaillée, notamment sur les émotions négatives.

Débuts de phrase et instructions disponibles prochainement !

 

Test des 5 secondes – Evaluation de la première impression

UX Mind votre toolkit en FR.001Le test des 5 secondes, que l’on retrouve aussi quelquefois sous les appellations Quick-Expo- sure Memory Test ou Rapid Desirability Testing, est une méthode qui recueille la première impression que les utilisateurs se forment spontanément d’un système. Le test consiste à présenter une interface statique à l’utilisateur, pendant exactement cinq secondes, puis à recueillir sa première impression à l’aide d’un court questionnaire.

Test des 5 secondes (instructions + questions) : https://carinelallemand.files.wordpress.com/2016/06/le-test-des-5-secondes.pdf

 

UX Curve – Evaluation rétrospective de l’UX en situation d’entretien

UX Mind votre toolkit en FR.003Après une période d’usage étendu, les courbes d’évaluation UX permettent d’analyser rétrospectivement les évolutions temporelles et fluctuations de l’expérience des utilisateurs en une seule session. Dans les méthodes d’évaluation par courbes, les participants dessinent plusieurs courbes pour décrire comment leur expérience avec un système a évolué à travers le temps. Chaque courbe représente une dimension particulière de la relation utilisateur-produit (utilisabilité, attractivité…). La méthode UX curve, développée par Kujala et al. (2011), est basée sur des templates de courbes en format papier. En session individuelle, on demande à un participant de dessiner des courbes représentant son expérience avec plusieurs dimensions du produit. Les dimensions évaluées sont l’expérience globale, l’attractivité, l’utilisabilité, l’utilité et le volume d’usage. Pendant qu’il trace les courbes, le participant explique à voix haute les raisons des changements dessinés et annote ses graphiques.

Templates UX Curve en français (traduction C. Lallemand)

Guidelines for using the UX Curve method (anglais)

Référence : Kujala, S., Roto, V., Väänänen-Vainio-Mattila, K., Karapanos, E., Sinnelä, A. (2011). UX Curve: A method for evaluating long-term user experience. Interacting with Computers, 23, pp. 473-483.

Heuristiques UX de Colombo & Pasch – Evaluation experte basée sur la théorie du flow

UX Mind votre toolkit en FR.006Les 10 heuristiques de Colombo & Pasch (2012) sont dérivées de la théorie du flow, appliquée aux Interactions Homme-Machine. La théorie du flow est une théorie psychologique développée par Mihaly Csikszentmihaly, qui ne concerne pas initialement le domaine des IHM. Le flow est décrit comme une expérience optimale. Selon les auteurs, cette liste d’heuristiques UX peut être utilisée pour la conception ou l’évaluation de systèmes interactifs. Colombo et Pasch revendiquent une approche discount de l’évaluation de l’UX, avec une liste « conçue comme un moyen économe en ressources pour garantir la bonne UX d’un produit quand le temps et l’argent sont rares ».

Lien : https://uxmind.eu/2014/08/14/10-heuristiques-pour-une-ux-optimale-de-colombo-et-pasch/

 

Outil – Questionnaire UX AttrakDiff version française

Voici le document de présentation de la version française de l’AttrakDiff, incluant les items pour la passation et les instructions pour le scoring. Vous trouverez plus d’informations dans l’article consacré au questionnaire dans la section Méthodes UX : https://uxmind.eu/2014/06/23/attrakdiff-evaluation-quantitative-ux/

Le document est également téléchargeable au format pdf.

Evaluer les émotions

L’expérience utilisateur est souvent liée à la notion d’émotion, considérée comme la langue même de l’expérience. Les produits et systèmes évoquent des émotions: ces émotions vont ensuite, selon leur valence (positive ou négative), stimuler des comportements différents. Les émotions positives peuvent ainsi provoquer une intention d’achat, un attachement au produit, une perception positive du confort d’usage et de l’utilisabilité. Il est donc important dans certains cas de pouvoir évaluer les émotions ressenties par les utilisateurs durant leur(s) interaction(s) avec un système interactif.

« Les produits qui évoquent des émotions positives sont achetés plus souvent, utilisés plus souvent, et sont plus plaisants à utiliser. Il est donc indispensable de concevoir des produits qui évoquent des émotions positives » (Desmet, 2012)

Les émotions

Il faut savoir tout d’abord qu’il y a un petit nombre d’émotions de base ou émotions primaires. Elles sont au nombre de six (Ekman, 1982) :

  • 4 émotions négatives : peur, colère, dégoût, et tristesse
  • 2 émotions positives : joie et intérêt/surprise

Les 6 émotions primaires
Les 6 émotions primaires

Les autres émotions sont des états mixtes ou dérivés, c’est-à-dire des mélanges, composés ou combinaisons d’émotions de base. Dans la roue des émotions de Plutchik (1980) le cercle et la palette de couleurs représentent l’idée que les émotions se combinent les unes et autres et s’expriment selon différents niveaux d’intensité.

La roue des émotions de Plutchik (1980)
La roue des émotions de Plutchik (1980)

Les trois composantes de l’évaluation des émotions

L’évaluation des émotions comprend 3 composantes distinctes : une composante physiologique, principalement liée à l’activation des systèmes endocriniens et nerveux autonome; une composante subjective, qui correspond à l’évaluation que le sujet fait de son propre état émotionnel; et une composante expressive et comportementale, qui renvoie notamment aux expressions faciales, postures ou tonalité de la voix.

 

trois composantes mesure émotions

Chacune de ces composantes implique des outils et méthodes d’évaluation différents.

Evaluer la composante physiologique de l’émotion

Les principaux indices physiologiques mesurables de l’émotion sont :

  • la réponse électrodermale (ou “conductance électrodermale”) : activité des glandes sudoripares de la paume de la main
  • la fréquence cardiaque : variations électriques issues de la contraction des muscles du cœur. L’électrocardiogramme rend compte de ces variations.
  • la fréquence respiratoire : nombre de cycles respiratoires durant une minute. Mesurée à l’aide d’une ceinture thoracique.
  • l’électroencéphalographie : activité électrique du cerveau mesurée par des électrodes posées sur le cuir chevelu.

skin conductance 1Dans le cas de la conductance électrodermale, l’activité électrique à la surface de la peau reflète l’activité des glandes sudatoires et du système nerveux autonome. Quand un utilisateur devient frustré, excité, anxieux, stressée… la conductance va connaître des pics. L’avantage de ce type d’évaluation est qu’il est non intrusif et facile à mettre en oeuvre. En revanche, le spectre émotionnel est limité et on ne connait pas la valence de l’émotion (positive ou négative) : on sait juste qu’un pic émotionnel a eu lieu.

Globalement, les mesures physiologiques des émotions ont pour avantage de pouvoir mesurer les émotions de manière non invasive et “objective” (dans le sens où le sujet ne peut pas intervenir intentionnellement sur les manifestations physiologiques de ses émotions). Les inconvénients sont surtout liés à l’interprétation complexe des données : en effet les patterns de réponse physiologiques des émotions sont mal définis et on a souvent uniquement des informations sur l’activation ou la valence mais on ne peut pas distinguer les émotions. Le protocole d’évaluation peut par ailleurs également provoquer des réactions émotionnelles parasites (ex : induire du stress).

Evaluer la composante comportementale de l’émotion

Les expressions faciales sont les manifestations expressives les plus souvent étudiées de l’émotion. Un pattern musculaire spécifique et caractéristique correspond à chaque émotion. Deux techniques principales servent à évaluer les émotions sur base des expressions faciales :

  • le Facial Action Coding System (FACS; Ekman & Friesen, 1978) : consiste à coder la contraction des muscles faciaux sur la base d’unités d’action standardisées (au nombre de 46). Dans le cas de la joie, ce sont les unités d’action 6 (remontée des joues) et 12 (étirement du coin des lèvres) qui sont activées.
  • l’électromyographiemesure la tension musculaire des muscles du visage par enregistrement du courant électrique

FaceReader-3
Facereader 3.0

Pour l’étude de l’UX, plusieurs logiciels intègrent le système de codage FACS et proposent d’identifier automatiquement les expressions faciales de l’utilisateur à partir d’une webcam. Cette technique permet d’identifier un spectre d’émotions de base avec un matériel basique accessible à tous. Cependant, il faut savoir que les logiciels manquent encore un peu de fiabilité et les émotions plus complexes (ex : honte, fierté) sont plus difficiles à analyser.

Evaluer la composante subjective de l’émotion

L’évaluation de la composante subjective de l’émotion est réalisée à l’aide d’instruments d’auto-évaluation : ici c’est l’utilisateur qui va consciemment évaluer ses émotions. On distingue les instruments de :

  • mesure des dimensions émotionnellesfondés sur l’idée que l’émotion peut être appréhendée par 3 dimensions : le plaisir, l’activation et la dominance. Ces dimensions sont indépendantes et bipolaires.
  • mesure des émotions discrètes : on présente au sujet des labels émotionnels, adjectifs ou phrases. Le sujet doit évaluer, à l’aide d’échelles, le degré avec lequel il ressent l’émotion proposée.

Le Self-Assessment Manikin (plus communément appelé SAM) est une échelle non-verbale de mesure des dimensions émotionnelles. Il comprend 3 échelles (plaisir, activation, et dominance – cette dernière étant toutefois souvent abandonnée).

échelle SAM
Les 3 échelles du Self-Assessment Manikin (SAM)

Le fait qu’il soit non-verbal (sous forme de figurines) permet de l’utiliser sur des utilisateurs de toute nationalité (sans besoin de traduction) ou encore avec des enfants.

L‘échelle PANAS (Positive and Negative Affect Scale; Watson, Clark, & Tellegen, 1988est une échelle d’auto-évaluation des affects positifs et négatifs (donc mesure des émotions discrètes).  Elle est constituée de 20 mots décrivant des sentiments et émotions, divisés en 2 échelles : affectivité négative et affectivité positive. Pour chaque mot, le participant décrit sur l’échelle à quel point il ressent ce sentiment.

Enfin, PrEMO (Desmet, Hekkert, & Jacobs, 2000 ; http://www.premotool.com/) est une échelle non-verbale de mesure des émotions discrètes. Contrairement aux échelles SAM ou PANAS qui ont été crées par des psychologues, PrEMO a été créé spécifiquement pour l’étude des émotions liées à l’interaction avec des systèmes et produits. Douze émotions sont représentées par des personnages de cartoon animés avec du son. Les utilisateurs évaluent à quel point ils ressentent chacune des émotions, sur une échelle allant de 0 à 4. Tout comme SAM, PrEMO est indépendant du langage et de la culture.

Les 12 émotions évaluées par PrEMO
Les 12 émotions évaluées par PrEMO

Je consacrerai bientôt des articles détaillés aux échelles PANAS et PrEMO, pour en décrire les items, la passation et le scoring. De même, un prochain article décrira comment utiliser les émotions dans la conception pour l’UX.

References

  • Desmet, P. M. A., Hekkert, P., & Jacobs, J. J. (2000). When a car makes you smile: Development and application of an instrument to measure product emotions. In: S. J. Hoch and R. J. Meyer (Eds.), Advances in Consumer Research, 27, 111-117.
  • PrEMO website : http://www.premotool.com/
  • Ekman, P. (1982). Methods for Measuring Facial Action. In Scherer, K. R. & Ekman, P. (Eds.), Handbook of Methods in Nonverbal Behavior Research (pp. 45-90). New York: Cambridge University Press.
  • Ekman, P. & Friesen, W. V. (1977). Nonverbal Behavior. In Ostwald, P. F. (Ed.), Communication and Social Interaction (pp. 37-46). New York: Grune & Stratton.
  • Plutchik, R. (1980). Emotion: A Psychoevolutionary Synthesis.
  • Roue des émotions de Plutchik : « Plutchik-wheel fr » par Machine Elf 1735, Jean Marcottel; https://commons.wikimedia.org/wiki/File:Plutchik-wheel_fr.svg
  • Watson, D., Clark, L. A., & Tellegen, A. (1988).Development and Validation of Brief Measures of Positive and Negative Affect: The PANAS Scales. Journal of Personality and Social Psychology, 54 (6), 1063-1070.

Les 10 heuristiques UX d’Arhippainen (2013)

Dans la lignée des heuristiques d’utilisabilité développées dans les années 1990, plusieurs auteurs ont proposé récemment des heuristiques UX. Dans un précédent article, je vous ai parlé des 10 heuristiques pour une UX optimale de Colombo & Pasch (2012), basées sur la notion de flow (ou expérience optimale). Nous allons découvrir aujourd’hui des heuristiques UX qui se veulent plus génériques, développées par Leena Arhippainen, chercheuse en UX à l’Université de Oulu en Finlande.

Evaluation heuristique et UX

Dans les années 1990’s, Jakob Nielsen formalisait ses 10 heuristiques d’utilisabilité. Ces dernières peuvent être utilisées pour réaliser une évaluation heuristique de l’utilisabilité d’un système ou d’un produit. Pour cela, un petit groupe d’évaluateurs examine l’interface et juge de sa compliance avec ces principes d’utilisabilité. Suivant les évolutions du champ des IHM, plusieurs ensembles d’heuristiques ont été développés pour évaluer des dimensions spécifiques de l’interaction allant au-delà de l’utilisabilité.

Concernant l’expérience utilisateur, peu d’heuristiques UX existent à l’heure actuelle. La raison est sûrement à rechercher dans la subjectivité et la complexité de l’UX, qui peine à se résumer en 10 ou 15 principes de base à respecter ! En ce qui concerne les heuristiques UX « génériques », au niveau de la recherche seuls Arhippainen (2013) et Colombo & Pasch (2012) se sont essayés à l’exercice. Dans les deux cas, les heuristiques ont été publiées sous forme d’article court dans des conférences et n’ont pas fait l’objet d’études de validation : il faut donc rester prudent sur la validité de ces outils.

Alors même que l’utilisabilité est mieux définie et moins complexe à évaluer que l’UX, de nombreuses limites de l’évaluation heuristique de l’utilisabilité ont été soulignées. Ainsi, les résultats souffrent de variabilité liée aux experts qui réalisent l’évaluation (différents évaluateurs vont trouver différents problèmes pour la même interface) ou de la surestimation fréquente du nombre de problèmes réels, appelés « fausses alertes ». L’évaluation heuristique a été vivement critiquée pour sa faible validité et sa fiabilité limitée, il est donc recommandé de l’utiliser en combinaison avec d’autres méthodes centrées-utilisateur, tels que les tests utilisateurs.

Pour l’évaluation de l’UX, la problématique est encore plus critique. En effet, les challenges liés à l’évaluation de l’UX sont multiples et il n’est pas certain qu’une méthode d’évaluation experte soit capable d’y faire face. Un expert peut-il évaluer quelque chose d’aussi subjectif qu’une expérience ? Adopter le point de vue de l’utilisateur et mettre de côté son propre ressenti lors de l’évaluation ? L’UX est également dynamique et contextuelle (voir l’article UXMind sur la temporalité de l’UX), il est donc nécessaire que l’évaluation de l’UX prenne en compte ces facteurs contextuels et temporels.

Les 10 heuristiques UX d’Arhippainen

L’article d’origine est en anglais (sous le titre Ten User Experience Heuristics), je vous propose donc une traduction libre des heuristiques. L’article d’Arhippainen comprend une très courte introduction, suivie des 10 heuristiques, d’une brève conclusion et biographie de l’auteur ainsi que de 2 templates pour l’évaluation de l’UX à l’aide des heuristiques. L’article a été présenté sous forme de tutoriel lors de la conférence MUM’2013 (12th International Conference on Mobile and Ubiquitous Multimedia) en Suède. Ce n’est donc pas un article rigoureux de recherche, et la rigueur n’est d’ailleurs pas son fort !

L’article est très court et lacunaire et il est regrettable notamment que l’auteur ne donne aucune explication sur la démarche de construction des heuristiques. On ne sait pas d’où elles viennent, comment elles ont été rassemblées ni sélectionnées et on ne sait pas pourquoi on tombe sur le joli nombre de 10 (mise à part que cela sonne bien et que cela nous rappelle Nielsen !). Quand on s’y connait en recherche sur l’UX, on y reconnaît rapidement un méli-mélo dérivé de théories ou principes UX génériques, mais mon impression générale est que ces heuristiques sont un peu bâclées. Leur contenu n’est pas faux, et les heuristiques UX peuvent être un bon reminder lors de la conception ou de l’évaluation d’un système, mais leur formalisation manque de rigueur et de guidance.

Je vous laisse en juger par vous-même et me donner vos impressions en commentaires ! Voici les 10 heuristiques UX et leur explication :

1. Garantir l’utilisabilité

Les utilisateurs font l’expérience de l’utilisabilité. Il est important de veiller à ce que le produit ou service conçu soit utilisable.

2. Créer un produit dont l’utilité correspond aux valeurs de l’utilisateur

L’utilité d’un produit ou d’un service affecte l’UX. Une bonne utilité perçue permet de « pardonner » certains manquements au niveau de l’utilisabilité ou d’autres qualités du produit. L’utilité est étroitement liée aux valeurs de l’utilisateur : il compare l’utilité du produit à ses valeurs au moment où il décide de l’utiliser.

3. Dépasser les attentes de l’utilisateur

Souvent, les attentes de l’utilisateur sont négatives, et ce, sans aucune raison. Les attentes sont formulées via les expériences antérieures ou des rumeurs sur le produit, c’est pourquoi elles n’ont parfois rien à voir avec le produit lui-même. Le produit doit être en mesure d’attirer l’attention de l’utilisateur d’une manière positive et d’inciter l’utilisateur à utiliser le produit. Puis, il doit dépasser ses attentes par sa facilité d’usage, le plaisir procuré, son utilité, ou toute autre qualité potentiellement recherchée.

4. Respecter l’utilisateur

Connaître les groupes d’utilisateurs cibles. Le profil d’un utilisateur a un impact fort sur la façon dont il va percevoir le produit ou le système. En complément des besoins et activités des utilisateurs, les concepteurs doivent comprendre les valeurs de l’utilisateur, ses expériences antérieures, son profil, ses compétences, ses limites, etc. Plus le service correspond à l’univers de l’utilisateur, plus les expériences vécues seront positives !

5. Concevoir le produit ou le service pour s’adapter au contexte prévu

Le service ou produit est toujours utilisé dans un contexte particulier : l’utilisateur utilise le produit dans un environnement physique particulier, seul ou avec d’autres personnes, selon des habitudes culturelles ou un mode de vie particulier, et à un moment donné. Tous ces facteurs contextuels ont un impact sur l’expérience utilisateur.

6. Fournir plusieurs façons d’interagir, laisser le choix à l’utilisateur

Les gens sont différents et ont des préférences différentes quant à la manière d’interagir avec des produits ou des services. Il est important de prévoir plusieurs modes d’interaction. Fournir des commandes manuelles, adaptatives, et quand c’est possible, des commandes tactiles, gestuelles, ou vocales.

7. Respecter la vie privée et la sécurité de l’utilisateur

Nous vivons dans un monde digital et axé sur la technologie. Même si les mentalités ont évolué et sont plus ouvertes aux solutions technologiques, les gens sont toujours préoccupés par les questions de confidentialité et de sécurité. L’expérience utilisateur est dépendante de l’incertitude sur la fiabilité du service au niveau de la confidentialité et de la sécurité.

8. Soutenir les activités de l’utilisateur, ne pas imposer

Tous les services devraient être présentés selon une perspective de support aux activités de l’utilisateur : par exemple, comment ce service me soutient dans mes actions et ma vie quotidienne. Le service n’est pas autorisé à forcer l’utilisateur. Forcer l’utilisateur aura un impact négatif sur l’UX.

9. Opter pour un design visuel parfait

Du point de vue de l’UX, les aspects visuels ont deux intentions. La première est que le design visuel peut améliorer l’utilisabilité en rendant l’interface utilisateur plus compréhensible, cohérente et guidante. La deuxième est de rendre l’interface utilisateur esthétiquement agréable par la bonne conception des aspects visuels. De plus, les choix effectués au niveau du design visuel, par exemple, l’utilisation des couleurs, peuvent avoir un impact sur l’UX à travers les valeurs véhiculées (comme la santé, la remise en forme, la nature, la beauté, etc).

10. Offrir un cadeau surprise

Cela signifie que les gens en veulent plus. L’utilisabilité n’est pas suffisante. Le téléphone façon « couteau suisse » n’est pas suffisant. Les utilisateurs ont besoin de ce petit plus qui les rendra heureux : dépassez leurs attentes, augmentez et améliorer les expériences utilisateurs. L’étendue de l’expérience ne doit pas diminuer. L’expérience utilisateur est le 7e sens que les gens utilisent pour ressentir les technologies – pour ressentir la vie au sein des technologies.

Avantages des heuristiques UX

  • Méthode discount en temps et en argent
  • Méthode basée sur des théories de l’UX (même si on regrette qu’elles ne soient pas explicitement mentionnées)
  • Les heuristiques peuvent être utilisées à la fois comme support de conception et d’évaluation

Limites

  • Non exhaustivité des dimensions couvertes par ces heuristiques
  • Pas d’information sur leur développement ni d’illustrations par des exemples concrets
  • Les heuristiques sont formulées de manière plutôt vague, elles ne donnent pas de recommandations précises
  • Les deux templates d’évaluation fournis sont basiques et n’offrent aucune guidance sur la manière de réaliser l’évaluation ou de présenter les données

Conseils pratiques

  • Dans la mesure du possible, toujours impliquer les utilisateurs dans la conception et l’évaluation ! Dans ce cas, les heuristiques peuvent être utilisées comme support de conception ou comme une étape d’évaluation préliminaire avant des tests utilisateurs.
  • Se servir des heuristiques uniquement comme d’un support d’évaluation, tout en reconnaissant qu’elles ne sont pas exhaustives
  • Préférer une évaluation experte (basée sur plusieurs ensemble d’heuristiques et sur votre expertise) à une évaluation heuristique à proprement parler
  • Combiner ces heuristiques UX avec d’autres heuristiques, critères ou guidelines
  • Utiliser des personas pour adopter le point de vue de l’utilisateur final lors de l’évaluation

Références

Sentence Completion : une méthode UX vraiment ______ !

La complétion de phrase ou sentence completion est une méthode qualitative d’évaluation de l’UX et/ou d’exploration des besoins et valeurs des utilisateurs. Après avoir utilisé un système ou un produit, on donne au participant des débuts de phrases, qu’il doit compléter. Ces débuts de phrases doivent aider l’utilisateur à penser aux aspects expérientiels liés à l’usage du système. On lui proposera des phrases telles que : “Quand j’utilise ce produit, je me sens _________” ou encore “L’apparence du produit est _________“. La méthode combine donc questionnaire et technique projective.

Cette méthode produit des données qualitatives semi-structurées sur le point de vue des utilisateurs et leur ressenti. Les résultats sont moins fastidieux à analyser que ceux obtenus à partir d’entretiens. Ils sont évidemment plus longs à analyser que les résultats d’un questionnaire UX tel que l’AttrakDiff, mais ils permettent d’obtenir une information plus détaillée, notamment sur les émotions négatives. La complétion de phrase n’est pas un instrument de mesure strict mais plutôt une technique pragmatique pour récoler du feedback utilisateur durant le développement d’un produit.

Développement de la méthode

La méthode de la complétion de phrases a été développée par Sari Kujala et son équipe des Universités de Aalto et de Tampere en Finlande. Elle permet de dépasser les limites de certaines méthodes d’évaluation de l’UX ou de les compléter.

Une évaluation indirecte (projective) de l’UX qui dépasse les biais du questionnement direct : L’évaluation de l’UX est un challenge car les utilisateurs ont du mal à exprimer leur expérience quand on leur demande de le faire. Ainsi, le biais de désirabilité sociale, qui veut que chacun souhaite montrer une image positive de soi, peut fausser les réponses à un entretien. Le questionnement direct apporte souvent des informations générales sur les attitudes ou réactions des utilisateurs mais ne parvient pas toujours à détecter les raisons profondes de ces attitudes. Les méthodes projectives comme la complétion de phrases sont une manière indirecte d’évaluation de l’état émotionnel et du fonctionnement mental d’un sujet. Dans les méthodes projectives (voir aussi la méthode UX AXE), un stimulus au sens généralement ambigu est proposé au participant. Le stimulus ayant peu de sens en lui-même, on fait l’hypothèse que les participants l’interprètent selon leur propre vécu / ressenti / point de vue.

Une évaluation qualitative et ouverte qui dépasse la rigidité des évaluations quantitatives : Les questionnaires d’évaluation de l’UX tels que l’AttrakDiff ont pour inconvénient de proposer aux utilisateurs une évaluation basée sur des propriétés (items) prédéfinies. Or, comme l’UX est subjective et complexe, il est difficile de déterminer si les utilisateurs trouvent les items de l’AttrakDiff essentiels et significatifs pour refléter leur propre expérience. De même, les résultats quantitatifs ne permettent pas de connaître les raisons d’une expérience évaluée comme positive ou négative : ils ne renseignent donc pas les concepteurs sur la manière d’améliorer le système. Pour palier à ces manques, des méthodes d’évaluation plus qualitatives et plus ouvertes comme la complétion de phrases sont parfois nécessaires.

Format

Cette méthode se présente sous forme de phrases à compléter par les participants. On donne au participant des débuts de phrase tels que “La chose la plus importante pour moi est __________” et on lui demande de les compléter spontanément.

Il n’y a pas de nombre prédéfini de phrases et c’est donc à chacun de décider du nombre de phrases qu’il souhaite inclure dans son étude. Ce choix va se faire en fonction du nombre de dimensions à explorer, du temps et des ressources disponibles ainsi que des autres méthodes qui seront déployées dans une même session. A titre indicatif, les concepteurs ont utilisé de 12 à 24 phrases dans les cas d’études qu’ils ont réalisé lors de la création de cette technique.

De même, le contenu des phrases est également libre et adaptable. Il est possible d’utiliser (donc de traduire) les phrases des concepteurs pour servir de base à l’étude. On peut également créer ses propres phrases en faisant toutefois attention à la qualité de leur formulation. Globalement, il faut éviter les débuts de phrases en un seul mot ou au contraire trop longs car ces derniers ne stimulent pas assez les réponses des participants. On peut proposer des phrases très génériques sur l’expérience du produit (“quand j’utilise ce produit, je me sens ______”) ou être plus précis en ajoutant un mot clé relatif si on veut investiguer une dimension particulière (“L’apparence du produit est _______”). Il est nécessaire de développer de nouvelles phrases de manière itérative, en les prétestant sur un petit échantillon avant de les utiliser pour une étude réelle.

Exemple de phrases à compléter – Etude sur un smartphone (phrases extraites et traduites sur base de Kujala et al., 2013)

  1. Utiliser mon smartphone est __________
  2. Les fonctionnalités de mon smartphone sont __________
  3. Mon smartphone est le meilleur pour ___________
  4. Mon smartphone n’est pas adapté pour ___________
  5. Je pense que l’apparence de mon smartphone est __________
  6. Mon smartphone a l’air __________
  7. Quand j’utilise mon smartphone, je me sens ___________
  8. Je suis content de mon smartphone parce que ___________
  9. Le problème avec mon smartphone c’est __________
  10. C’est irritant que mon smartphone ___________
  11. Si d’autres personnes ont fait attention à mon smartphone, elles __________
  12. Le propriétaire d’un smartphone est généralement __________
  13. Dans ma culture, mon smartphone __________
  14. Par rapport aux autres smartphones, mon smartphone est __________

Passation

On demande aux utilisateurs de répondre rapidement et sans réfléchir de trop, en précisant qu’il n’y a pas de bonne ou mauvaise réponse. On précise également qu’il n’y a pas de catégories de réponses attendues, l’utilisateur est libre de compléter chaque phrase comme il le souhaite.

Exemple de consigne : Merci de compléter les phrases ci-dessous afin qu’elles décrivent votre expérience avec le produit A. Il n’y a pas de bonne ou mauvaise réponse, essayez plutôt de répondre spontanément et sans trop réfléchir. Vous pouvez laisser des phrases sans réponse si vous avez l’impression qu’elles ne correspondent pas bien à votre situation. 

Il est possible de faire des passations directes ou à distance, online. On peut utiliser la méthode en complément d’autres évaluations de l’UX, notamment pendant un test utilisateur ou en complément du questionnaire AttrakDiff. Niveau temporalité, la méthode peut être utilisée à tous les stades de la conception. Elle peut servir pour évaluer des concepts, des prototypes ou des produits finis. Utilisée sur des concepts, elle peut alors évaluer l’UX anticipée. Sur des prototypes ou produits plus aboutis, elle va généralement évaluer l’UX épisodique ou cumulative (voir à ce sujet l’article sur la temporalité de l’UX).

Enfin, les concepteurs de cette méthode ont montré que la qualité et la richesse des réponses produites sont variables. Ainsi, quand les utilisateurs décrivent un produit qu’il ont possédé ou utilisé pendant une longue période, ils vont produire des réponses plus riches que celles produites après un court test d’utilisabilité. De même, les réponses sont plus détaillées lorsque les phrases à compléter sont dans la langue natale des participants.

Analyse des résultats

Les concepteurs n’ont pas développé de cadre d’analyse ou de catégorisation car la technique de sentence completion n’a pas été développée pour être un outil de diagnostic quantitatif. Les résultats (sous forme de phrases complétées) peuvent : (1) être utilisés directement comme source d’information ou d’inspiration ou (2) être catégorisés en fonction de leur fréquence afin de donner des données quantitatives.

Le plus facile est de grouper les données par dimension étudiée et par valence (c’est à dire négatif vs. positif). Vous pouvez ensuite regrouper ensemble les réponses similaires et nommer chaque catégorie par la réponse la plus fréquente qu’elle contient. Il est possible de représenter les mots sur un diagramme pour distinguer visuellement les idées négatives et positives.

Avantages

  • Les participants peuvent s’exprimer librement. Les données récoltées sont donc plus fiables que pour les questionnaires UX traditionnels (qui ne proposent pas toujours les options de réponse appropriées pour chaque participant)
  • Méthode facile à appliquer et plutôt fun pour les participants et les experts qui l’administrent
  • Les données sont recueillies sous forme écrite (en direct ou en ligne)
  • Peut être utilisée pour évaluer les motivations ou les attitudes
  • Moins de biais culturels que les questionnaires standardisés (qui ont par définition des items prédéfinis)
  • Comparé à l’AttrakDiff, cette technique permet un meilleur recueil du feedback négatif des utilisateurs, nécessaire à l’amélioration du produit

Limites

  • Analyse de données qualitatives qui prend du temps car il faut catégoriser et synthétiser les résultats
  • Les phrases initiales sont longues à créer. Ensuite on peut réutiliser ou adapter les phrases à d’autres contextes ou produits
  • Il faut créer de nouvelles phrases ou les réadapter en fonction du type de produit, du contexte ou du type de facteurs que l’on étudie
  • Comme les utilisateurs analysent leur UX en se basant sur leurs souvenirs d’expériences momentanées, il se peut qu’ils ne se souviennent pas des détails : la technique de la complétion de phrases ne se prête pas bien aux analyses détaillées

Conseils pratiques

  • Insister sur la spontanéité dans la réponse des utilisateurs
  • Pour créer de nouvelles phrases, veiller à la formulation et prétester les phrases sur des échantillons tests
  • Utiliser plusieurs phrases pour évaluer un même concept ou aspect de l’expérience, car cela renforce la validité des réponses
  • Faire les passations dans la langue natale des utilisateurs, car il a été montré que les réponses sont ainsi plus claires et plus détaillées
  • Si vous souhaitez évaluer l’image du produit, demandez aux participants de décrire les caractéristiques de l’utilisateur typique

Sources

 

Allez, un petit test de cette technique 🙂 Complétez ces trois phrases dans les commentaires de l’article : 

  1. “Le blog UX Mind est ___________”
  2. “Je suis content du blog UX Mind parce que __________”
  3. “Le problème avec le blog UX Mind c’est __________”

Journaux de bord UX : une méthode d’évaluation longitudinale

J’insiste souvent dans mes présentations sur la dynamique temporelle de l’UX, qui est trop souvent négligée. Or, prendre en compte cette temporalité de l’UX nécessite des méthodes d’évaluation et de conception adaptées. Les journaux de bord UX permettent cette évaluation de l’UX à travers le temps.

Certaines parts de ce post sont traduites de mon article “Dear Diary: Using Diaries to Study User Experience“, que vous trouverez dans la section Ressources.

Les méthodes d’évaluation longitudinales

Les méthodes d’évaluation dites longitudinales permettent d’évaluer l’UX à travers le temps, de la manière la plus riche possible. Elles consistent en une évaluation répétée de l’UX auprès même groupe d’utilisateurs sur une longue période de temps. Elles permettent ainsi d’évaluer les changements de l’UX à travers le temps. Selon la méthode utilisée, elles permettent de recueillir des données qualitatives et/ou quantitatives. Elles ont pour avantage de donner des résultats très riches et précis. La contrepartie est que les méthodes longitudinales demandent un important investissement de temps et de ressources, c’est pourquoi on leur préfère souvent des méthodes moins contraignantes (telles que les méthodes retrospectives). De même, il faut veiller à garder la motivation des participants élevée durant la période de l’étude.

Les journaux de bord UX

Tenir un journal n’est pas qu’un passe-temps d’adolescents essayant de donner un sens à la vie et à l’amour. Dans le domaine des Interactions Homme-Machine (IHM), les journaux de bord sont une méthode qualitative de collecte de données sur ce que les utilisateurs ont fait ou ont ressenti. Tout comme un journal de voyage contient des descriptions des expériences du voyageur, un journal UX va recueillir des descriptions des expériences d’un utilisateur avec un produit ou un système.

Sur quoi un journal de bord UX peut-il nous renseigner ? Selon le type de journal de bord que vous concevez, vous pourrez recueillir de l’information sur l’impression globale d’un système, la fréquence d’usage de fonctionnalités, l’acceptation technologique, les émotions associées à la réalisation d’une tâche, ou encore la facilité d’apprentissage d’une application. Bien sûr, vous pourriez aussi recueillir ce type d’information avec un questionnaire, un entretien ou un test utilisateurs. Mais seules les méthodes longitudinales vous donneront accès à une information temporelle collectée dans un contexte d’interaction naturel.

Avantages

Etudier la dynamique temporelle de l’UX : avec un journal de bord vous pouvez collecter des données sur les différentes périodes de l’UX. Ainsi, la première saisie du journal peut-être remplie avant l’usage pour évaluer “l’UX anticipée” (celle que l’on imagine). Puis, l’utilisateur va remplir chaque jour le journal, donnant ainsi des informations sur “l’UX momentanée” (celle que l’on vit). A la fin de la période d’étude, la dernière évaluation permet d’évaluer “l’UX épisodique” (celle dont on se souvient), voire “l’UX cumulée” (dont on se souvient après de multiples périodes d’usage).

mobile UX contexte
Evaluation en contexte naturel

Collecter des évènements et expériences en contexte naturel : le contexte d’usage est l’un des facteurs impactant l’UX d’un système ou d’un produit. Ainsi, lors d’un test utilisateur ou d’un entretien, la présence de l’expérimentateur peut biaiser les résultats. Qui n’a jamais vu un utilisateur évaluer un produit comme très positif alors qu’il a échoué à réaliser la plupart des scénarios de test ? En tant que professionnels, nous voulons capturer l’UX “réelle” et non celle qui est influencée par un environnement contrôlé. La diffusion des technologies mobiles accentue encore ce phénomène. C’est là l’un des avantages des journaux de bord car ils se focalisent sur la description d’évènements et expériences dans leur contexte naturel.

Déterminer les antécédents, corrélats et conséquences des expériences quotidiennes : comme nous l’avons déjà souligné, il y a plusieurs périodes d’UX, qui s’influencent mutuellement. Ainsi, l’UX momentanée va être influencée par l’UX anticipée (qui crée des attentes à satisfaire). Puis, l’UX momentanée va être “déformée” par le filtre des processus cognitifs (notamment la mémoire) pour devenir l’UX épisodique et cumulative. Les attentes de l’utilisateur, son humeur ou encore le contexte d’usage sont autant de dimensions qui peuvent influencer l’UX au quotidien. Un journal de bord capture ces influences, en éclairant sur la façon dont l’UX s’est formée et à évoluer à un moment donné. Il vous permettra ainsi de détecter si la mauvaise humeur de l’utilisateur ou la critique de la marque à la télé ont impacté son évaluation de l’interface. Vous pourrez également découvrir que le jeu que vous évaluez produit des émotions bien plus positives lorsque l’utilisateur interagit avec des amis, alors même que cette fonction avait été négligée dans la conception.

Limites

Rien n’est parfait ! Comme pour toute méthode, vous devrez considérer les avantages et inconvénients des journaux de bord UX avant de vous lancer dans une telle étude. Les principaux inconvénients de cette méthode sont le temps et le coût liés :

  • au recrutement des participants : la qualité des résultats dépend beaucoup des participants, puisque le journal de bord est limité à la capacité d’expression des utilisateurs. C’est particulièrement vrai dans les études comprenant de nombreuses questions ouvertes. Vous devrez atteindre un niveau d’engagement élevé de vos participants pour obtenir des données suffisantes et fiables.
  • aux sessions de briefing : une étude par journal de bord nécessite souvent des séances de briefing détaillé pour s’assurer que les participants comprennent bien ce qui doit être rapporté, comment et quand.
  • à l’analyse des données : analyser des données longitudinales prend du temps, et encore plus dans le cas d’un journal de bord en version papier.

Concevoir un journal de bord UX


Choisir un protocole et un rythme d’évaluation
: Il existe 3 types de protocoles pour un journal de bord, basés sur la façon dont on sollicite l’utilisateur.

  • par intervalle : les utilisateurs doivent évaluer leur expérience à des intervalles réguliers et prédéterminés (par exemple toutes les 2h ou tous les 2 jours). Cette option est répandue mais les utilisateurs peuvent oublier de compléter le journal, ce qui crée des données manquantes.
  • par signal : on utilise ici un appareil qui signale aux utilisateurs à quel moment il doivent évaluer leur UX en complétant une entrée de journal. Ici, pas de souci d’oubli, mais un coté intrusif de la méthode dans le quotidien.
  • par évènement : les participants doivent évaluer leur UX à chaque fois qu’un évènement particulier survient. Ce protocole est particulièrement utile si vous êtes intéressé par l’analyse d’une expérience induite par certains évènements, tels qu’une erreur système ou une notification.

Le rythme des évaluations doit être déterminé en fonction des besoins de votre recherche. Ne soyez pas trop exigeant sinon votre journal UX deviendra un fardeau pour vos utilisateurs : 2 ou 3 entrées par jour au maximum sur une durée généralement de 2 semaines (si le journal est à remplir chaque jour, ou plus si les entrées sont plus espacées).

Impliquer vos participants : L’un des principaux défis d’une étude par journal de bord est le maintien de l’engagement des participants à un niveau élevé pour garantir la complétion du journal. Vous devez vous assurer que les participants comprennent le type de description et le niveau de détail requis. Au cours de l’étude, vous pouvez rappeler aux participants l’importance de compléter le journal. Une récompense en cash ou un cadeau (ex : possibilité de garder le produit évalué) peuvent être utiles. Attention cependant à ne pas baser la récompense sur la quantité de données recueillies au risque d’être submergé de données non pertinentes !

paper-vs-ipad
Version papier ou électronique ?

Version papier ou version électronique ? Parce que les études UX sont souvent liés à l’utilisation de systèmes interactifs, le choix d’un journal électronique est souvent judicieux. Il simplifie l’analyse des données et permet de combiner des entrées de journal et des logs (ex. date, heure, tâche en cours). Les journaux électroniques permettent aussi plus de créativité : imaginez une étude par messagerie vocale, textos, vidéos ou photos ! Toutefois, essayez d’adapter la méthode aux utilisateurs cibles. Si vous menez une étude avec des personnes âgées, une version papier sera sûrement plus appropriée pour mettre vos participants à l’aise.

Structure du journal : les journaux peuvent avoir un format ouvert (les utilisateurs rapportent leurs expériences avec leurs propres mots) ou au contraire très structuré (avec des questions fermées ou à choix multiples). Pour faire votre choix : avez-vous besoin d’informations précises ou souhaitez-vous encourager une réflexion libre ? On adopte souvent une approche mixte pour combiner données qualitatives et quantitatives. N’oubliez pas d’insérer dans votre journal des consignes claires et de souligner l’importance de rapporter les évènements aussitôt qu’ils surviennent.

data-analysis-340x260
Collecter et analyser les données

Collecter et analyser les données : une fois votre journal conçu, n’oubliez pas de le pré-tester pour être sûr de sa qualité avant de lancer votre étude ! Comme l’engagement des gens diminue rapidement, les participants gardent le journal 2 semaines maximum. Si le journal est électronique, vous pouvez surveiller sa complétion au fur et à mesure. N’hésitez pas à communiquer avec les participants au cours de l’étude pour s’assurer que tout va bien.

A la fin de l’étude, réalisez des entretiens de debriefing avec les participants. C’est l’occasion de leur demander d’expliquer certaines de leurs évaluations. Une bonne compréhension des réponses qualitatives est nécessaire pour interpréter correctement les données. L’analyse des données dépend de la façon dont le journal est structuré. Les données quantitatives peuvent être analysées en utilisant un logiciel d’analyse statistique. Traiter les données qualitatives est plus difficile, mais cela en vaut la peine car cela vous fournira des informations précieuses sur l’expérience subjective !

Workshop Evaluation UX – Journée Thématique FLUPA 2014

Vendredi 20 juin, j’ai animé un atelier Evaluation UX lors de la Journée Thématique FLUPA spéciale Ateliers.

Au programme, un panorama rapide des méthodes UX, un focus sur le questionnaire AttrakDiff, sur les méthodes d’évaluation rétrospectives de l’UX à long terme et enfin un débat sur l’évaluation experte de l’UX. La journée a été un grand succès et j’ai été ravie de voir que les professionnels présents ont appris des choses nouvelles, qu’ils pourront mettre à profit rapidement dans leurs projets !

Résumé de l’Atelier

L’expérience utilisateur (UX) est devenu un facteur concurrentiel crucial sur le marché des produits et systèmes interactifs. Améliorer l’expérience utilisateur durant le cycle de développement d’un produit nécessite notamment de savoir l’évaluer. Or, les méthodes traditionnelles d’évaluation de l’utilisabilité ne sont pas adaptées à l’évaluation de l’UX. Parfois méconnues des professionnels en IHM, plusieurs méthodes existent pour évaluer l’UX.

Dans cet atelier, je vous proposerai tout d’abord une vue globale des méthodes d’évaluation de l’UX, catégorisées en fonction :
a) du type de méthode (études de terrain, recherches en laboratoire, études online ou enfin outils auto-administrés,
b) de la phase de développement du produit dans laquelle chaque méthode intervient (phase conceptuelle, prototypes préliminaires, prototypes fonctionnels ou produits sur le marché),
c) de la période d’expérience évaluée (avant, durant ou après l’usage),
d) de la principale source d’information (experts, utilisateurs, groupes d’utilisateurs).

Nous nous centrerons ensuite sur trois outils principaux :

1) une échelle d’évaluation quantitative de l’UX, basée sur un modèle scientifique. Simple et rapide à utiliser, vous découvrirez de manière pragmatique comment l’utiliser pour l’évaluation des systèmes interactifs.

2) des outils d’évaluation retrospective de l’UX à long terme. Généralement présentés sous forme de courbe, vous apprendrez à faire dessiner à vos utilisateurs les principaux changements de leur UX à travers le temps

3) un débat sur l’évaluation experte de l’UX grâce à des heuristiques ou outils plus génériques

Contenu de la présentation sur Slideshare