Tag: user experience

10 heuristiques pour une UX optimale de Colombo et Pasch

Posted in Méthodes UX, UXTagged , , , , , , , , , , , 6 Comments

Parmi les méthodes d’évaluation en IHM, les méthodes d’inspection consistent en l’inspection de l’interface par un ou plusieurs évaluateurs. Développées dans les 1990’s par Jakob Nielsen en tant que méthodes de « discount usability », les méthodes d’inspection sont décrites comme peu coûteuses, rapides et simple à mettre en œuvre. L’évaluation heuristique est l’une des méthodes d’inspection les plus connues et utilisées depuis plus de 30 ans. Pour réaliser une évaluation heuristique, un petit groupe d’évaluateurs examine l’interface et juge de sa compliance avec des principes d’utilisabilité connus, appelés les « heuristiques d’utilisabilité ». Les heuristiques d’utilisabilité les plus connues sont les 10 heuristiques de Jakob Nielsen au niveau international et les critères ergonomiques de Bastien & Scapin au niveau francophone.

De nombreuses limites de l’évaluation heuristique ont été soulignées. Ainsi, les résultats souffrent de variabilité liée aux experts qui réalisent l’évaluation (différents évaluateurs vont trouver différents problèmes pour la même interface) ou de la surestimation fréquente du nombre de problèmes réels, appelés « fausses alertes ». L’évaluation heuristique a été vivement critiquée pour sa faible validité et sa fiabilité limitée, il est donc recommandé de l’utiliser en combinaison avec d’autres méthodes centrées-utilisateur, tels que les tests utilisateurs.

Il est intéressant de noter que des recherches ont montré qu’un nombre considérable de problèmes identifiés par un évaluateur expert sont en fait basés sur son expertise et son jugement personnel plutôt que sur l’ensemble d’heuristiques utilisés pour évaluer le système. Le terme d’évaluation « experte » serait donc à préférer à celui d’évaluation « heuristique ». L’évaluation experte désigne une évaluation moins formelle où un expert base son rapport non uniquement sur des heuristiques, mais plutôt sur sa connaissance des tâches utilisateur, de guidelines et standards en IHM et sur son expérience personnelle.

L’évaluation heuristique au-delà de l’utilisabilité

Suivant les évolutions du champ des IHM, plusieurs ensembles d’heuristiques ont été développés pour évaluer des dimensions spécifiques de l’interaction allant au-delà de l’utilisabilité. Nous pouvons mentionner des heuristiques pour les interactions humain-environnement dans les mondes virtuels (Bach, 2004), des heuristiques de l’expérience d’apprentissage ou de l’activité sociale (Malinen & Ojala, 2011) ou encore des heuristiques spécifiques aux jeux vidéos (Korhonen & Koivisto, 2006).

Concernant l’expérience utilisateur, peu d’heuristiques UX existent à l’heure actuelle. La raison est sûrement à rechercher dans la subjectivité et la complexité de l’UX, qui peine à se résumer en 10 ou 15 principes de base à respecter ! Prenons l’exemple des heuristiques UX de Väänänen-Vainio-Mattila & Wäljas développées en 2009 pour évaluer les services Web 2.0.  Leur set initial était composé de 7 heuristiques avec dès le départ une seule heuristique liée aux aspects subjectifs ou hédoniques de l’UX. Cette unique heuristique ayant été supprimée dans la version révisée de leur set, le champ de l’évaluation via cet outil reste ainsi restreint à des problèmes principalement pragmatiques, et s’éloigne donc de la nature de l’UX.

En ce qui concerne les heuristiques UX « génériques », au niveau de la recherche seuls Arhippainen (2013) et Colombo & Pasch (2012) se sont essayés à l’exercice. Dans les deux cas, les heuristiques ont été publiées sous forme d’article court dans des conférences et n’ont pas fait l’objet d’études de validation : il faut donc rester prudent sur la validité de ces outils. Colombo & Pasch soulignent dans leur article les limites de la méthode d’évaluation heuristique, mais ils justifient leur approche par les avantages apportés par cette méthode discount dans des contextes où les ressources ne permettent pas d’impliquer les utilisateurs.

Notre motivation à proposer des heuristiques UX vient de notre expérience. Nous avons tous les deux travaillé dans de petites sociétés de design et avons souvent vu à quel point le prérequis d’impliquer des utilisateurs était négligé, et ce pour un certain nombre de raisons, souvent par contrainte de temps ou de budget. C’est pourquoi nous pensons que la revendication de “discount usability” a tout de même du mérite : bien que l’évaluation heuristique ne soit pas la meilleure méthodologie d’utilisabilité à utiliser, c’est toujours mieux que de n’en utiliser aucune. Notre liste d’heuristiques est conçue comme un moyen économe en ressources pour garantir la bonne UX d’un produit quand le temps et l’argent sont rares. – Colombo & Pasch (2012)

A noter qu’à part l’évaluation heuristique, les méthodes d’évaluation de l’UX basées uniquement sur un savoir expert sont rares. Sur les 96 méthodes d’évaluation UX collectées par Vermeeren et al (http://allaboutux.com), seules 7 méthodes sont des méthodes purement « expertes ».

Les 10 heuristiques pour une UX optimale de Colombo & Pasch

Les 10 heuristiques de Colombo & Pasch (2012) (Université de la Suisse Italienne, Lugano) sont dérivées de la théorie du flow, appliquée aux Interactions Homme-Machine. La théorie du flow est une théorie psychologique développée par Mihaly Csikszentmihaly, qui ne concerne pas initialement le domaine des IHM. Le flow est décrit comme une expérience optimale.

L’article d’origine est en anglais (sous le titre Ten Heuristics for an optimal User Experience), je vous propose donc une traduction libre des heuristiques. Selon les auteurs, cette liste d’heuristiques UX peut être utilisée pour la conception ou l’évaluation de systèmes interactifs. Les 9 premières heuristiques renvoient directement aux 9 composantes du flow, tandis que la dernière (innovation conservative) provient d’une autre observation de Csikszentmihaly.

  1. Objectifs clairs
  2. Feedback approprié
  3. Attention focalisée
  4. Transparence ergonomique
  5. Appropriation technologique
  6. Equilibre entre challenges et compétence
  7. Contrôle potentiel
  8. Suivre le rythme
  9. Connaître les motivations des utilisateurs
  10. Innovation conservatrice

1 – Objectifs clairs (Clear objectives)

L’objectif du système doit être clair. Le système doit satisfaire, ou même mieux dépasser, les attentes des utilisateurs.

  • 1a) Le système doit être conçu avec les bonnes affordances afin d’informer explicitement les utilisateurs de son ou ses usages
  • 1b) Le système doit être fonctionnel, c’est-à-dire qu’il doit remplir les objectifs mis en avant par les affordances et répondre aux attentes des utilisateurs
  • 1c) Des fonctionnalités supplémentaires (autres que celles de base) sont les bienvenues, encore mieux si elles prévoient des utilisations alternatives du système: dépasser les attentes des utilisateurs est souvent un facteur prédictif d’une bonne expérience utilisateur

2 – Feedback approprié (Appropriate feedback)

L’interaction entre l’utilisateur et le système doit être maintenue à travers un feedback régulier (pour maintenir l’interaction), rapide (pour augmenter la conscience) et non intrusif (pour ne pas interférer avec l’expérience).

  • 2a) Le système doit fournir un feedback régulier et rapide
  • 2b) Le feedback doit être le moins importun possible
  • 2c) Le caractère “envahissant” du feedback doit être proportionnel au niveau de priorité de l’information donnée (pour établir une sorte de hiérarchie).

3 – Attention focalisée (Focused concentration)

Le système doit être simple et intuitif à utiliser. Il doit faciliter la concentration de l’utilisateur sur la tâche en cours en lui donnant du feedback significatif et en évitant les distractions non pertinentes.

  • 3a) Le système doit être utilisable
  • 3b) Le système doit fournir du feedback pertinent et significatif pour la tâche à accomplir
  • 3c) Le système doit éviter les distractions, c’est-à-dire les stimuli non pertinents pour la tâche à accomplir.

4 – Transparence ergonomique (Ergonomical transparency)

Le système doit pratiquement disparaître, être transparent pendant l’usage afin de permettre aux utilisateurs de se focaliser sur l’activité et d’être engagés dans l’expérience.

  • 4a) Le système doit être ergonomique, il doit être adapté aux compétences des utilisateurs et à leurs buts
  • 4b) Le comportement du système doit être cohérent et prévisible
  • 4c) Le système doit être conçu avec une intégrité esthétique, il doit être visuellement attrayant et les principes communs de design doivent être suivis; il doit également fournir un flux gracieux, c’est-à-dire que l’interaction entre les utilisateurs et le système doit être fluide.

5 – Appropriation technologique (Technology appropriation)

Les utilisateurs doivent pouvoir personnaliser et manipuler le système selon leurs particularités et leurs préférences. Ils doivent se sentir familiers avec le système, comme si ce dernier avait été conçu spécifiquement pour eux.

  • 5a) Le système doit être, dans une certaine mesure, personnalisable et manipulable par les utilisateurs à la fois dans son apparence et ses fonctionnalités;
  • 5b) Le processus de personnalisation doit être facilement accessible, et avoir un résultat prévisible
  • 5c) Fournir aux utilisateurs des choix multiples pour interagir avec le système (faire la même activité de différentes façons)

6 – Equilibre entre challenges et compétence (Challenges/skills balance)

Le système doit s’adapter à l’utilisateur dans le sens où il doit être conçu pour fournir, de manière dynamique, des challenges adéquats à la fois pour les utilisateurs novices, moyens et expérimentés.

  • 6a) Le système doit avoir une courbe d’apprentissage raide pour aider les utilisateurs novices
  • 6b) Le système doit encourager les utilisateurs à explorer et à découvrir toutes les caractéristiques et possibilités d’interaction
  • 6c) Le système doit fournir des fonctionnalités avancées ou des fonctions supplémentaires (par exemple, des accélérateurs, macros, réglages avancés, etc) et les rendre accessibles pour les utilisateurs intermédiaires / avancés.

7 – Contrôle potentiel (Potential control)

Le système doit donner le sentiment aux utilisateurs d’être libres de toutes contraintes, et, en même temps, d’être en contrôle de l’expérience.

  • 7a) Le système doit aider les utilisateurs à améliorer leurs compétences et à réduire la marge d’erreur dans la réalisation de leur activité
  • 7b) Le système ne doit pas donner l’impression aux utilisateurs d’être piégés. Éviter (autant que possible) de contraindre les actions des utilisateurs, leur fournir des stratégies de repli et rendre les actions facilement réversibles
  • 7c) Les utilisateurs doivent toujours être autorisés à activer ou désactiver les processus automatiques ou aides du système.

8 – Suivre le rythme (Follow the rhythm)

Le rythme du système doit s’adapter à l’utilisateur et au rythme de l’expérience.

  • 8a) Le rythme du système doit être adapté à l’activité pour laquelle il a été conçu;
  • 8b) L’expérience ne doit pas être interrompu par le système, mais les utilisateurs doivent être autorisés à suspendre l’interaction et à la redémarrer à partir de leur dernière action;
  • 8c) Les utilisateurs doivent avoir la possibilité d’accélérer ou ralentir le rythme de l’interaction.

9 – Connaître les motivations des utilisateurs (Know the user’s motivations)

Le système doit aider les utilisateurs à satisfaire leurs motivations au-delà de son usage, et à satisfaire leurs besoins psychologiques fondamentaux.

  • 9a) Le système doit être conçu en observant les utilisateurs finaux et l’activité qu’ils cherchent à accomplir, ce qui signifie que vous devez connaître vos utilisateurs d’abord
  • 9b) Cependant, connaître tous les types d’utilisateurs et d’activités possibles est impossible, c’est pourquoi le système doit être flexible et s’adapter à des utilisateurs variés, des activités variées et dans des contextes divers
  • 9c) Quand c’est possible, le système doit aider les utilisateurs à satisfaire les trois besoins psychologiques fondamentaux (au sens large) : le besoin de compétence, le besoin d’autonomie et le besoin de relationnel.

10 – Innovation conservatrice (Conservative innovation)

Le système doit être innovant (et conservateur à la fois).

  • 10a) Le système doit fournir un certain degré de nouveauté et de variété aux utilisateurs;
  • 10b) Le système doit être le résultat d’un compromis entre innovation et tradition, où la tradition désigne la compatibilité avec les systèmes connus et la conformité aux normes et standards;
  • 10c) Le système doit assurer l’interopérabilité pour s’intégrer facilement au contexte existant.

Avantages des heuristiques UX de Colombo & Pasch

  • Méthode discount en temps et en argent
  • Méthode basée sur une théorie psychologique (flow) solide
  • Les heuristiques peuvent être utilisées à la fois comme support de conception et d’évaluation

Inconvénients

  • Non exhaustivité des dimensions couvertes par ces heuristiques
  • Les heuristiques sont formulées de manière plutôt vague, elles ne donnent pas de recommandations précises
  • Les auteurs ne fournissent aucune grille d’évaluation ni critères d’évaluation. L’article d’origine donne un exemple pour chaque heuristique mais celui-ci n’est pas toujours très parlant.

Conseils pratiques

  • Dans la mesure du possible, toujours impliquer les utilisateurs dans la conception et l’évaluation ! Dans ce cas, les heuristiques peuvent être utilisées comme support de conception ou comme une étape d’évaluation préliminaire avant des tests utilisateurs.
  • Se servir des heuristiques uniquement comme d’un support d’évaluation, tout en reconnaissant qu’elles ne sont pas exhaustives
  • Préférer une évaluation experte (basée sur plusieurs ensemble d’heuristiques et sur votre expertise) à une évaluation heuristique à proprement parler
  • Combiner ces heuristiques UX avec d’autres heuristiques, critères ou guidelines (nous verrons prochainement 10 autres heuristiques proposées par Arhippainen).

Références

  • Colombo, L. and Pasch, M. (2012). 10 Heuristics for an Optimal User Experience. Proceedings of the CHI’2012 Altchi. ACM Press.
  • Csikszentmihalyi, M. (1990). Flow – The Psychology of Optimal Experience. Steps Toward Enhancing the Quality of Life. New York, Harper Perennial.
  • Cockton, G. and Woolrych, A.(2001). Understanding inspection methods: lessons from an assessment of heuristic evaluation. In: A. Blandford, J. Vanderdonckt, and P.D. Gray, eds. Proceedings of people and computers XV: joint proceedings of HCI 2001 and IHM 2001. Berlin: Springer-Verlag, 171–192.
  • Nielsen, J. (1993). Usability Engineering. New York: AP Professional.

L’UX est dynamique ! Comprendre la temporalité de l’UX

Posted in Théories et Modèles UX, UXTagged , , , , , , , , , 2 Comments

Vous connaissez les 3 facteurs classiques de l’UX que sont le système, l’utilisateur et le contexte ? Ajoutez dès aujourd’hui la temporalité à votre liste de priorités ! En effet, s’il est possible de l’inclure dans la dimension « contexte temporel », le temps mérite sans aucun doute de constituer “la 4e dimension” de l’UX.

L’expérience utilisateur est extrêmement dynamique – elle change constamment durant l’interaction avec un produit

Notre enquête UX (Lallemand, Gronier, Koenig, 2013) auprès de 750 experts à travers le monde montre que les professionnels sont bien conscients du caractère dynamique de l’UX. En revanche, ils semblent peu outillés dans la pratique pour concevoir et évaluer l’UX à travers le temps. Pour cela, il est utile de catégoriser les différentes phases temporelles de l’UX et de connaître les modèles de l’évolution de l’UX à travers le temps.

Les différentes phases temporelles de l’UX

L’expérience momentanée de l’usage est généralement considérée comme le coeur de l’UX, mais les préoccupations UX s’étendent bien avant et après ce moment. On va distinguer plusieurs phases temporelles de l’UX. Comme rien n’est jamais simpliste avec l’UX, ces phases ne sont pas fixes et vont se superposer ou s’intercaler. Malgré tout, il est utile de les schématiser pour mieux en tenir compte.

Phases temporelle UX
Les différentes phases temporelles de l’expérience utilisateur (traduit et adapté de UX White Paper, 2010)

Avant même d’interagir avec un système ou un produit, les utilisateurs vont imaginer leur expérience (UX anticipée) et former des attentes en fonction des autres technologies existantes, des produits qu’ils possèdent déjà, des publicités et du marketing, ou encore de l’opinion des autres. Cette UX anticipée va agir sur l’expérience momentanée, celle qui est ressentie durant l’interaction avec le produit. L’UX momentanée renvoie aux impressions et sensations immédiates, aux réponses émotionnelles de l’utilisateur pendant l’usage. Peu après l’usage, les processus cognitifs et mémoriels transforment l’expérience. Les détails de l’expérience vécue s’atténuent et le souvenir de cette expérience (UX épisodique) diffère de l’expérience “réelle”, influencé entre autres par les pics d’expérience positifs ou négatifs. Enfin, après avoir utilisé un système pendant un certain temps, les utilisateurs vont “cumuler” des périodes d’usage et former une vision globale de l’UX (UX cumulative).

Naturellement, on utilisera différentes méthodes d’évaluation UX en fonction de la phase temporelle que l’on souhaite étudier. La méthode AXE par exemple va évaluer l’UX anticipée, tandis que le questionnaire AttrakDiff analysera plutôt l’UX épisodique. Les mesures psychophysiologiques sont quant à elles typiquement des évaluations de l’UX momentanée.

Le modèle de Karapanos : de l’anticipation à l’attachement émotionnel

Certains chercheurs ont modélisé l’UX à travers le temps. Le cadre d’analyse d’Evangelos Karapanos offre une vision de l’UX de la phase initiale d’anticipation jusqu’à l’attachement émotionnel. Les systèmes et produits étant de plus en plus intégrés sous forme de service, il ne s’agit plus simplement pour les concepteurs de favoriser l’acceptance initiale (qui déclenche l’achat) mais bien de maintenir un usage prolongé et de fidéliser les utilisateurs !

temporalité UX_modèle Karapanos
L’UX à travers le temps : un cadre d’analyse initial (Karapanos, 2009)

Le modèle de Karapanos distingue 3 phases dans l’adoption d’un produit : l’orientation, l’incorporation et l’identification. Trois forces vont motiver la transition entre ces 3 phases (familiarité, dépendance fonctionnelle et attachement émotionnel), et diverses qualités du système sont appréciées à chaque phase.

La phase d’orientation est une phase de découverte du produit, caractérisée par la stimulation de la nouveauté et par la nécessité d’apprendre à l’utiliser (ambivalence excitation et frustration). La familiarité progressive avec le produit va permettre de passer de l’orientation à la phase d’incorporation. Ici, le produit devient important au quotidien et les principales qualités appréciées sont son utilité et son utilisabilité à long terme (au-delà de l’apprenabilité de la phase d’orientation). La dépendance fonctionnelle va entraîner une évolution vers la phase d’attachement émotionnel. Ici, le produit fait réellement parti du quotidien et de l’identité de la personne. Les qualités appréciées sont celles qui permettent à la fois de communiquer l’identité et de participer aux interactions sociales.

Côté conception, il est finalement important d’être conscient de cette temporalité et de soigner les qualités du système qui vont permettre le passage d’une phase à une autre. Il faut réellement penser le produit dans le temps. Pas uniquement un produit utilisé, mais aussi un produit qu’on achète (avant usage), qu’on utilise (usage), qu’on aime et qu’on adopte et même qu’on transmet ou qu’on recycle (après usage).

Au niveau de l’évaluation, les méthodes d’évaluation longitudinales (comme par exemple les journaux de bord UX) ou retrospectives permettent d’étudier ces évolutions temporelles de l’UX.

Sources

  • Karapanos E., Zimmerman J., Forlizzi J., Martens J.-B. User Experience Over Time: An Initial Framework, In Proceedings of the 27th international Conference on Human Factors in Computing Systems (Boston, MA, USA, April 04 – 09, 2009). CHI’09. ACM, New York, NY, 729-738.
  • Roto, V., Law, E., Vermeeren, A., & Hoonhout, J. (2011) User Experience White Paper: Bringing clarity to the concept of user experience. Result from Dagstuhl Seminar on Demarcating User Experience, Finland
  • Lallemand, C., Gronier, G., & Koenig, V.  (2013) L’expérience utilisateur : un concept sans consensus ? Enquête sur le point de vue des professionnels, EPIQUE 2013, Bruxelles, Belgique.

AXE : une méthode d’évaluation UX au stade conceptuel

Posted in Méthodes UX, UXTagged , , , , , , , , , , , Leave a comment

AXE (Anticipated eXperience Evaluation) est une méthode qualitative qui donne un point de vue initial sur l’UX d’un produit ou service. Cette méthode permet une évaluation très tôt dans le cycle de conception, dès le stade conceptuel. Dans une situation d’entretien avec un utilisateur, on va utiliser des stimuli visuels pour permettre aux utilisateurs d’imaginer une situation d’usage. Leurs réponses vont révéler leurs pratiques, attitudes et valeurs. On étudie avec AXE l’UX anticipée.

AXE est à la fois une méthode d’évaluation et une méthode de collecte de suggestions d’amélioration. Les résultats mettent en relation les attributs perçus du produit avec différentes dimensions de l’UX.

Elle a été développée par Lutz Gegner et Mikael Runonen de l’université de Aalto (Finlande).

Développement de la méthode : modèle théorique et motivations

La méthode AXE est basée sur le même modèle théorique que le questionnaire AttrakDiff, dont elle s’inspire grandement (Hassenzahl, 2003). Elle évalue donc les qualités pragmatiques et hédoniques des systèmes interactifs.

Plusieurs constats ont motivé la création de cette méthode :

  • Malgré une abondance de méthodes pour étudier l’UX des produits, rares sont celles qui s’intéressent à une évaluation de l’UX dès la phase conceptuelle
  • La plupart des évaluations de concepts sont faites par des experts
  • Il y a un manque de méthodes d’évaluation UX impliquant des utilisateurs et qui soient applicables de manière universelle
  • Transférer des données utilisateurs en recommandations de conception est un challenge

AXE s’inspire également des méthodes projectives (l’une des plus connue en psychologie étant le test du Rorschach – celui avec les tâches d’encres !) en utilisant des stimuli ambigus pour aider les participants à exprimer leurs attitudes, opinions et croyances envers un concept de produit. Les tests projectifs suggèrent qu’un individu structure une situation ambiguë en mettant en valeur ses propres besoins conscients et inconscients.

« Décrire des expériences avec des mots est une tâche difficile en soi, et demander à un utilisateur d’imaginer une expérience fictive la rend encore plus difficile. » (Gegner & Runonen)

Format

AXE se présente sous la forme de 12 paires d’images (+ 2 paires d’images vierge pouvant être utilisées pour couvrir des dimensions non prises en compte par le modèle théorique de AXE). Ces images ont été choisies comme étant des représentations visuelles de certains items du questionnaire AttrakDiff, qui sont des paires de mots contrastés (ex. simple vs. compliqué) (voir l’article Méthode consacrée à l’AttrakDiff). De la même manière, les images de AXE sont ainsi présentées deux par deux, et représentent visuellement des notions opposées.

AXE methode_paires images
Paires d’images et échelles présentées aux participants (1- clair vs confus / 2-peu exigeant vs challenging)

Une ligne relie les deux images et on demande à l’utilisateur de faire une croix sur ce continuum, à l’endroit correspondant à son ressenti par rapport au concept de produit présenté. Cette ligne représente en fait une échelle de mesure, mais n’est pas graduée afin de laisser le participant s’exprimer librement et ne pas brider son imaginaire.

Passation

L’approche AXE peut être divisée en 3 étapes principales : le briefing sur le concept, l’évaluation du concept et l’analyse des données.

méthode AXE

Avant l’évaluation, l’équipe de conception doit définir des objectifs de conception, auxquels les résultats seront comparés. La mise en place de ces objectifs donne à l’équipe une compréhension partagée des buts durant la conception et la capacité d’évaluer si les perceptions des utilisateurs sont conformes aux objectifs.

Concept Briefing

Au début de la session, le concept est présenté aux participants (toujours de la même manière pour garantir des résultats comparables). La description du concept est lue à voix haute par l’expérimentateur et une copie papier est fournie au participant. Des scénarios d’usage (sous forme de narrations) sont présentés de la même manière. Afin de rendre la narration plus engagée et personnelle, on utilise les pronoms « tu » ou « vous », ce qui évite aux participants de spéculer sur les expériences de personnages fictifs à la place des leurs. Si les narrations sont accompagnées de matériel autre que du texte (ex. illustrations ou prototypes basse fidélité), on distribue ce matériel au participant pour qu’il puisse le consulter tout au long de la session.


AXE methode_evaluation formatEvaluation du Concept

L’élément principal de la méthode AXE est un formulaire de réponse comprenant des paires d’images et des échelles. Le but du formulaire est de donner à chaque entretien une structure similaire, et aussi d’aider les participants à évoquer des aspects expérientiels qu’ils perçoivent. Le formulaire est composé de 3 parties : les consignes pour guider le participant, un exercice d’entraînement facile pour vérifier qu’il a bien compris la procédure et le mettre à l’aise, et enfin les 12 paires d’images à évaluer. Les paires d’images ont été sélectionnées selon une méthode, brièvement décrite dans l’article original.

Durant la session d’évaluation, on demande aux participants laquelle des images de chaque paire il associe le plus fortement au concept du produit. Les choix réalisés servent de base pour débuter une conversation sur le concept « pourquoi associez-vous plutôt le concept avec l’image A qu’avec l’image B ? ». L’idée est de découvrir quelle paire de mots le participant utilise implicitement pour prendre sa décision. L’expérimentateur continue de creuser au fur et à mesure les choix du participant. Si le participant dit qu’il associe plus fortement le concept à l’image A mais qu’il préfèrerait l’image B, alors on peut demander les raisons de cette préférence et acquérir ainsi une meilleure compréhension des attentes du participant envers le concept. On peut également sonder quels changements dans le concept seraient appréciés et recueillir des suggestions d’amélioration.

Analyse des données

Après l’entretien, les données sont retranscrites et analysées. La transcription doit être faite mot à mot pour préserver le plus d’information possible. Ensuite, le texte doit être partitionné en petits segments plus faciles gérables, chaque morceau contenant une seule observation / idée.

Exemple : « Cette image me rappelle le calme. Je ne pense pas que ce concept est très calme. S’il n’y avait pas ces couleurs flashy ou s’il n’y avait pas d’animations, il serait plus calme. »

Partition :

  1. cette image me rappelle le calme
  2. je ne pense pas que ce concept est très calme
  3. s’il n’y avait pas ces couleurs flashy, ce serait plus calme
  4. s’il n’y avait pas d’animations, ce serait plus calme

Catégorisation : chaque segment extrait est codé dans une catégorie selon l’information qu’il contient. Les catégories sont :

  1. les caractéristiques perçues du produit : caractéristiques générales, contenu, fonctionnalités, interactions, présentation
  2. les attributs associés : attributs pragmatiques (utilité, utilisabilité), stimulation, identification, évocation
  3. les conséquences anticipées : attractivité perçue, changement comportemental
  4. les informations pour améliorer le concept : suggestions, les choses non désirables, les informations méta (qui ne sont pas directement liées au concept mais peuvent aider à comprendre l’utilisateur)

Après le codage des résultats, les segments sont triés afin que l’équipe de conception puisse identifier rapidement les forces et faiblesses du concept global et de ses caractéristiques précises.

Avantages et limites

  • permet d’évaluer la nature abstraite des concepts
  • échelle non verbale, basée sur une méthode projective (stimuli visuels) pour stimuler l’expression libre des participants
  • ne convient pas facilement à des études longitudinales
  • coûteux en temps

Conseils pratiques

  • Prévoir de distribuer aux participants les documents (description du concept, scénarios, consignes)
  • Durant l’entretien, ne pas utiliser d’adjectifs qui n’ont pas été utilisés par le participant afin de ne pas biaiser les réponses
  • Vous pouvez ajouter 2 paires d’images si vous avez besoin d’évaluer des dimensions supplémentaires (ex. confiance, sécurité, etc).

Sources

Tout le matériel nécessaire pour utiliser la méthode AXE est disponible gratuitement en ligne (comprend un manuel + le guide d’entretien avec les photographies) : http://www.axe-hub.com/

Gegner, L. and Runonen, M. For What it is Worth: Anticipated eXperience Evaluation. 8th International Conference on Design and Emotion, Central Saint Martins University of the Arts London with the Design and Emotion Society (2012).

Hassenzahl, M. The thing and I: understanding the relationship between user and product. In M.A. Blythe, K. Overbeeke, A.F. Monk and P.C. Wright, eds., Funology: from usability to enjoyment. Kluwer Academic Publishers, 2003, 31–42.!

http://www.allaboutux.org/axe-anticipated-experience-evaluation

http://fr.slideshare.net/ajovalasit/anticipated-experiences-early-product-concept-evaluation-lutz-gegner-at-hcdi-presentationjune-2013#

Journaux de bord UX : une méthode d’évaluation longitudinale

Posted in Méthodes UX, UXTagged , , , , , , , , , Leave a comment

J’insiste souvent dans mes présentations sur la dynamique temporelle de l’UX, qui est trop souvent négligée. Or, prendre en compte cette temporalité de l’UX nécessite des méthodes d’évaluation et de conception adaptées. Les journaux de bord UX permettent cette évaluation de l’UX à travers le temps.

Certaines parts de ce post sont traduites de mon article “Dear Diary: Using Diaries to Study User Experience“, que vous trouverez dans la section Ressources.

Les méthodes d’évaluation longitudinales

Les méthodes d’évaluation dites longitudinales permettent d’évaluer l’UX à travers le temps, de la manière la plus riche possible. Elles consistent en une évaluation répétée de l’UX auprès même groupe d’utilisateurs sur une longue période de temps. Elles permettent ainsi d’évaluer les changements de l’UX à travers le temps. Selon la méthode utilisée, elles permettent de recueillir des données qualitatives et/ou quantitatives. Elles ont pour avantage de donner des résultats très riches et précis. La contrepartie est que les méthodes longitudinales demandent un important investissement de temps et de ressources, c’est pourquoi on leur préfère souvent des méthodes moins contraignantes (telles que les méthodes retrospectives). De même, il faut veiller à garder la motivation des participants élevée durant la période de l’étude.

Les journaux de bord UX

Tenir un journal n’est pas qu’un passe-temps d’adolescents essayant de donner un sens à la vie et à l’amour. Dans le domaine des Interactions Homme-Machine (IHM), les journaux de bord sont une méthode qualitative de collecte de données sur ce que les utilisateurs ont fait ou ont ressenti. Tout comme un journal de voyage contient des descriptions des expériences du voyageur, un journal UX va recueillir des descriptions des expériences d’un utilisateur avec un produit ou un système.

Sur quoi un journal de bord UX peut-il nous renseigner ? Selon le type de journal de bord que vous concevez, vous pourrez recueillir de l’information sur l’impression globale d’un système, la fréquence d’usage de fonctionnalités, l’acceptation technologique, les émotions associées à la réalisation d’une tâche, ou encore la facilité d’apprentissage d’une application. Bien sûr, vous pourriez aussi recueillir ce type d’information avec un questionnaire, un entretien ou un test utilisateurs. Mais seules les méthodes longitudinales vous donneront accès à une information temporelle collectée dans un contexte d’interaction naturel.

Avantages

Etudier la dynamique temporelle de l’UX : avec un journal de bord vous pouvez collecter des données sur les différentes périodes de l’UX. Ainsi, la première saisie du journal peut-être remplie avant l’usage pour évaluer “l’UX anticipée” (celle que l’on imagine). Puis, l’utilisateur va remplir chaque jour le journal, donnant ainsi des informations sur “l’UX momentanée” (celle que l’on vit). A la fin de la période d’étude, la dernière évaluation permet d’évaluer “l’UX épisodique” (celle dont on se souvient), voire “l’UX cumulée” (dont on se souvient après de multiples périodes d’usage).

mobile UX contexte
Evaluation en contexte naturel

Collecter des évènements et expériences en contexte naturel : le contexte d’usage est l’un des facteurs impactant l’UX d’un système ou d’un produit. Ainsi, lors d’un test utilisateur ou d’un entretien, la présence de l’expérimentateur peut biaiser les résultats. Qui n’a jamais vu un utilisateur évaluer un produit comme très positif alors qu’il a échoué à réaliser la plupart des scénarios de test ? En tant que professionnels, nous voulons capturer l’UX “réelle” et non celle qui est influencée par un environnement contrôlé. La diffusion des technologies mobiles accentue encore ce phénomène. C’est là l’un des avantages des journaux de bord car ils se focalisent sur la description d’évènements et expériences dans leur contexte naturel.

Déterminer les antécédents, corrélats et conséquences des expériences quotidiennes : comme nous l’avons déjà souligné, il y a plusieurs périodes d’UX, qui s’influencent mutuellement. Ainsi, l’UX momentanée va être influencée par l’UX anticipée (qui crée des attentes à satisfaire). Puis, l’UX momentanée va être “déformée” par le filtre des processus cognitifs (notamment la mémoire) pour devenir l’UX épisodique et cumulative. Les attentes de l’utilisateur, son humeur ou encore le contexte d’usage sont autant de dimensions qui peuvent influencer l’UX au quotidien. Un journal de bord capture ces influences, en éclairant sur la façon dont l’UX s’est formée et à évoluer à un moment donné. Il vous permettra ainsi de détecter si la mauvaise humeur de l’utilisateur ou la critique de la marque à la télé ont impacté son évaluation de l’interface. Vous pourrez également découvrir que le jeu que vous évaluez produit des émotions bien plus positives lorsque l’utilisateur interagit avec des amis, alors même que cette fonction avait été négligée dans la conception.

Limites

Rien n’est parfait ! Comme pour toute méthode, vous devrez considérer les avantages et inconvénients des journaux de bord UX avant de vous lancer dans une telle étude. Les principaux inconvénients de cette méthode sont le temps et le coût liés :

  • au recrutement des participants : la qualité des résultats dépend beaucoup des participants, puisque le journal de bord est limité à la capacité d’expression des utilisateurs. C’est particulièrement vrai dans les études comprenant de nombreuses questions ouvertes. Vous devrez atteindre un niveau d’engagement élevé de vos participants pour obtenir des données suffisantes et fiables.
  • aux sessions de briefing : une étude par journal de bord nécessite souvent des séances de briefing détaillé pour s’assurer que les participants comprennent bien ce qui doit être rapporté, comment et quand.
  • à l’analyse des données : analyser des données longitudinales prend du temps, et encore plus dans le cas d’un journal de bord en version papier.

Concevoir un journal de bord UX


Choisir un protocole et un rythme d’évaluation : Il existe 3 types de protocoles pour un journal de bord, basés sur la façon dont on sollicite l’utilisateur.

  • par intervalle : les utilisateurs doivent évaluer leur expérience à des intervalles réguliers et prédéterminés (par exemple toutes les 2h ou tous les 2 jours). Cette option est répandue mais les utilisateurs peuvent oublier de compléter le journal, ce qui crée des données manquantes.
  • par signal : on utilise ici un appareil qui signale aux utilisateurs à quel moment il doivent évaluer leur UX en complétant une entrée de journal. Ici, pas de souci d’oubli, mais un coté intrusif de la méthode dans le quotidien.
  • par évènement : les participants doivent évaluer leur UX à chaque fois qu’un évènement particulier survient. Ce protocole est particulièrement utile si vous êtes intéressé par l’analyse d’une expérience induite par certains évènements, tels qu’une erreur système ou une notification.

Le rythme des évaluations doit être déterminé en fonction des besoins de votre recherche. Ne soyez pas trop exigeant sinon votre journal UX deviendra un fardeau pour vos utilisateurs : 2 ou 3 entrées par jour au maximum sur une durée généralement de 2 semaines (si le journal est à remplir chaque jour, ou plus si les entrées sont plus espacées).

Impliquer vos participants : L’un des principaux défis d’une étude par journal de bord est le maintien de l’engagement des participants à un niveau élevé pour garantir la complétion du journal. Vous devez vous assurer que les participants comprennent le type de description et le niveau de détail requis. Au cours de l’étude, vous pouvez rappeler aux participants l’importance de compléter le journal. Une récompense en cash ou un cadeau (ex : possibilité de garder le produit évalué) peuvent être utiles. Attention cependant à ne pas baser la récompense sur la quantité de données recueillies au risque d’être submergé de données non pertinentes !

paper-vs-ipad
Version papier ou électronique ?

Version papier ou version électronique ? Parce que les études UX sont souvent liés à l’utilisation de systèmes interactifs, le choix d’un journal électronique est souvent judicieux. Il simplifie l’analyse des données et permet de combiner des entrées de journal et des logs (ex. date, heure, tâche en cours). Les journaux électroniques permettent aussi plus de créativité : imaginez une étude par messagerie vocale, textos, vidéos ou photos ! Toutefois, essayez d’adapter la méthode aux utilisateurs cibles. Si vous menez une étude avec des personnes âgées, une version papier sera sûrement plus appropriée pour mettre vos participants à l’aise.

Structure du journal : les journaux peuvent avoir un format ouvert (les utilisateurs rapportent leurs expériences avec leurs propres mots) ou au contraire très structuré (avec des questions fermées ou à choix multiples). Pour faire votre choix : avez-vous besoin d’informations précises ou souhaitez-vous encourager une réflexion libre ? On adopte souvent une approche mixte pour combiner données qualitatives et quantitatives. N’oubliez pas d’insérer dans votre journal des consignes claires et de souligner l’importance de rapporter les évènements aussitôt qu’ils surviennent.

data-analysis-340x260
Collecter et analyser les données

Collecter et analyser les données : une fois votre journal conçu, n’oubliez pas de le pré-tester pour être sûr de sa qualité avant de lancer votre étude ! Comme l’engagement des gens diminue rapidement, les participants gardent le journal 2 semaines maximum. Si le journal est électronique, vous pouvez surveiller sa complétion au fur et à mesure. N’hésitez pas à communiquer avec les participants au cours de l’étude pour s’assurer que tout va bien.

A la fin de l’étude, réalisez des entretiens de debriefing avec les participants. C’est l’occasion de leur demander d’expliquer certaines de leurs évaluations. Une bonne compréhension des réponses qualitatives est nécessaire pour interpréter correctement les données. L’analyse des données dépend de la façon dont le journal est structuré. Les données quantitatives peuvent être analysées en utilisant un logiciel d’analyse statistique. Traiter les données qualitatives est plus difficile, mais cela en vaut la peine car cela vous fournira des informations précieuses sur l’expérience subjective !

Conférence EPIQUE 2013 à Bruxelles

Posted in Events, UXTagged , , , , , , , , , Leave a comment

Je serai prochainement à Bruxelles (du 10 au 12 juillet 2013) pour le 7ème colloque de psychologie ergonomique EPIQUE 2013 « Activités humaines, Technologies et Bien-être », où je présenterai l’article de recherche suivant :  ‘L’expérience utilisateur : un concept sans consensus ? Enquête sur le point de vue des professionnels.’  (Auditoire DC2.206 à 11h20 le mercredi 10 juillet).

Ce papier synthétise les résultats de l’enquête UX diffusée l’an passé auprès de plus de 1000 professionnels de l’expérience utilisateur répartis sur plus de 35 pays dans le monde.

RÉSUMÉ

Depuis une dizaine d’années, le concept d’expérience utilisateur (UX) se répand dans le domaine des Interactions Homme-Machine (IHM). Centré sur l’utilisateur et son expérience subjective vécue de l’interaction avec un système interactif, l’UX s’intéresse, entre autres, aux aspects émotionnels, hédoniques ou encore esthétiques composant l’interaction. Cependant, bien que déjà très utilisé par les professionnels, ce concept souffre notamment d’un manque de recherche empirique. De plus, de nombreuses définitions et perspectives sur l’UX cohabitent sans donner lieu à un consensus scientifique clair. Or, pour progresser dans ce champ de recherche, l’enseigner, ou pour communiquer sur celui-ci, il est nécessaire de mieux le comprendre et le délimiter. Une enquête par questionnaire (adaptée de Law et al., 2009) réalisée sur 758 professionnels et chercheurs de plus de 35 nationalités permet de mieux comprendre comment ce concept est compris et utilisé à travers le monde. Les résultats montrent des divergences entre les profils des participants.

MOTS-CLÉS

Expérience Utilisateur, Questionnaire, Définition, Concept, Utilisabilité.

EN SAVOIR PLUS

Article – Utiliser des journaux de bord pour évaluer l’UX

Posted in Publications, Ressources, UXTagged , , , , , , , Leave a comment

Etudier et évaluer l’UX est une tâche difficile même pour des professionnels expérimentés. Sans être un super héros ou avoir une boule de cristal, comment trouver une méthodologie capable de capturer l’expérience du point de vue de l’utilisateur en prenant en compte toutes les dimensions de l’UX, et notamment la dimension temporelle ?

Les avantages des journaux de bord pour l’étude de l’UX sont nombreux et mon dernier article décrit pourquoi vous devriez utiliser des journaux de board dans vos études et comment concevoir un journal de board. J’y donne des conseils pratiques sur les questions de recherche ou projets qui sont les plus adaptés à ces méthodes longitudinales, les décisions de conceptions qui peuvent être faites sur base des résultats d’une étude par journal de bord, les outils nécessaire pour conduire votre recherche, et les manières d’analyser les résultats.

Publié (en anglais) dans le magazine User Experience, Volume 11, Issue 3 : http://www.usabilityprofessionals.org/uxmagazine/dear-diary-using-diaries-to-study-user-experience/

Un résumé français complet de cet article est disponible dans le post “Journaux de bord UX – une méthode d’évaluation longitudinale” de la section Méthodes UX. 

Using Diaries to Study User Experience

Studying and evaluating UX is a challenging task even for experienced practitioners. Without being a superhero or having a crystal ball, how may we find a methodology able to capture the experience from the point of view of the user by taking into account all the factors related to UX?

The advantages of diary methods for the study of UX are numerous and my last article describes why you should use diaries in your research and how to design a diary study. I provide practical guidance regarding research questions best suited to these methods, design decisions that can be made based on the findings of a diary study, tools needed to conduct the research, and ways of analyzing diary reports.

Published in User Experience, Volume 11, Issue 3 : http://www.usabilityprofessionals.org/uxmagazine/dear-diary-using-diaries-to-study-user-experience/

Merci de citer cet article sous la forme : Lallemand, C. (2012). Dear Diary: Using Diaries to Study User Experience. User Experience Magazine, 11(3).
Retrieved from http://www.uxpamagazine.org/dear-diary-using-diaries-to-study-user-experience/

Pour en savoir plus

Le très bon article de Bolger, Davis et Rafaeli (2003) : DIARY METHODS: Capturing Life as it is Lived