Sentence Completion : une méthode UX vraiment ______ !

La complétion de phrase ou sentence completion est une méthode qualitative d’évaluation de l’UX et/ou d’exploration des besoins et valeurs des utilisateurs. Après avoir utilisé un système ou un produit, on donne au participant des débuts de phrases, qu’il doit compléter. Ces débuts de phrases doivent aider l’utilisateur à penser aux aspects expérientiels liés à l’usage du système. On lui proposera des phrases telles que : « Quand j’utilise ce produit, je me sens _________ » ou encore « L’apparence du produit est _________« . La méthode combine donc questionnaire et technique projective.

Cette méthode produit des données qualitatives semi-structurées sur le point de vue des utilisateurs et leur ressenti. Les résultats sont moins fastidieux à analyser que ceux obtenus à partir d’entretiens. Ils sont évidemment plus longs à analyser que les résultats d’un questionnaire UX tel que l’AttrakDiff, mais ils permettent d’obtenir une information plus détaillée, notamment sur les émotions négatives. La complétion de phrase n’est pas un instrument de mesure strict mais plutôt une technique pragmatique pour récoler du feedback utilisateur durant le développement d’un produit.

Développement de la méthode

La méthode de la complétion de phrases a été développée par Sari Kujala et son équipe des Universités de Aalto et de Tampere en Finlande. Elle permet de dépasser les limites de certaines méthodes d’évaluation de l’UX ou de les compléter.

Une évaluation indirecte (projective) de l’UX qui dépasse les biais du questionnement direct : L’évaluation de l’UX est un challenge car les utilisateurs ont du mal à exprimer leur expérience quand on leur demande de le faire. Ainsi, le biais de désirabilité sociale, qui veut que chacun souhaite montrer une image positive de soi, peut fausser les réponses à un entretien. Le questionnement direct apporte souvent des informations générales sur les attitudes ou réactions des utilisateurs mais ne parvient pas toujours à détecter les raisons profondes de ces attitudes. Les méthodes projectives comme la complétion de phrases sont une manière indirecte d’évaluation de l’état émotionnel et du fonctionnement mental d’un sujet. Dans les méthodes projectives (voir aussi la méthode UX AXE), un stimulus au sens généralement ambigu est proposé au participant. Le stimulus ayant peu de sens en lui-même, on fait l’hypothèse que les participants l’interprètent selon leur propre vécu / ressenti / point de vue.

Une évaluation qualitative et ouverte qui dépasse la rigidité des évaluations quantitatives : Les questionnaires d’évaluation de l’UX tels que l’AttrakDiff ont pour inconvénient de proposer aux utilisateurs une évaluation basée sur des propriétés (items) prédéfinies. Or, comme l’UX est subjective et complexe, il est difficile de déterminer si les utilisateurs trouvent les items de l’AttrakDiff essentiels et significatifs pour refléter leur propre expérience. De même, les résultats quantitatifs ne permettent pas de connaître les raisons d’une expérience évaluée comme positive ou négative : ils ne renseignent donc pas les concepteurs sur la manière d’améliorer le système. Pour palier à ces manques, des méthodes d’évaluation plus qualitatives et plus ouvertes comme la complétion de phrases sont parfois nécessaires.

Format

Cette méthode se présente sous forme de phrases à compléter par les participants. On donne au participant des débuts de phrase tels que « La chose la plus importante pour moi est __________ » et on lui demande de les compléter spontanément.

Il n’y a pas de nombre prédéfini de phrases et c’est donc à chacun de décider du nombre de phrases qu’il souhaite inclure dans son étude. Ce choix va se faire en fonction du nombre de dimensions à explorer, du temps et des ressources disponibles ainsi que des autres méthodes qui seront déployées dans une même session. A titre indicatif, les concepteurs ont utilisé de 12 à 24 phrases dans les cas d’études qu’ils ont réalisé lors de la création de cette technique.

De même, le contenu des phrases est également libre et adaptable. Il est possible d’utiliser (donc de traduire) les phrases des concepteurs pour servir de base à l’étude. On peut également créer ses propres phrases en faisant toutefois attention à la qualité de leur formulation. Globalement, il faut éviter les débuts de phrases en un seul mot ou au contraire trop longs car ces derniers ne stimulent pas assez les réponses des participants. On peut proposer des phrases très génériques sur l’expérience du produit (« quand j’utilise ce produit, je me sens ______ ») ou être plus précis en ajoutant un mot clé relatif si on veut investiguer une dimension particulière (« L’apparence du produit est _______ »). Il est nécessaire de développer de nouvelles phrases de manière itérative, en les prétestant sur un petit échantillon avant de les utiliser pour une étude réelle.

Exemple de phrases à compléter – Etude sur un smartphone (phrases extraites et traduites sur base de Kujala et al., 2013)

  1. Utiliser mon smartphone est __________
  2. Les fonctionnalités de mon smartphone sont __________
  3. Mon smartphone est le meilleur pour ___________
  4. Mon smartphone n’est pas adapté pour ___________
  5. Je pense que l’apparence de mon smartphone est __________
  6. Mon smartphone a l’air __________
  7. Quand j’utilise mon smartphone, je me sens ___________
  8. Je suis content de mon smartphone parce que ___________
  9. Le problème avec mon smartphone c’est __________
  10. C’est irritant que mon smartphone ___________
  11. Si d’autres personnes ont fait attention à mon smartphone, elles __________
  12. Le propriétaire d’un smartphone est généralement __________
  13. Dans ma culture, mon smartphone __________
  14. Par rapport aux autres smartphones, mon smartphone est __________

Passation

On demande aux utilisateurs de répondre rapidement et sans réfléchir de trop, en précisant qu’il n’y a pas de bonne ou mauvaise réponse. On précise également qu’il n’y a pas de catégories de réponses attendues, l’utilisateur est libre de compléter chaque phrase comme il le souhaite.

Exemple de consigne : Merci de compléter les phrases ci-dessous afin qu’elles décrivent votre expérience avec le produit A. Il n’y a pas de bonne ou mauvaise réponse, essayez plutôt de répondre spontanément et sans trop réfléchir. Vous pouvez laisser des phrases sans réponse si vous avez l’impression qu’elles ne correspondent pas bien à votre situation. 

Il est possible de faire des passations directes ou à distance, online. On peut utiliser la méthode en complément d’autres évaluations de l’UX, notamment pendant un test utilisateur ou en complément du questionnaire AttrakDiff. Niveau temporalité, la méthode peut être utilisée à tous les stades de la conception. Elle peut servir pour évaluer des concepts, des prototypes ou des produits finis. Utilisée sur des concepts, elle peut alors évaluer l’UX anticipée. Sur des prototypes ou produits plus aboutis, elle va généralement évaluer l’UX épisodique ou cumulative (voir à ce sujet l’article sur la temporalité de l’UX).

Enfin, les concepteurs de cette méthode ont montré que la qualité et la richesse des réponses produites sont variables. Ainsi, quand les utilisateurs décrivent un produit qu’il ont possédé ou utilisé pendant une longue période, ils vont produire des réponses plus riches que celles produites après un court test d’utilisabilité. De même, les réponses sont plus détaillées lorsque les phrases à compléter sont dans la langue natale des participants.

Analyse des résultats

Les concepteurs n’ont pas développé de cadre d’analyse ou de catégorisation car la technique de sentence completion n’a pas été développée pour être un outil de diagnostic quantitatif. Les résultats (sous forme de phrases complétées) peuvent : (1) être utilisés directement comme source d’information ou d’inspiration ou (2) être catégorisés en fonction de leur fréquence afin de donner des données quantitatives.

Le plus facile est de grouper les données par dimension étudiée et par valence (c’est à dire négatif vs. positif). Vous pouvez ensuite regrouper ensemble les réponses similaires et nommer chaque catégorie par la réponse la plus fréquente qu’elle contient. Il est possible de représenter les mots sur un diagramme pour distinguer visuellement les idées négatives et positives.

Avantages

  • Les participants peuvent s’exprimer librement. Les données récoltées sont donc plus fiables que pour les questionnaires UX traditionnels (qui ne proposent pas toujours les options de réponse appropriées pour chaque participant)
  • Méthode facile à appliquer et plutôt fun pour les participants et les experts qui l’administrent
  • Les données sont recueillies sous forme écrite (en direct ou en ligne)
  • Peut être utilisée pour évaluer les motivations ou les attitudes
  • Moins de biais culturels que les questionnaires standardisés (qui ont par définition des items prédéfinis)
  • Comparé à l’AttrakDiff, cette technique permet un meilleur recueil du feedback négatif des utilisateurs, nécessaire à l’amélioration du produit

Limites

  • Analyse de données qualitatives qui prend du temps car il faut catégoriser et synthétiser les résultats
  • Les phrases initiales sont longues à créer. Ensuite on peut réutiliser ou adapter les phrases à d’autres contextes ou produits
  • Il faut créer de nouvelles phrases ou les réadapter en fonction du type de produit, du contexte ou du type de facteurs que l’on étudie
  • Comme les utilisateurs analysent leur UX en se basant sur leurs souvenirs d’expériences momentanées, il se peut qu’ils ne se souviennent pas des détails : la technique de la complétion de phrases ne se prête pas bien aux analyses détaillées

Conseils pratiques

  • Insister sur la spontanéité dans la réponse des utilisateurs
  • Pour créer de nouvelles phrases, veiller à la formulation et prétester les phrases sur des échantillons tests
  • Utiliser plusieurs phrases pour évaluer un même concept ou aspect de l’expérience, car cela renforce la validité des réponses
  • Faire les passations dans la langue natale des utilisateurs, car il a été montré que les réponses sont ainsi plus claires et plus détaillées
  • Si vous souhaitez évaluer l’image du produit, demandez aux participants de décrire les caractéristiques de l’utilisateur typique

Sources

 

Allez, un petit test de cette technique 🙂 Complétez ces trois phrases dans les commentaires de l’article : 

  1. « Le blog UX Mind est ___________ »
  2. « Je suis content du blog UX Mind parce que __________ »
  3. « Le problème avec le blog UX Mind c’est __________ »

AXE : une méthode d’évaluation UX au stade conceptuel

AXE (Anticipated eXperience Evaluation) est une méthode qualitative qui donne un point de vue initial sur l’UX d’un produit ou service. Cette méthode permet une évaluation très tôt dans le cycle de conception, dès le stade conceptuel. Dans une situation d’entretien avec un utilisateur, on va utiliser des stimuli visuels pour permettre aux utilisateurs d’imaginer une situation d’usage. Leurs réponses vont révéler leurs pratiques, attitudes et valeurs. On étudie avec AXE l’UX anticipée.

AXE est à la fois une méthode d’évaluation et une méthode de collecte de suggestions d’amélioration. Les résultats mettent en relation les attributs perçus du produit avec différentes dimensions de l’UX.

Elle a été développée par Lutz Gegner et Mikael Runonen de l’université de Aalto (Finlande).

Développement de la méthode : modèle théorique et motivations

La méthode AXE est basée sur le même modèle théorique que le questionnaire AttrakDiff, dont elle s’inspire grandement (Hassenzahl, 2003). Elle évalue donc les qualités pragmatiques et hédoniques des systèmes interactifs.

Plusieurs constats ont motivé la création de cette méthode :

  • Malgré une abondance de méthodes pour étudier l’UX des produits, rares sont celles qui s’intéressent à une évaluation de l’UX dès la phase conceptuelle
  • La plupart des évaluations de concepts sont faites par des experts
  • Il y a un manque de méthodes d’évaluation UX impliquant des utilisateurs et qui soient applicables de manière universelle
  • Transférer des données utilisateurs en recommandations de conception est un challenge

AXE s’inspire également des méthodes projectives (l’une des plus connue en psychologie étant le test du Rorschach – celui avec les tâches d’encres !) en utilisant des stimuli ambigus pour aider les participants à exprimer leurs attitudes, opinions et croyances envers un concept de produit. Les tests projectifs suggèrent qu’un individu structure une situation ambiguë en mettant en valeur ses propres besoins conscients et inconscients.

« Décrire des expériences avec des mots est une tâche difficile en soi, et demander à un utilisateur d’imaginer une expérience fictive la rend encore plus difficile. » (Gegner & Runonen)

Format

AXE se présente sous la forme de 12 paires d’images (+ 2 paires d’images vierge pouvant être utilisées pour couvrir des dimensions non prises en compte par le modèle théorique de AXE). Ces images ont été choisies comme étant des représentations visuelles de certains items du questionnaire AttrakDiff, qui sont des paires de mots contrastés (ex. simple vs. compliqué) (voir l’article Méthode consacrée à l’AttrakDiff). De la même manière, les images de AXE sont ainsi présentées deux par deux, et représentent visuellement des notions opposées.

AXE methode_paires images
Paires d’images et échelles présentées aux participants (1- clair vs confus / 2-peu exigeant vs challenging)

Une ligne relie les deux images et on demande à l’utilisateur de faire une croix sur ce continuum, à l’endroit correspondant à son ressenti par rapport au concept de produit présenté. Cette ligne représente en fait une échelle de mesure, mais n’est pas graduée afin de laisser le participant s’exprimer librement et ne pas brider son imaginaire.

Passation

L’approche AXE peut être divisée en 3 étapes principales : le briefing sur le concept, l’évaluation du concept et l’analyse des données.

méthode AXE

Avant l’évaluation, l’équipe de conception doit définir des objectifs de conception, auxquels les résultats seront comparés. La mise en place de ces objectifs donne à l’équipe une compréhension partagée des buts durant la conception et la capacité d’évaluer si les perceptions des utilisateurs sont conformes aux objectifs.

Concept Briefing

Au début de la session, le concept est présenté aux participants (toujours de la même manière pour garantir des résultats comparables). La description du concept est lue à voix haute par l’expérimentateur et une copie papier est fournie au participant. Des scénarios d’usage (sous forme de narrations) sont présentés de la même manière. Afin de rendre la narration plus engagée et personnelle, on utilise les pronoms « tu » ou « vous », ce qui évite aux participants de spéculer sur les expériences de personnages fictifs à la place des leurs. Si les narrations sont accompagnées de matériel autre que du texte (ex. illustrations ou prototypes basse fidélité), on distribue ce matériel au participant pour qu’il puisse le consulter tout au long de la session.


AXE methode_evaluation formatEvaluation du Concept

L’élément principal de la méthode AXE est un formulaire de réponse comprenant des paires d’images et des échelles. Le but du formulaire est de donner à chaque entretien une structure similaire, et aussi d’aider les participants à évoquer des aspects expérientiels qu’ils perçoivent. Le formulaire est composé de 3 parties : les consignes pour guider le participant, un exercice d’entraînement facile pour vérifier qu’il a bien compris la procédure et le mettre à l’aise, et enfin les 12 paires d’images à évaluer. Les paires d’images ont été sélectionnées selon une méthode, brièvement décrite dans l’article original.

Durant la session d’évaluation, on demande aux participants laquelle des images de chaque paire il associe le plus fortement au concept du produit. Les choix réalisés servent de base pour débuter une conversation sur le concept « pourquoi associez-vous plutôt le concept avec l’image A qu’avec l’image B ? ». L’idée est de découvrir quelle paire de mots le participant utilise implicitement pour prendre sa décision. L’expérimentateur continue de creuser au fur et à mesure les choix du participant. Si le participant dit qu’il associe plus fortement le concept à l’image A mais qu’il préfèrerait l’image B, alors on peut demander les raisons de cette préférence et acquérir ainsi une meilleure compréhension des attentes du participant envers le concept. On peut également sonder quels changements dans le concept seraient appréciés et recueillir des suggestions d’amélioration.

Analyse des données

Après l’entretien, les données sont retranscrites et analysées. La transcription doit être faite mot à mot pour préserver le plus d’information possible. Ensuite, le texte doit être partitionné en petits segments plus faciles gérables, chaque morceau contenant une seule observation / idée.

Exemple : « Cette image me rappelle le calme. Je ne pense pas que ce concept est très calme. S’il n’y avait pas ces couleurs flashy ou s’il n’y avait pas d’animations, il serait plus calme. »

Partition :

  1. cette image me rappelle le calme
  2. je ne pense pas que ce concept est très calme
  3. s’il n’y avait pas ces couleurs flashy, ce serait plus calme
  4. s’il n’y avait pas d’animations, ce serait plus calme

Catégorisation : chaque segment extrait est codé dans une catégorie selon l’information qu’il contient. Les catégories sont :

  1. les caractéristiques perçues du produit : caractéristiques générales, contenu, fonctionnalités, interactions, présentation
  2. les attributs associés : attributs pragmatiques (utilité, utilisabilité), stimulation, identification, évocation
  3. les conséquences anticipées : attractivité perçue, changement comportemental
  4. les informations pour améliorer le concept : suggestions, les choses non désirables, les informations méta (qui ne sont pas directement liées au concept mais peuvent aider à comprendre l’utilisateur)

Après le codage des résultats, les segments sont triés afin que l’équipe de conception puisse identifier rapidement les forces et faiblesses du concept global et de ses caractéristiques précises.

Avantages et limites

  • permet d’évaluer la nature abstraite des concepts
  • échelle non verbale, basée sur une méthode projective (stimuli visuels) pour stimuler l’expression libre des participants
  • ne convient pas facilement à des études longitudinales
  • coûteux en temps

Conseils pratiques

  • Prévoir de distribuer aux participants les documents (description du concept, scénarios, consignes)
  • Durant l’entretien, ne pas utiliser d’adjectifs qui n’ont pas été utilisés par le participant afin de ne pas biaiser les réponses
  • Vous pouvez ajouter 2 paires d’images si vous avez besoin d’évaluer des dimensions supplémentaires (ex. confiance, sécurité, etc).

Sources

Tout le matériel nécessaire pour utiliser la méthode AXE est disponible gratuitement en ligne (comprend un manuel + le guide d’entretien avec les photographies) : http://www.axe-hub.com/

Gegner, L. and Runonen, M. For What it is Worth: Anticipated eXperience Evaluation. 8th International Conference on Design and Emotion, Central Saint Martins University of the Arts London with the Design and Emotion Society (2012).

Hassenzahl, M. The thing and I: understanding the relationship between user and product. In M.A. Blythe, K. Overbeeke, A.F. Monk and P.C. Wright, eds., Funology: from usability to enjoyment. Kluwer Academic Publishers, 2003, 31–42.!

http://www.allaboutux.org/axe-anticipated-experience-evaluation

http://fr.slideshare.net/ajovalasit/anticipated-experiences-early-product-concept-evaluation-lutz-gegner-at-hcdi-presentationjune-2013#