La complétion de phrase ou sentence completion est une méthode qualitative d’évaluation de l’UX et/ou d’exploration des besoins et valeurs des utilisateurs. Après avoir utilisé un système ou un produit, on donne au participant des débuts de phrases, qu’il doit compléter. Ces débuts de phrases doivent aider l’utilisateur à penser aux aspects expérientiels liés à l’usage du système. On lui proposera des phrases telles que : “Quand j’utilise ce produit, je me sens _________” ou encore “L’apparence du produit est _________“. La méthode combine donc questionnaire et technique projective.

Cette méthode produit des données qualitatives semi-structurées sur le point de vue des utilisateurs et leur ressenti. Les résultats sont moins fastidieux à analyser que ceux obtenus à partir d’entretiens. Ils sont évidemment plus longs à analyser que les résultats d’un questionnaire UX tel que l’AttrakDiff, mais ils permettent d’obtenir une information plus détaillée, notamment sur les émotions négatives. La complétion de phrase n’est pas un instrument de mesure strict mais plutôt une technique pragmatique pour récoler du feedback utilisateur durant le développement d’un produit.

Développement de la méthode

La méthode de la complétion de phrases a été développée par Sari Kujala et son équipe des Universités de Aalto et de Tampere en Finlande. Elle permet de dépasser les limites de certaines méthodes d’évaluation de l’UX ou de les compléter.

Une évaluation indirecte (projective) de l’UX qui dépasse les biais du questionnement direct : L’évaluation de l’UX est un challenge car les utilisateurs ont du mal à exprimer leur expérience quand on leur demande de le faire. Ainsi, le biais de désirabilité sociale, qui veut que chacun souhaite montrer une image positive de soi, peut fausser les réponses à un entretien. Le questionnement direct apporte souvent des informations générales sur les attitudes ou réactions des utilisateurs mais ne parvient pas toujours à détecter les raisons profondes de ces attitudes. Les méthodes projectives comme la complétion de phrases sont une manière indirecte d’évaluation de l’état émotionnel et du fonctionnement mental d’un sujet. Dans les méthodes projectives (voir aussi la méthode UX AXE), un stimulus au sens généralement ambigu est proposé au participant. Le stimulus ayant peu de sens en lui-même, on fait l’hypothèse que les participants l’interprètent selon leur propre vécu / ressenti / point de vue.

Une évaluation qualitative et ouverte qui dépasse la rigidité des évaluations quantitatives : Les questionnaires d’évaluation de l’UX tels que l’AttrakDiff ont pour inconvénient de proposer aux utilisateurs une évaluation basée sur des propriétés (items) prédéfinies. Or, comme l’UX est subjective et complexe, il est difficile de déterminer si les utilisateurs trouvent les items de l’AttrakDiff essentiels et significatifs pour refléter leur propre expérience. De même, les résultats quantitatifs ne permettent pas de connaître les raisons d’une expérience évaluée comme positive ou négative : ils ne renseignent donc pas les concepteurs sur la manière d’améliorer le système. Pour palier à ces manques, des méthodes d’évaluation plus qualitatives et plus ouvertes comme la complétion de phrases sont parfois nécessaires.

Format

Cette méthode se présente sous forme de phrases à compléter par les participants. On donne au participant des débuts de phrase tels que “La chose la plus importante pour moi est __________” et on lui demande de les compléter spontanément.

Il n’y a pas de nombre prédéfini de phrases et c’est donc à chacun de décider du nombre de phrases qu’il souhaite inclure dans son étude. Ce choix va se faire en fonction du nombre de dimensions à explorer, du temps et des ressources disponibles ainsi que des autres méthodes qui seront déployées dans une même session. A titre indicatif, les concepteurs ont utilisé de 12 à 24 phrases dans les cas d’études qu’ils ont réalisé lors de la création de cette technique.

De même, le contenu des phrases est également libre et adaptable. Il est possible d’utiliser (donc de traduire) les phrases des concepteurs pour servir de base à l’étude. On peut également créer ses propres phrases en faisant toutefois attention à la qualité de leur formulation. Globalement, il faut éviter les débuts de phrases en un seul mot ou au contraire trop longs car ces derniers ne stimulent pas assez les réponses des participants. On peut proposer des phrases très génériques sur l’expérience du produit (“quand j’utilise ce produit, je me sens ______”) ou être plus précis en ajoutant un mot clé relatif si on veut investiguer une dimension particulière (“L’apparence du produit est _______”). Il est nécessaire de développer de nouvelles phrases de manière itérative, en les prétestant sur un petit échantillon avant de les utiliser pour une étude réelle.

Exemple de phrases à compléter – Etude sur un smartphone (phrases extraites et traduites sur base de Kujala et al., 2013)

1. Utiliser mon smartphone est __________
2. Les fonctionnalités de mon smartphone sont __________
3. Mon smartphone est le meilleur pour ___________
4. Mon smartphone n’est pas adapté pour ___________
5. Je pense que l’apparence de mon smartphone est __________
6. Mon smartphone a l’air __________
7. Quand j’utilise mon smartphone, je me sens ___________
8. Je suis content de mon smartphone parce que ___________
9. Le problème avec mon smartphone c’est __________
10. C’est irritant que mon smartphone ___________
11. Si d’autres personnes ont fait attention à mon smartphone, elles __________
12. Le propriétaire d’un smartphone est généralement __________
13. Dans ma culture, mon smartphone __________
14. Par rapport aux autres smartphones, mon smartphone est __________

Passation

On demande aux utilisateurs de répondre rapidement et sans réfléchir de trop, en précisant qu’il n’y a pas de bonne ou mauvaise réponse. On précise également qu’il n’y a pas de catégories de réponses attendues, l’utilisateur est libre de compléter chaque phrase comme il le souhaite.

Exemple de consigne : Merci de compléter les phrases ci-dessous afin qu’elles décrivent votre expérience avec le produit A. Il n’y a pas de bonne ou mauvaise réponse, essayez plutôt de répondre spontanément et sans trop réfléchir. Vous pouvez laisser des phrases sans réponse si vous avez l’impression qu’elles ne correspondent pas bien à votre situation. 

Il est possible de faire des passations directes ou à distance, online. On peut utiliser la méthode en complément d’autres évaluations de l’UX, notamment pendant un test utilisateur ou en complément du questionnaire AttrakDiff. Niveau temporalité, la méthode peut être utilisée à tous les stades de la conception. Elle peut servir pour évaluer des concepts, des prototypes ou des produits finis. Utilisée sur des concepts, elle peut alors évaluer l’UX anticipée. Sur des prototypes ou produits plus aboutis, elle va généralement évaluer l’UX épisodique ou cumulative (voir à ce sujet l’article sur la temporalité de l’UX).

Enfin, les concepteurs de cette méthode ont montré que la qualité et la richesse des réponses produites sont variables. Ainsi, quand les utilisateurs décrivent un produit qu’il ont possédé ou utilisé pendant une longue période, ils vont produire des réponses plus riches que celles produites après un court test d’utilisabilité. De même, les réponses sont plus détaillées lorsque les phrases à compléter sont dans la langue natale des participants.

Analyse des résultats

Les concepteurs n’ont pas développé de cadre d’analyse ou de catégorisation car la technique de sentence completion n’a pas été développée pour être un outil de diagnostic quantitatif. Les résultats (sous forme de phrases complétées) peuvent : (1) être utilisés directement comme source d’information ou d’inspiration ou (2) être catégorisés en fonction de leur fréquence afin de donner des données quantitatives.

Le plus facile est de grouper les données par dimension étudiée et par valence (c’est à dire négatif vs. positif). Vous pouvez ensuite regrouper ensemble les réponses similaires et nommer chaque catégorie par la réponse la plus fréquente qu’elle contient. Il est possible de représenter les mots sur un diagramme pour distinguer visuellement les idées négatives et positives.

• Les participants peuvent s’exprimer librement. Les données récoltées sont donc plus fiables que pour les questionnaires UX traditionnels (qui ne proposent pas toujours les options de réponse appropriées pour chaque participant)
• Méthode facile à appliquer et plutôt fun pour les participants et les experts qui l’administrent
• Les données sont recueillies sous forme écrite (en direct ou en ligne)
• Peut être utilisée pour évaluer les motivations ou les attitudes
• Moins de biais culturels que les questionnaires standardisés (qui ont par définition des items prédéfinis)
• Comparé à l’AttrakDiff, cette technique permet un meilleur recueil du feedback négatif des utilisateurs, nécessaire à l’amélioration du produit

Limites

• Analyse de données qualitatives qui prend du temps car il faut catégoriser et synthétiser les résultats
• Les phrases initiales sont longues à créer. Ensuite on peut réutiliser ou adapter les phrases à d’autres contextes ou produits
• Il faut créer de nouvelles phrases ou les réadapter en fonction du type de produit, du contexte ou du type de facteurs que l’on étudie
• Comme les utilisateurs analysent leur UX en se basant sur leurs souvenirs d’expériences momentanées, il se peut qu’ils ne se souviennent pas des détails : la technique de la complétion de phrases ne se prête pas bien aux analyses détaillées

Conseils pratiques

• Insister sur la spontanéité dans la réponse des utilisateurs
• Pour créer de nouvelles phrases, veiller à la formulation et prétester les phrases sur des échantillons tests
• Utiliser plusieurs phrases pour évaluer un même concept ou aspect de l’expérience, car cela renforce la validité des réponses
• Faire les passations dans la langue natale des utilisateurs, car il a été montré que les réponses sont ainsi plus claires et plus détaillées
• Si vous souhaitez évaluer l’image du produit, demandez aux participants de décrire les caractéristiques de l’utilisateur typique

Sources

• Kujala, S., Walsh, T., Nurkka, T., Crisan, M. (2013). Sentence Completion for Understanding Users and Evaluating User Experience. Interacting with Computers, 26, 3, 238-255. (article payant sur base de données Oxford Journals)
• Kujala, S. and Nurkka, P. (2012). Sentence Completion for Evaluating Symbolic Meaning. International Journal of Design, 6, 3, 15-25. (article complet disponible gratuitement)

Allez, un petit test de cette technique 🙂 Complétez ces trois phrases dans les commentaires de l’article : 

1. “Le blog UX Mind est ___________”
2. “Je suis content du blog UX Mind parce que __________”
3. “Le problème avec le blog UX Mind c’est __________”