J’insiste souvent dans mes présentations sur la dynamique temporelle de l’UX, qui est trop souvent négligée. Or, prendre en compte cette temporalité de l’UX nécessite des méthodes d’évaluation et de conception adaptées. Les journaux de bord UX permettent cette évaluation de l’UX à travers le temps.

Certaines parts de ce post sont traduites de mon article “Dear Diary: Using Diaries to Study User Experience“, que vous trouverez dans la section Ressources.

Les méthodes d’évaluation longitudinales

Les méthodes d’évaluation dites longitudinales permettent d’évaluer l’UX à travers le temps, de la manière la plus riche possible. Elles consistent en une évaluation répétée de l’UX auprès même groupe d’utilisateurs sur une longue période de temps. Elles permettent ainsi d’évaluer les changements de l’UX à travers le temps. Selon la méthode utilisée, elles permettent de recueillir des données qualitatives et/ou quantitatives. Elles ont pour avantage de donner des résultats très riches et précis. La contrepartie est que les méthodes longitudinales demandent un important investissement de temps et de ressources, c’est pourquoi on leur préfère souvent des méthodes moins contraignantes (telles que les méthodes retrospectives). De même, il faut veiller à garder la motivation des participants élevée durant la période de l’étude.

Les journaux de bord UX

Tenir un journal n’est pas qu’un passe-temps d’adolescents essayant de donner un sens à la vie et à l’amour. Dans le domaine des Interactions Homme-Machine (IHM), les journaux de bord sont une méthode qualitative de collecte de données sur ce que les utilisateurs ont fait ou ont ressenti. Tout comme un journal de voyage contient des descriptions des expériences du voyageur, un journal UX va recueillir des descriptions des expériences d’un utilisateur avec un produit ou un système.

Sur quoi un journal de bord UX peut-il nous renseigner ? Selon le type de journal de bord que vous concevez, vous pourrez recueillir de l’information sur l’impression globale d’un système, la fréquence d’usage de fonctionnalités, l’acceptation technologique, les émotions associées à la réalisation d’une tâche, ou encore la facilité d’apprentissage d’une application. Bien sûr, vous pourriez aussi recueillir ce type d’information avec un questionnaire, un entretien ou un test utilisateurs. Mais seules les méthodes longitudinales vous donneront accès à une information temporelle collectée dans un contexte d’interaction naturel.

Avantages

Etudier la dynamique temporelle de l’UX : avec un journal de bord vous pouvez collecter des données sur les différentes périodes de l’UX. Ainsi, la première saisie du journal peut-être remplie avant l’usage pour évaluer “l’UX anticipée” (celle que l’on imagine). Puis, l’utilisateur va remplir chaque jour le journal, donnant ainsi des informations sur “l’UX momentanée” (celle que l’on vit). A la fin de la période d’étude, la dernière évaluation permet d’évaluer “l’UX épisodique” (celle dont on se souvient), voire “l’UX cumulée” (dont on se souvient après de multiples périodes d’usage).

Collecter des évènements et expériences en contexte naturel : le contexte d’usage est l’un des facteurs impactant l’UX d’un système ou d’un produit. Ainsi, lors d’un test utilisateur ou d’un entretien, la présence de l’expérimentateur peut biaiser les résultats. Qui n’a jamais vu un utilisateur évaluer un produit comme très positif alors qu’il a échoué à réaliser la plupart des scénarios de test ? En tant que professionnels, nous voulons capturer l’UX “réelle” et non celle qui est influencée par un environnement contrôlé. La diffusion des technologies mobiles accentue encore ce phénomène. C’est là l’un des avantages des journaux de bord car ils se focalisent sur la description d’évènements et expériences dans leur contexte naturel.

Déterminer les antécédents, corrélats et conséquences des expériences quotidiennes : comme nous l’avons déjà souligné, il y a plusieurs périodes d’UX, qui s’influencent mutuellement. Ainsi, l’UX momentanée va être influencée par l’UX anticipée (qui crée des attentes à satisfaire). Puis, l’UX momentanée va être “déformée” par le filtre des processus cognitifs (notamment la mémoire) pour devenir l’UX épisodique et cumulative. Les attentes de l’utilisateur, son humeur ou encore le contexte d’usage sont autant de dimensions qui peuvent influencer l’UX au quotidien. Un journal de bord capture ces influences, en éclairant sur la façon dont l’UX s’est formée et à évoluer à un moment donné. Il vous permettra ainsi de détecter si la mauvaise humeur de l’utilisateur ou la critique de la marque à la télé ont impacté son évaluation de l’interface. Vous pourrez également découvrir que le jeu que vous évaluez produit des émotions bien plus positives lorsque l’utilisateur interagit avec des amis, alors même que cette fonction avait été négligée dans la conception.

Limites

Rien n’est parfait ! Comme pour toute méthode, vous devrez considérer les avantages et inconvénients des journaux de bord UX avant de vous lancer dans une telle étude. Les principaux inconvénients de cette méthode sont le temps et le coût liés :

• au recrutement des participants : la qualité des résultats dépend beaucoup des participants, puisque le journal de bord est limité à la capacité d’expression des utilisateurs. C’est particulièrement vrai dans les études comprenant de nombreuses questions ouvertes. Vous devrez atteindre un niveau d’engagement élevé de vos participants pour obtenir des données suffisantes et fiables.
• aux sessions de briefing : une étude par journal de bord nécessite souvent des séances de briefing détaillé pour s’assurer que les participants comprennent bien ce qui doit être rapporté, comment et quand.
• à l’analyse des données : analyser des données longitudinales prend du temps, et encore plus dans le cas d’un journal de bord en version papier.

Concevoir un journal de bord UX

Choisir un protocole et un rythme d’évaluation : Il existe 3 types de protocoles pour un journal de bord, basés sur la façon dont on sollicite l’utilisateur.

• par intervalle : les utilisateurs doivent évaluer leur expérience à des intervalles réguliers et prédéterminés (par exemple toutes les 2h ou tous les 2 jours). Cette option est répandue mais les utilisateurs peuvent oublier de compléter le journal, ce qui crée des données manquantes.
• par signal : on utilise ici un appareil qui signale aux utilisateurs à quel moment il doivent évaluer leur UX en complétant une entrée de journal. Ici, pas de souci d’oubli, mais un coté intrusif de la méthode dans le quotidien.
• par évènement : les participants doivent évaluer leur UX à chaque fois qu’un évènement particulier survient. Ce protocole est particulièrement utile si vous êtes intéressé par l’analyse d’une expérience induite par certains évènements, tels qu’une erreur système ou une notification.

Le rythme des évaluations doit être déterminé en fonction des besoins de votre recherche. Ne soyez pas trop exigeant sinon votre journal UX deviendra un fardeau pour vos utilisateurs : 2 ou 3 entrées par jour au maximum sur une durée généralement de 2 semaines (si le journal est à remplir chaque jour, ou plus si les entrées sont plus espacées).

Impliquer vos participants : L’un des principaux défis d’une étude par journal de bord est le maintien de l’engagement des participants à un niveau élevé pour garantir la complétion du journal. Vous devez vous assurer que les participants comprennent le type de description et le niveau de détail requis. Au cours de l’étude, vous pouvez rappeler aux participants l’importance de compléter le journal. Une récompense en cash ou un cadeau (ex : possibilité de garder le produit évalué) peuvent être utiles. Attention cependant à ne pas baser la récompense sur la quantité de données recueillies au risque d’être submergé de données non pertinentes !

Version papier ou version électronique ? Parce que les études UX sont souvent liés à l’utilisation de systèmes interactifs, le choix d’un journal électronique est souvent judicieux. Il simplifie l’analyse des données et permet de combiner des entrées de journal et des logs (ex. date, heure, tâche en cours). Les journaux électroniques permettent aussi plus de créativité : imaginez une étude par messagerie vocale, textos, vidéos ou photos ! Toutefois, essayez d’adapter la méthode aux utilisateurs cibles. Si vous menez une étude avec des personnes âgées, une version papier sera sûrement plus appropriée pour mettre vos participants à l’aise.

Structure du journal : les journaux peuvent avoir un format ouvert (les utilisateurs rapportent leurs expériences avec leurs propres mots) ou au contraire très structuré (avec des questions fermées ou à choix multiples). Pour faire votre choix : avez-vous besoin d’informations précises ou souhaitez-vous encourager une réflexion libre ? On adopte souvent une approche mixte pour combiner données qualitatives et quantitatives. N’oubliez pas d’insérer dans votre journal des consignes claires et de souligner l’importance de rapporter les évènements aussitôt qu’ils surviennent.

Collecter et analyser les données : une fois votre journal conçu, n’oubliez pas de le pré-tester pour être sûr de sa qualité avant de lancer votre étude ! Comme l’engagement des gens diminue rapidement, les participants gardent le journal 2 semaines maximum. Si le journal est électronique, vous pouvez surveiller sa complétion au fur et à mesure. N’hésitez pas à communiquer avec les participants au cours de l’étude pour s’assurer que tout va bien.

A la fin de l’étude, réalisez des entretiens de debriefing avec les participants. C’est l’occasion de leur demander d’expliquer certaines de leurs évaluations. Une bonne compréhension des réponses qualitatives est nécessaire pour interpréter correctement les données. L’analyse des données dépend de la façon dont le journal est structuré. Les données quantitatives peuvent être analysées en utilisant un logiciel d’analyse statistique. Traiter les données qualitatives est plus difficile, mais cela en vaut la peine car cela vous fournira des informations précieuses sur l’expérience subjective !