Cette brève s’inscrit dans une série de publications destinées à partager l’expérience du WeLL sur l’un des aspects fondamentaux de l’approche Living Lab : l’implication des utilisateurs et leur(s) rôle(s) au niveau des projets, notamment au cours des tests d’usages.
Une fois le dispositif prototypé, il importe de le confronter aux attentes et usages des utilisateurs. C’est la phase du test d’usages. Ses modalités varient en fonction du dispositif et de son degré de finition bien sûr, mais aussi en fonction de l’objectif du test, c’est-à-dire des dimensions sélectionnées comme critères d’évaluation, et de l’environnement dans lequel se déroule ce test.
L’objectif du test : que va-t-on tester ?
L’évaluation peut porter sur différentes dimensions du dispositif. Entre autres sur sa fonctionnalité technique, son utilité, son utilisabilité, son acceptabilité ou encore sur l’expérience utilisateur.
Les fonctionnalités techniques
Le test de la fonctionnalité technique du dispositif ne mobilise pas les utilisateurs finaux, mais bien le savoir expert qui a permis la traduction de la solution imaginée à l’étape précédente, la co-création, en dispositif capable de répondre aux attentes des utilisateurs. Ce test relève du registre de la vérification de la qualité technique intrinsèque du dispositif. Cette procédure, largement standardisée, ne peut se prévaloir du label du test d’utilisabilité même si la fonctionnalité du dispositif est un prérequis de son usage. Elle peut concerner toutes les fonctionnalités ou privilégier certaines d’entre elles comme elle peut tester le “degré” de finition du dispositif.
L’utilité du dispositif
La notion d’utilité comporte deux facettes :
- La possibilité, pour l’utilisateur, d’atteindre l’objectif visé (utilité-destination) ;
- La “plus-value” que le dispositif apporte à celui qui l’utilise effectivement (utilité-valeur) par rapport à l’existant ou la situation actuelle.
Un dispositif a tout intérêt à présenter les deux facettes pour être accepté par les utilisateurs potentiels. En pratique, il peut afficher une utilité-destination sans présenter de plus-value. A l’inverse, on peut imaginer un dispositif doté d’une valeur d’usage sans rapport direct avec son utilité de destination (détournement d’usage). On voit que la notion d’utilité est une propriété qui n’existe pas a priori. Elle se construit (évolue) au gré des interactions entre le dispositif, les concepteurs-utilisateurs, le contexte physique et social dans lequel l’usage du dispositif s’inscrit (scénarios d’usages) ainsi que des modifications du dispositif au fil de la démarche itérative favorisée par l’approche Living Lab.
Illustration du projet Cocktail Challenge où les étudiants testent les fonctionnalités techniques de leur prototype, mais également leur utilité.
L’utilisabilité du dispositif
Il existe différentes définitions de l’utilisabilité, différentes manières de la mesurer, ce thème étant devenu un enjeu économique et un champ de recherches important lié notamment à la multiplication d’objets techniques/technologiques plus ou moins faciles à utiliser. Au fil des extensions de ses composantes, l’utilisabilité devient même pour certains synonyme de qualité globale du dispositif, étendant ainsi largement la définition au-delà de celle donnée par la norme ISO 9241 (efficacité, efficience et satisfaction).
Les critères proposés aujourd’hui par les ergonomes et les sciences sociales s’élargissent : on y ajoute l’apprenabilité et la mémorisation. Chacun des critères peut se mesurer de différentes façons (indicateurs). Tous les critères, tous les indicateurs n’ont pas la même pertinence. Celle-ci va dépendre des caractéristiques du dispositif, des utilisateurs et du contexte d’utilisation. La sélection des critères d’évaluation fait partie de la conception du cahier des charges lors de l’étape précédente de co-création. Il s’agit d’une opération critique car les résultats de l’évaluation vont en principe influencer les modifications successives du dispositif sur base de l’exploitation de chaque retour d’information.
L’utilisabilité d’un dispositif comporte à tout le moins les dimensions suivantes :
- L’efficacité ou la qualité de la performance de l’utilisateur mesurée par la comparaison des objectifs initiaux avec les résultats obtenus ;
- L’efficience renvoie à la capacité de l’utilisateur d’atteindre un objectif donné avec le minimum de ressources (temps, charge de travail, coûts) ;
- La satisfaction, l’aspect subjectif de l’utilisabilité, est une variable complexe car de nombreuses raisons expliquent la satisfaction/insatisfaction des utilisateurs, notamment le plaisir associé à l’usage (funologie) ;
- L’apprenabilité (facilité d’apprentissage) et la mémorisation – beaucoup d’objets techniques sont utilisés par intermittence – sont quant à elles intimement liées à l’efficience d’un dispositif, et plus généralement à son usage effectif.
Illustration du projet Happy Mum lors de tests d’utilisabilité.
L’acceptabilité du dispositif
Cette propriété du dispositif désigne habituellement son intégration dans les activités de l’utilisateur ainsi que son appropriation. Cette dernière s’observe lorsque l’utilisateur ne subit pas le dispositif mais a envie de l’utiliser parce qu’il est conforté dans ses valeurs (culturelles, esthétiques…), parce que la solution suscite chez lui des réactions affectives et émotives positives.
L’expérience utilisateur
Au-delà de son utilisabilité– la notion s’élargissant de plus en plus – il peut être plus approprié d’évaluer le produit ou le service de manière globale, c’est-à-dire en évaluant l’expérience de l’utilisateur lorsqu’il rentre en contact puis utilise la solution, afin d’évaluer son potentiel effectif d’acceptabilité, conséquence d’une expérience utilisateur positive.
Comme pour l’utilisabilité, la notion “expérience de l’utilisateur” connaît différentes définitions. Dans l’ensemble, on lui reconnait trois dimensions :
- La perception par l’utilisateur des qualités instrumentales du dispositif (conditions liées à l’usage de la solution comme l’utilisabilité, utilité) ;
- La perception de ses qualités non instrumentales (aspects esthétiques, valeurs véhiculées, facteurs motivationnels)
- Ces deux perceptions étant sources de réactions émotionnelles.
Les caractéristiques des utilisateurs et les paramètres du contexte d’usage influencent les interactions entre ces trois composantes de l’expérience utilisateur ainsi que ses conséquences en termes d’acceptabilité – jugements et comportements.
L’approche traditionnelle des évaluations d’utilité et d’utilisabilité réside dans la mesure objective de paramètres, comme le temps passé pour réaliser une tâche. Une différence majeure de l’approche “expérience utilisateur” par rapport à cette approche traditionnelle est d’inclure la perception, forcément subjective, de l’utilité et de l’utilisabilité du dispositif par l’utilisateur ainsi que de prendre en compte les interactions entre les propriétés du dispositif (qualités instrumentales et non instrumentales), les caractéristiques de l’utilisateur et l’environnement physique et social (comme par exemple des facteurs sociaux, culturels, économiques, etc.). Car ce sont ces interactions qui permettent de mieux comprendre le processus d’appropriation grâce auquel on passe d’une découverte, d’une idée, d’un produit nouveau (innovation technique) à des pratiques sociales nouvelles permettant d’intégrer par diffusion la nouveauté dans le tissu économique et social, de l’utiliser largement (innovation sociale).
L’environnement dans lequel se déroule le test d’usages
Cet environnement est variable. Il va du test en laboratoire au test en situation réaliste ou encore réelle (à domicile par exemple). L’ambition de l’approche LL est d’offrir un environnement aussi proche que possible de la situation réelle des utilisateurs. Cette dimension est étroitement liée aux outils méthodologiques mobilisés/mobilisables pour les différents tests.
Le type d’environnement peut varier avec l’objectif du test. Si l’évaluation de l’efficacité d’un dispositif peut dans certains cas s’accommoder d’un test en laboratoire sous forme d’expérimentation, il n’en va pas de même de l’expérience utilisateur qui repose sur les paroles exprimées par les utilisateurs ainsi que sur l’observation de leurs comportements en situation aussi réelle que possible.
Illustration du projet Mens Sana en situation de « laboratoire » pour des test d’utilisabilité.
Il peut aussi varier avec le “degré de finition” de la solution. Bien souvent plusieurs prototypes successifs doivent être testés sur différentes dimensions avant d’aboutir, au terme d’une démarche itérative, à la version du dispositif qui sera mise sur le marché ou diffusée plus largement.
A un stade de finition avancé, la mise à l’épreuve du dispositif se focalise, entre autres, sur la question de son acceptabilité et sur celle de ses chances d’intégration dans le contexte réel. A-t-il un sens au niveau des activités individuelles de l’utilisateur ? En fera-t-il usage? Quel serait l’impact organisationnel (la résistance au changement induit par l’usage du nouveau dispositif) ou encore l’impact sur la société dans son ensemble (l’e-santé comme réponse à la désertification médicale des zones rurales, par exemple) ?
Toutes ces questions appellent une mise à l’épreuve dans un environnement aussi réaliste que possible à chacun des niveaux concernés (individuel, organisationnel et sociétal) et nécessitent une version du dispositif relativement finie, déjà testée au niveau de son utilité et utilisabilité, afin de pas influencer de manière biaisée et négative l’évaluation de son acceptabilité.
Illustration du projet Easy-P où le dispositif est testé en environnement réaliste, avant d’être testé à domicile. Le projet de service de télémonitoring, pour lequel une appli mobile et des objets connectés sont évalués, est également testé à domicile par les patients. L’expérience utilisateur d’une appli mobile et d’objets connectés est aussi évaluée.
L’apport de l’approche LL dans l’évaluation de l’expérience utilisateur
Les tests d’usages, notamment ceux portant sur l’utilisabilité, sont devenus monnaie courante dans le processus de développement de produits, en particulier de dispositifs s’appuyant sur les nouvelles technologies. Ils font partie de la démarche marketing. Il en va de même pour les tests d’acceptabilité finale. La différence entre la démarche marketing et l’approche LL tient dès lors moins aux outils méthodologiques utilisés qu’à la présence, dans le second cas de figure, d’un processus explicite intégrant les modalités de la participation des utilisateurs, qui deviennent co-créateurs des dispositifs.
Dans la démarche marketing classique, l’évaluation d’un dispositif se conduit sur base de critères définis par des experts (marketing, technologiques, etc.). Ce sont eux qui sont à la manœuvre et qui observent les utilisateurs dans leur mise en œuvre du dispositif testé.
Dans l’approche LL, ce sont les utilisateurs qui s’engagent dans la co-construction d’un modèle a priori de l’utilisabilité recherchée, voire de l’apprenabilité, de l’efficience, des objectifs recherchés … Ce modèle, qui leur sert de référentiel, prend en compte les critères qu’ils jugent pertinents pour décrire leur expérience utilisateur.
Illustration du 1er atelier de co-création du projet Happy Mum où les propriétés des futures solutions à développer sont définies avec les utilisateurs.
L’utilité d’une évaluation mobilisant l’expérience utilisateur plutôt que le seul savoir expert comme référentiel est au moins triple.
- Elle se mesure d’abord en termes d’adéquation du dispositif final aux attentes/critères des utilisateurs impliqués tout au long du processus de son développement.
- Le dispositif est le résultat d’une logique d’apprentissage mutuel privilégié par l’approche LL entre les utilisateurs et le porteur de projet. Celle-ci peut être réactivée par la suite – le porteur du projet est déjà sensibilisé à l’approche – et permet ainsi au dispositif de s’adapter à un environnement évolutif – technologique, social, économique, … pour sa viabilité.
- Enfin, une mise à l’épreuve (évaluation) de la nouveauté proposée fondée sur l’expérience utilisateur et non plus sur le seul savoir expert permet d’appréhender une situation aussi complexe que l’introduction d’un nouveau dispositif et in fine de guider son appropriation initiale, son appropriation de proximité et sa diffusion sous forme de pratiques sociales nouvelles jusqu’à une certaine forme de normalisation de ces pratiques (innovation sociale) qui est la finalité ultime de l’approche LL.
Pourquoi vous parler de ça ?
Certes, les outils existent et ne cessent de s’inventer au fur et à mesure que l’approche collaborative s’étend aux utilisateurs. Ils continuent également à s’affiner au fil des retours d’expérience des participants. C’est là le sens de cette brève qui engage le WeLL dans un exercice réflexif sur ses pratiques et dans le partage avec tous ceux qui se sont impliqués dans les projets traités et les actions menées.
Vous souhaitez plus d’informations sur le sujet ? Voici une première référence :
A lire également :
[Série Méthodo] #01 Les utilisateurs, ces experts …
[Série Méthodo] #02 Les utilisateurs au centre de l’étape exploratoire
[Série Méthodo] #03 Les utilisateurs, co-créateurs de solutions innovantes