L’ergonomie du jeu vidéo – Partie 2 : Comment l’évaluer ?

Dans mon précédent billet, on a vu globalement ce qu’était l’ergonomie d’un jeu vidéo et pourquoi s’y intéresser. Dans ce billet, nous verrons rapidement comment évaluer l’ergonomie d’un jeu (et la préserver) et surtout comment concevoir notre propre méthode. Sans faire ici l’éventail des méthodes d’évaluation de l’ergonomie d’un jeu vidéo, nous nous concentrerons d’abord sur les tests utilisateurs pour en voir les avantages mais aussi les limites qui nous conduisent à l’élaboration d’une méthode complémentaire.

Quelles méthodes pour évaluer l’ergonomie d’un jeu ?

Les ergonomes ont à leur disposition pléthores d’outils et méthodes efficaces pour évaluer ou garantir l’ergonomie des interfaces homme-machine : enquêtes, tri de cartes, eye-tracking, focus group etc. Cependant les développeurs de jeux vidéo n’utilisent en général que deux outils pour améliorer significativement leur jeu pendant les phases de développement : les playtests et les tests d’assurance qualité, ces derniers étant surtout utilisés pour repérer les bugs et ne relèvent pas de l’ergonomie.

Les playtests

Le playtest peut-être défini de deux façons. Dans un premier cas, c’est le procédé par lequel un game designer expose son jeu en développement à des joueurs afin de s’assurer qu’il soit dénué de bugs ou pour ajuster certains paramètres comme la difficulté, la vitesse des voitures, la puissance des armes etc. Il se traduit par l’analyse des sessions de jeux et de remarques obtenues. L’autre définition se rapproche plus de ce que l’on appelle communément : test utilisateurs. Quelle est la différence ? Les tests utilisateurs se font sur un échantillon représentatif de l’audience et des tâches spécifiques leurs sont attribuées afin d’évaluer précisément l’accessibilité, la compréhension des règles, les manipulations etc.

Usability Testing Lab

Un laboratoire de test : le testeur et un guide à droite, les ergonomes et le client à gauche. Source : emeralsongs.com

Le test utilisateurs est la méthode la plus couramment employée pour déceler les problèmes d’utilisabilité. Résumé grossièrement, il s’agit d’inviter les joueurs à jouer au jeu dans un labo, d’observer leur comportement face à des tâches données. Son efficacité repose sur un protocole strict : l’échantillon est-il représentatif, les indicateurs de performance sont-ils bien choisi, les tâches sont-elles pertinentes, etc. L’avantage est que les données recueillies sont incontestables : si 9 testeurs sur dix ont échoué à la tâche qui leur était confiée, c’est qu’il y a un problème sérieux. Les grands studios comme Microsoft Games Studio l’ont compris depuis longtemps en réalisant de tests à grande échelle sur des jeux comme Halo 3. Pour plus de détail sur la méthode, je vous invite à regarder ici ou pour les curieux (en anglais) et lire Game Usability ou Evaluating User Experience in Games pour les plus téméraires.

Si un modèle universel du joueur existait, nous n'aurions plus besoin de tests utilisateurs. Si ...

Si un modèle universel du joueur existait, nous n’aurions plus besoin de tests utilisateurs. Si …

Un reproche récurrent de la méthode est qu’elle puisse être chère et difficile à mettre en place. Ce reproche peut être aisément critiqué mais il faut remarquer que même si les studios au budget restreint peuvent appliquer la méthode sur un panel d’utilisateurs réduit et toujours profiter de résultats concluants, seuls les grands studios peuvent se permettre d’effectuer des tests à grande échelle et ce de façon répétée dans la mesure où le retour sur investissement couvrira largement les frais dus aux tests. L’autre inconvénient est que les tests utilisateurs ne peuvent être faits que lorsque l’on dispose déjà d’un prototype avancé. On peut bien sûr effectuer des tests sur des maquettes papier mais toute la dynamique de l’interaction n’est pas toujours facilement transposable sur papier. Le risque étant de déceler les problèmes trop tard : le projet est souvent trop avancé quand on se rend compte que l’on doit lui apporter des modifications majeures. Nous manquons de règles pratiques et théoriques pour éviter des problèmes récurrents et souvent faciles à repérer. Pour répondre à ce problème, une méthode moins coûteuse et plus facile à mettre en place est l’évaluation heuristique.

L’évaluation heuristique

Derrière ce nom un peu barbare se cache une technique toute simple : rechercher les problèmes d’ergonomie d’un jeu à l’aide d’une liste de règles à respecter. Des évaluateurs inspectent le jeu en utilisant un ensemble de règles d’ergonomie appelés « heuristiques » qui les aident à repérer les problèmes qu’ils n’auraient pas nécessairement perçus par un test utilisateurs. L’avantage de la méthode est qu’elle ne coute pas cher à mettre en place puisque seul des évaluateurs ergonomes sont nécessaires : pas besoin d’inviter des utilisateurs. La contrepartie évidente : sa performance dépend avant tout de la qualité des règles écrites.

La grille heuristique des sites web de LudoTIC, issue de plusieurs années de recherche et toujours remise à jour.

La grille heuristique des sites web de LudoTIC, issue de plusieurs années de recherche et toujours remise à jour.

Bien sûr l’idée n’est pas nouvelle et de nombreuses « grilles heuristiques » (des listes de règles) existent comme les célèbres 10 heuristiques de Nielsen. Dans le cadre du jeu vidéo, plusieurs grilles ont déjà vu le jour et si certaines d’entre elles sont tout à fait pertinentes et constituent une bonne base pour se lancer dans la méthode (voir notamment la grille de Nokia ou de Schaffer), d’autres manquent quelquefois de légitimité puisqu’elles restent basées sur l’intuition des chercheurs ou sur l’application directe des concepts d’ergonomie des interfaces web, ce qui n’est pas pertinent puisque le jeu vidéo a ses propres contraintes.

Toutes les listes ne sont pas bonnes à prendre...

Toutes les listes ne sont pas bonnes à prendre…

On en vient souvent à des règles qui ne relèvent pas de l’ergonomie (Federoff mentionnait « Créer une bonne histoire » or on peut se demander si l’histoire est encore dans le champ d’action de l’ergonome) ou à des règles concernant l’expérience du joueur : Desurvire « Le joueur se sent maitre du jeu ». Comment répondre objectivement sachant que la méthode ne fait pas intervenir d’observation de joueur mais simplement une session de jeu de l’évaluateur ? A titre d’exemple, quelques règles pertinentes pourraient être les suivantes :
– Les buts du jeu sont clairs.
– S’il échoue, le joueur comprend pourquoi.
– Le HUD présente les informations importantes.
– Le joueur n’a pas besoin de retenir des informations inutiles.
– Le jeu peut être mis en pause n’importe quand.
– Etc…

Pas besoin d'être Chuck Norris pour s'assurer d'un minimum d'ergonomie pour le joueur

Pas besoin d’être Chuck Norris pour s’assurer d’un minimum d’ergonomie pour le joueur

Certes cela peut paraitre naïf de laisser reposer l’ergonomie d’un jeu sur une simple liste, aussi exhaustive soit-elle. Néanmoins le but de cette liste n’est pas de donner les réponses à toutes les questions (elle ne remplacera jamais un test utilisateurs en bonne et due forme) mais au moins de pouvoir éviter des erreurs récurrentes et faciles à corriger et ce de façon rapide. Même si elle reste à l’attention des ergonomes et qu’elle doit être en principe conduite par un expert, on peut tout à fait imaginer une version plus accessible, avec des règles simples à comprendre, afin que même le game designer débutant puisse profiter de l’outil et valider succinctement l’ergonomie de son jeu.

Concevoir avec les joueurs, les concepteurs, les experts en IHM … et vous !

Vous l’avez donc compris, devant le manque de grille pleinement satisfaisante, l’intérêt est de concevoir notre propre grille et pour cela, plusieurs approches doivent être combinées.

  • La première, plutôt classique, consiste à sélectionner les heuristiques les plus probantes déjà émises dans la littérature. Cette première étape reste largement insuffisante.
  • L’autre approche couramment adoptée dans la littérature consiste à repérer les problèmes d’ergonomie d’un panel important de jeux et d’en tirer des heuristiques.
  • On peut également s’appuyer sur des modèles psycho-cognitif (le fonctionnement du cerveau) pour établir des spécifications (par ex : sachant que le cerveau a une mémoire de travail limitée, le jeu ne doit pas … ).
  • Nous devons également prendre en compte le joueur et le public de jeu vidéo qui diffèrent par leurs compétences, leur culture, leur représentation, leur habitude etc.
    Notre prototype de grille pour le jeu vidéo : encore largement perfectible et dont la plupart des règles n'ont pas été validées.

    Notre prototype de grille pour le jeu vidéo : encore largement perfectible et dont la plupart des règles n’ont pas été validées.

Tout cela nous conduirait donc à la création d’une grille mais pour pouvoir prétendre à une légitimité de la grille, chaque heuristique doit être validée expérimentalement c’est-à-dire en testant sa pertinence sur le terrain avec de vrais joueurs. N’oublions pas d’intégrer des game designer à la validation des heuristiques puisque eux seuls peuvent témoigner des limitations en termes de création qu’elles sauraient imposer.

Cette liste ne peut être construite uniquement par quelques ergonomes isolés. Pour qu’elle soit légitime, la construction de la grille doit inclure les joueurs, les game designer et les ergonomes s’intéressant au jeu vidéo. Le projet est encore naissant mais nous espérons vous proposer bientôt un moyen de participer à la création de cette grille un peu comme Falstein et Barwood ont proposé leur projet de liste de 400 règles de conception. La différence ici est que l’on testera par étude de cas toutes les règles qui ne sont ni évidentes ni directement issues de théories fondées. Donc si vous êtes ergonome, game designer, ou tout simplement joueur nous vous invitons à participer à la construction de cette liste en citant déjà des exemples de problèmes ou en proposant vos propres règles en commentaire, en attendant l’apparition d’un outil collaboratif.

Auteur/Autrice

  • David Buchheit

    UX Designer - Ergonome spécialisé dans le jeu vidéo, il intervient également sur les projets liés à la gamification et aux interfaces ludiques. Doctorant au laboratoire du CREM, il a contribué aux recherches de Ludotic sur l’ergonomie des jeux vidéo notamment sur les méthodes d’évaluation heuristique.