L'utilisation de tests A/B, en particulier dans le domaine en ligne, a fait un bond ces dernières années, non seulement dans les entreprises tech, mais aussi dans les entreprises d'autres secteurs. Elles réalisent des milliers d'expériences en ligne de ce type chaque année. Elles testent ainsi si la méthode "A", c'est-à-dire l'utilisation actuelle d'un produit, est supérieure ou inférieure à la méthode "B", qui représente une amélioration.
"Nous menons simultanément des centaines, voire des milliers d'expériences impliquant des millions de visiteurs. Nous n'avons pas besoin de deviner ce que les clients veulent, mais nous pouvons mener les 'enquêtes clients' les plus complètes qui soient, encore et encore, pour qu'ils nous disent ce qu'ils veulent".
Mark Okerstrom, PDG du groupe Expedia
La page d'accueil d'une entreprise en est un exemple simple. Sur quoi clique-t-on, sur quoi ne clique-t-on pas ? Que se passe-t-il si un certain bouton est placé à gauche plutôt qu'à droite ? Pour réaliser le test A/B, on montre à deux groupes différents une version différente du site web. Il est également possible de faire la distinction entre la version mobile et la version de bureau. Cette application d'un test A/B semble logique et compréhensible. Il existe néanmoins un autre niveau : il est par exemple possible que les utilisateurs mobiles cliquent généralement moins sur les boutons que les utilisateurs de bureau. Comment cette circonstance est-elle prise en compte dans les tests ? Outre le webdesign, les tests A/B sont également utilisés pour l'optimisation SEO. Les tests servent en premier lieu à mesurer le trafic, à réduire le taux de rebond des utilisateurs ou justement à mesurer les nouveaux produits.
Les tests A/B sont surtout appréciés parce qu'ils sont peu coûteux et qu'ils fournissent rapidement des résultats. Grâce à l'interaction en ligne, les réactions des utilisateurs aux modifications apportées aux produits peuvent être suivies en temps réel. C'est pourquoi les tests A/B sont une méthode très appréciée pour la mise à jour de produits numériques ou pour la création de nouveaux produits. Ils sont utilisés dans les salles de rédaction des médias en ligne, dans le secteur financier, lors du lancement de nouvelles applications, mais peuvent également être utilisés pour l'innovation dans les produits physiques.
Même si la plupart des tests A/B sont aujourd'hui réalisés en ligne, ils existent depuis des décennies. Le géant des biens de consommation P&G a utilisé dès 1997 un outil de réalité virtuelle pour ses études de marché. Dans ce cadre, le groupe a réduit jusqu'à 50 % le temps de développement d'une variante de Febreze axée sur le sport avant son lancement sur le marché. Pour ce faire, ils ont développé différentes variantes de design sans tester de prototypes physiques avec les clients. Cela a permis de savoir très tôt ce qui fonctionnait et ce qui ne fonctionnait pas.
Des tests A/B réussis sont décisifs pour le match
Les tests donnent un premier feedback des utilisateurs et réduisent le risque de mauvais investissements. La conséquence des changements peut être mesurée objectivement, du moins dans un premier temps. Ce faisant, les tests A/B donnent une direction à l'augmentation du chiffre d'affaires grâce aux modifications et aux améliorations. Pour de nombreuses entreprises, les tests A/B sont désormais indispensables lors du développement de nouveaux produits. Ils servent de base de décision pour savoir quand et si de nouveaux produits doivent être introduits. Ils montrent également comment les produits existants peuvent être améliorés. Lorsqu'une entreprise souhaite conquérir de nouveaux marchés ou s'adresser à de nouveaux groupes cibles, elle utilise les résultats des tests à cette fin.
Ce sont surtout les entreprises tech comme Linkedin, Netflix ou Spotify qui ne pourraient pas exister sans tests A/B. Cette méthode décide de l'avenir des applications. Par exemple, chacun des quelque 220 millions d'utilisateurs de Netflix dans le monde dispose d'un écran d'accueil individuel, adapté à son comportement, lorsqu'il ouvre l'application. Celui-ci repose en partie sur des tests A/B qui sont effectués automatiquement en arrière-plan. Un autre exemple connu est celui de Booking.com, qui analyse le comportement des utilisateurs. Ils effectuent plus de 25 000 growth tests par an. Grâce à ces méthodes et mécanismes, la startup d'Amsterdam est devenue la plus grande plateforme de réservation d'hébergement au monde. Selon les propres déclarations de l'entreprise, ce succès repose également sur les tests A/B. Sans eux, la croissance de Booking.com n'aurait pas été aussi rapide. Chaque collaborateur peut effectuer de tels tests et n'a pas besoin de l'autorisation de son supérieur.
Pour interpréter les résultats d'un test A/B, les entreprises utilisent généralement un logiciel, par exemple Optimizely, qui effectue les calculs. Mais pour mesurer les résultats, certaines emploient également des statisticiens qui interprètent les résultats ou collaborent avec un prestataire de services externe qui se charge de cette tâche. Ces derniers peuvent alors réaliser des tests plus complexes, dans lesquels plusieurs tests peuvent être effectués simultanément avec différents groupes. Ces différentes exécutions sont ensuite évaluées, comparées aux données générées par la machine et interprétées. Le logiciel fournit des résultats en temps réel. Il faut toutefois éviter de prendre des décisions rapides sur la base de ces résultats et avoir la patience de laisser les tests se dérouler jusqu'au bout.
Malgré la simplicité et aussi l'efficacité des tests A/B, il y a quand même quelques points à prendre en compte.
1. définir les objectifs (où voulons-nous aller avec le produit ?)
2. donner la priorité aux questions : Quelles sont les 2-3 questions les plus importantes auxquelles nous souhaitons répondre avec certitude grâce au test ?
3. quelles sont les données que nous avons déjà collectées lors de tests précédents et qui sont pertinentes pour un sujet donné ? (par exemple, comme points de repère possibles)
4. conception du test : comment mettre en place le test de manière optimale afin de pouvoir collecter les données dont nous avons besoin pour répondre à nos questions
5. mise en place du test (A/B/C, canaux, outils, budget, durée, etc.)
6. la collecte des données proprement dite a lieu ensuite
7. établir l'analyse des données et le rapport : quelles hypothèses peuvent être réfutées et quelles hypothèses peuvent être confirmées ?
8. quelles décisions stratégiques peuvent être prises sur la base du test et si d'autres points de données sont nécessaires ou si nous avons besoin d'un autre test avant de pouvoir prendre la grande décision ?
Ne pas se contenter de la moyenne
Un test A/B mesure le comportement d'un certain groupe d'utilisateurs. Il affiche des résultats qui correspondent à une moyenne de personnes. Or, dans le monde réel, il existe toujours des différences frappantes dans le comportement des différents clients. Cela peut conduire à une divergence lors d'une modification déterminée à l'aide de tests A/B. Certains utilisent encore plus le produit, d'autres pas du tout.
Les tableaux de bord les plus utilisés pour l'A/B testing ne font pas de distinction entre deux scénarios. Ils partent du principe que les deux groupes d'utilisateurs ont le même comportement. Or, s'ils apportent par exemple une modification à une application et que les utilisateurs génèrent ensuite plus de chiffre d'affaires, il peut aussi se produire le cas où tous les utilisateurs ne dépensent pas plus d'argent, mais où une certaine partie d'entre eux dépense plus qu'avant. C'est ainsi que des utilisateurs réels sont érigés en clients idéaux.
Il est donc conseillé d'utiliser différentes versions de tests A/B pour chaque segment d'utilisateurs afin d'affiner l'image. Entre-temps, l'IA se charge également de cette tâche de reporting, mais là aussi, il faut éviter l'homogénéité. L'objectif devrait être de représenter tous les utilisateurs dans le test. Pour ce faire, il convient de mettre en place différents designs de test et de passer d'un groupe cible à l'autre. On obtient alors des données différentes pour le même groupe d'utilisateurs. Il s'agit de représenter le plus précisément possible la perception de chaque utilisateur. Pour cela, il faut décomposer différents marchés et tenir compte des habitudes spécifiques à chaque région.
Les utilisateurs sont connectés entre eux
Les tests A/B courants consistent à comparer les groupes A et B et à en tirer des conclusions. On part du principe que les deux groupes n'interagissent pas entre eux. Or, ce n'est pas le cas. Les deux groupes communiquent entre eux et cela peut influencer les résultats. Les groupes de contrôle échangent et ne peuvent donc pas être considérés comme totalement autonomes l'un par rapport à l'autre. Pour éviter de fausser les résultats, l'interaction entre les groupes doit également être mesurée ou les deux groupes doivent être isolés l'un de l'autre. Mais il est également possible d'appliquer des tests A/B selon un générateur de nombres aléatoires, qui sont testés alternativement dans différents scénarios. Cela permet d'éviter que tous les utilisateurs soient impliqués dans le même scénario et que le produit ne soit modifié qu'en fonction de ce résultat.
Ne pas se précipiter
Les tests A/B ne sont efficaces que s'ils sont utilisés sur une certaine période. Il ne suffit pas de faire quelques tests pendant quelques jours et d'utiliser ensuite cette conclusion pour lancer de nouveaux produits. Les premiers signaux des utilisateurs peuvent certes indiquer une direction, mais il est conseillé de tester ensuite les premières modifications du produit. Cela s'explique aussi par le fait que les utilisateurs se montrent généralement positifs pour la première fois à propos de nouveaux produits ou de leurs modifications. Ils font preuve d'un grand engagement envers les nouvelles fonctionnalités - mais ce comportement d'utilisation peut ensuite rapidement s'effondrer. En outre, une série de tests plus longue permet d'aborder l'interaction des utilisateurs avec le nouveau produit. Les changements peuvent être effectués progressivement.
Dans ce contexte, ce sont surtout les benchmarks qui sont d'une importance capitale : qu'est-ce qu'une bonne valeur et qu'est-ce qu'une mauvaise valeur ? En ce qui concerne le "click trough rate" ou le "taux de conversion", des différences peuvent être constatées en fonction du produit, du marché, de la saturation des canaux ou de la marque. C'est pourquoi il est important de suivre avec précision ses propres benchmarks dans le temps, afin de pouvoir recourir à des valeurs de comparaison en cas de besoin. Le long terme est donc également essentiel dans ce contexte.
Aperçu rapide
C'est pourquoi une nouvelle fonction devrait être mesurée à plusieurs reprises et pas seulement au début. La fascination des utilisateurs pour les nouvelles applications peut rapidement s'estomper. Dans le cadre des tests A/B, une entreprise peut à nouveau faire la distinction entre un groupe plus important et un sous-groupe plus petit - et appliquer la série de tests plus longue à un nombre plus restreint d'utilisateurs. Vous pouvez laisser à ce groupe plus de temps pour tester de nouveaux produits et obtenir ensuite un feedback plus complet. Cela permet d'améliorer la qualité et la pertinence du nouveau produit.
Les tests A/B en ligne sont un moyen efficace de tester de nouveaux produits auprès de différents segments de clientèle. Mais s'ils ne sont réalisés que de manière superficielle et non individualisée, et si l'on ne tient compte que des effets à court terme des utilisateurs, cela peut conduire à une interprétation erronée des résultats. Or, de tels tests peuvent tout à fait être utilisés pour obtenir des résultats à plus long terme s'ils sont appliqués à différents groupes sur une période prolongée.
La culture dans l'entreprise est décisive
Malgré l'efficacité, on peut aussi se demander pourquoi les entreprises ne sont pas plus nombreuses à soumettre leurs produits et leurs concepts à un A/B testing. Il s'agit avant tout d'une question de culture d'entreprise. Il est donc important de comprendre qu'un test A/B n'est pas seulement une affaire technique, mais aussi culturelle. A cet égard, deux questions sont d'une importance capitale :
- Jusqu'à quel point êtes-vous prêt à être confronté chaque jour au fait d'avoir tort ?
- Quel degré d'autonomie êtes-vous prêt à accorder à vos collaborateurs ?
Il y a toujours une attitude de rejet face à de tels tests, car les données reflètent la réalité des utilisateurs et non la vérité que l'entreprise souhaite. Un exemple est l'A/B testing lors du titrage d'articles journalistiques. Le journaliste souhaite un titre, mais celui-ci est ensuite adapté et rencontre un plus grand succès auprès du lectorat que l'ancien. Supporter cette vérité est bienvenu pour tout le monde.
"Si la réponse est que vous n'aimez pas qu'on vous donne tort et que vous ne voulez pas que vos collaborateurs décident de l'avenir de vos produits, cela ne fonctionnera pas. Vous ne pourrez jamais tirer pleinement parti de l'expérimentation".
David Vismans, chef de produit chez Booking.com
Les tests A/B sont omniprésents, mais il existe d'autres formes plus précises de tester des groupes de contrôle. Les tests A/B peuvent toutefois être exécutés rapidement et fournissent donc un aperçu rapide et donc une compréhension pour les utilisateurs. Comme les premiers résultats sont disponibles en temps réel, l'avantage de l'A/B testing est qu'il est également possible de réagir rapidement ou de mettre en place de nouveaux cadrages. Cela laisse une grande marge de manœuvre.
Tu as des questions, des remarques ou tu souhaites simplement échanger des informations ?
Je serais heureux d'avoir de tes nouvelles. Contacte-moi directement via Linkedin ou par e-mail.
.png)
.png)
.png)
.png)