Dans une campagne expérimentale, il peut être frustrant de montrer à vos visiteurs une variante qui ne convertit pas particulièrement bien tout au long de la période de test et que d’autres variantes obtiennent de meilleurs résultats. Chez AB Tasty, nous connaissons ce point sensible. C’est pourquoi nous aidons nos clients à minimiser le « trafic gaspillé » qui se produit inévitablement pendant un test. Et nous le faisons avec notre populaire fonction d’allocation dynamique du trafic, qui repose sur l’algorithme d’échantillonnage de Thompson et le modèle statistique bayésien sous la forme d’un algorithme.

La statistique bayésienne résout le difficile problème du « bandit à plusieurs bras » : elle trouve l’équilibre entre l' »exploitation » et l' »exploration » des données afin d’assurer en permanence – et rapidement ! – pour optimiser les expériences. Nous offrons bien plus qu’une simple aide à la décision pour nos clients sur la manière de procéder après un test A/B. En d’autres termes, nous fournissons une solution automatisée qui est idéale lorsque des décisions doivent être prises en permanence et que le temps est compté, ou lorsque vous travaillez dans un environnement en constante évolution.

Imaginez que vous lancez une campagne publicitaire d’une semaine pendant les vacances. Bien que vous souhaitiez tester plusieurs variantes, l’objectif est d’optimiser les ventes, et pas nécessairement d’obtenir une pertinence statistique. Supposons qu’une pandémie mondiale ait un impact sur vos résultats et vous oblige à communiquer d’une manière nouvelle. Bien que vous souhaitiez tester plusieurs variantes, l’objectif est d’optimiser la communication le plus rapidement possible, et pas nécessairement de réaliser un test A/B classique.

AB Tasty propose l’Alllocation dynamique depuis un certain temps déjà. Récemment, cependant, nous avons simplifié l’ensemble du processus. L’ensemble devient plus cohérent et plus facile à activer lorsque vous créez une campagne.

Qu’est-ce que la répartition dynamique du trafic ?

La répartition dynamique du trafic utilise un algorithme pour ajuster le volume de trafic alloué à chaque variante de test en direct.

L’algorithme de répartition dynamique du trafic détermine la variante la plus performante et lui attribue davantage de trafic.

Pourquoi est-ce utile ?

L’allocation dynamique permet de limiter la perte de conversions au cours d’un test (appelé « retret »). Cela peut se produire lorsqu’une partie du trafic de votre site Web est envoyée vers une variante qui n’est finalement pas la variante gagnante.

Examinons le test A/B suivant : taux de conversionA = 1 %, taux de conversionB = 1,5 %, le test a été effectué avec un trafic constant de 10 000 visiteurs par variante.

Le  » regret  » de ce test : r = 10 000 * (0,015-0,01) = 50 conversions perdues. Pendant la période de test, nous aurions pu idéalement obtenir 300 conversions (20 000*0,015), mais avec le test, nous avons perdu 50 conversions. Ainsi, seules 250 conversions auraient été réalisées pendant cette période.

Bien sûr, nous ne pouvons pas faire de tels calculs avant que le test ne soit terminé et que nous connaissions les chiffres exacts du taux de conversion. Mais cela ne veut pas dire que l’on ne peut rien faire contre le trafic « gaspillé » pendant un test …

Comment fonctionne la répartition dynamique du trafic ?

Le problème ci-dessus peut être résolu en modifiant la répartition du trafic du test pour envoyer moins de visiteurs vers les « mauvaises » variantes et plus de visiteurs vers les « bonnes » variantes.

Mais attention : il est très risqué d’effectuer ces modifications manuellement, car les résultats peuvent être faussés. Cependant, il existe des algorithmes qui canalisent le trafic de telle sorte que le regret d’un test peut être réduit au minimum tout en identifiant la variante la plus réussie.

Nous avons sélectionné l’algorithme le plus fiable pour cette tâche sur la base suivante : Nous utilisons les incertitudes de mesure du taux de conversion pour réaliser un compromis entre « exploration et exploitation ». Dans le cadre de l’exploration, nous envoyons du trafic vers une variante même si elle n’apparaît pas comme la variante gagnante sur la base des mesures initiales – après tout, nous savons que les conclusions initiales ne sont pas fiables. En exploitation, nous envoyons du trafic vers une variante qui est considérée comme une variante gagnante compte tenu des chiffres que nous avons déjà collectés. De cette façon, nous évitons de perdre trop de conversions (en supposant que la variante en question soit effectivement la variante gagnante).

Ces deux objectifs sont, bien sûr, en conflit. L’exploration signifie perdre des conversions, l’exploitation signifie prendre un risque si la variante la plus réussie n’est pas choisie ! Il est donc crucial de modéliser avec précision l’incertitude de mesure, puis de trouver le bon compromis entre « exploration et exploitation ».

Avec la distribution de probabilité, nous pouvons tenir compte de l’incertitude de mesure du taux de conversion pour chaque variante. Ces graphiques montrent où la véritable valeur du taux de conversion a le plus de chances de se trouver. Plus la valeur sur l’axe Y de la courbe est élevée, plus il y a de chances que la valeur X correspondante corresponde à la valeur réelle.

Voici un exemple :

La variante A enregistre 7 succès sur 600 visites (courbe noire), la variante B enregistre 27 succès sur 600 visites (courbe rouge). La situation est claire : le taux de conversion de la variante A se situe probablement entre 0% et 0,2%, celui de la variante B probablement entre 0,25% et 0,7%. Comme il s’agit de deux intervalles distincts, nous pouvons être raisonnablement sûrs que B est la variante gagnante, même si nous ne pouvons pas être sûrs que les mesures sont correctes. Il ne fait pratiquement aucun doute que B est la variante gagnante, puisque les courbes ne se chevauchent pas.

Voici un autre exemple :

La variante A enregistre 7 succès à 300 visites (courbe noire), la variante B enregistre 14 succès à 400 visites (courbe rouge). Le calcul simple du taux de conversion donne Taux de conversionA = 2,39 %, Taux de conversionB = 3,63 %. Il y a évidemment une différence dans le taux de conversion, nous sommes donc tentés de considérer la variante B comme la gagnante, mais c’est une erreur … Si nous regardons de plus près la distribution de probabilité, l’incertitude de mesure peut être mieux perçue. Comme les deux courbes se chevauchent, cela montre que des doutes peuvent encore exister.

Le compromis entre « exploration et exploitation ».

Examinons de plus près le dernier exemple. Il est tout aussi probable que le taux de conversion A soit de 3 % et que le taux de conversion B soit également de 3 % (intersection des deux courbes). Avec cette approche, nous pouvons calculer la probabilité que A soit la variante gagnante, même si B semble être meilleure pour le moment. Nous utilisons ce type de calcul pour trouver le bon équilibre entre « exploration et exploitation ». En utilisant un algorithme tel que l’échantillonnage de Thompson, nous pouvons estimer le bénéfice de l’exploration et le risque associé à l’exploitation.

Cet algorithme :

  • trouve la variante gagnante avec certitude au fil du temps.
  • est assuré de perdre moins de conversions que le trafic stable
  • Trouve la variante gagnante plus rapidement (si plus de 2 variantes sont testées) que ne le ferait un trafic stable. Plus il y a de variantes, plus la probabilité qu’il y ait quelques (très) mauvaises variantes est élevée. Les variantes les moins performantes sont rapidement identifiées et reçoivent moins de trafic que les variantes plus performantes. Avec une répartition stable du trafic, ces variantes (très) peu performantes continueraient à perdre un volume non négligeable de trafic.

Comment utiliser l’allocation dynamique de trafic ?

Avec AB Tasty, l’allocation dynamique de trafic est particulièrement facile à réaliser : il suffit de cliquer sur le bouton « Passer à l’allocation dynamique » et de sélectionner le KPI primaire à optimiser. Au départ, le trafic sera réparti de manière égale. Au cours du test, il est ajusté et distribué automatiquement de manière à identifier la variante gagnante et à maximiser le bénéfice de la conversion.

Après le démarrage du test, tout se déroule comme dans un test classique (avec une distribution uniforme du trafic). Bien entendu, toutes les mesures statistiques tiennent compte de l’allocation dynamique. Les résultats des tests peuvent donc être interprétés exactement de la même manière.

Pourquoi l’allocation dynamique ?

Lorsque le temps est compté, l’allocation dynamique donne aux utilisateurs la possibilité de diriger le trafic vers la meilleure option sans interférer avec la campagne. Cela garantit des résultats plus rapides et un meilleur retour sur investissement !

L’allocation dynamique peut être extrêmement utile dans les cas suivants :

  • Lorsque les utilisateurs veulent optimiser les micro-conversions qui devraient se produire dans un court laps de temps après que l’utilisateur ait été exposé à une variation. Par exemple, sur les sites de commerce électronique, certains clients préfèrent le CTA « ajouter au panier » à l’événement de la transaction comme objectif principal.
  • Lorsque les utilisateurs ne disposent que de peu de temps pour effectuer un test.
  • Pour des offres promotionnelles spéciales pendant la période des fêtes de fin d’année, avec quelques variations et dans le but de maximiser les ventes pendant cette courte période.
  • Pendant la crise de Corona, une entreprise peut avoir besoin de communiquer rapidement avec ses clients. L’entreprise souhaite utiliser la variante gagnante le plus rapidement possible.
  • Si le site testé connaît un très faible volume de trafic. Avec un faible trafic, il peut être difficile d’obtenir une véritable signification statistique, mais cela ne vous empêche pas d’optimiser l’expérience client. L’allocation dynamique serait le choix logique.
  • Lorsqu’il y a beaucoup de variantes à tester, c’est-à-dire plus de 6 variantes, l’allocation dynamique permet aux utilisateurs d’identifier rapidement les variantes peu performantes afin de n’exécuter le test que pour les variantes les plus pertinentes.

Vous voulez en savoir plus sur AB Tasty, l’allocation dynamique et d’autres fonctions alimentées par l’IA comme le niveau d’engagement et l’intérêt pour le contenu afin d’optimiser l’expérience de votre marque et de vos produits ? Nous vous les montrerons en direct lors d’une démonstration personnelle.

Déploiement de Canary : Tout ce que vous devez savoir

Déploiement de Canary : Tout ce que vous devez savoir

Le choix d'une stratégie de déploiement efficace est une décision importante pour chaque équipe DevOps. Il existe de nombreuses options, et vous devez trouver la stratégie qui correspond le mieux à votre façon de travailler. Êtes-vous une organisation agile ?...

Un guide simple pour augmenter les conversions

Un guide simple pour augmenter les conversions

En marketing, un appel à l'action ou CTA fait référence à un élément dont la formulation incite les utilisateurs à prendre une action immédiate ou à répondre. Les appels à l'action sont absolument nécessaires dans les campagnes de marketing et constituent un moyen de...

0 commentaires

Soumettre un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *