Vous nous l’avez demandé, le voici : un article qui vous explique en détails et simplement comment tester les effets de Fasterize

1. Estimez la plus-value de Fasterize avant branchement

Les solutions que nous aborderons dans cette partie ne vous permettront d’avoir qu’une indication sur l’amélioration potentielle de votre site. 

Pour estimer le bénéfice qu’apporterait Fasterize à votre site, vous pouvez comparer votre site sans Fasterize et avec Fasterize (en utilisant le mode preview précédent) sur les outils suivants :

• Dareboost
• PageSpeed Insights : cet outil, développé par Google, vous donne une note en fonction des bonnes pratiques que vous appliquez.
• Yslow
• GT Metrix
• WebpageTest

Ces 5 derniers outils vous permettront de tester les métriques techniques de vos pages web (poids de la page, nombre de requêtes, etc.) et de vérifier que les bonnes pratiques de performance web sont implémentées sur la version fasterizée.

Pour ces outils, l’idéal est de lancer plusieurs tests (une dizaine) et de prendre les résultats médians.

2. Evaluez les réels impacts techniques et marketing sur votre site

Pour ça, pas de solution magique, ni boule de cristal. La seule solution pour connaître le gain réel de nos optimisations, c’est de brancher !

Mais pas de panique, un mois vous est offert pour vous faire vos premières impressions.

1. branchez votre site
2. remontez les informations dans Google Analytics
3. analysez les métriques techniques (avec des outils de RUM (Real User Monitoring) tels que Basilic ou Newrelic, Pingdom) et les métriques business dans Google Analytics !

Nous mettons automatiquement en place un test AB (90% optimisé / 10% non-optimisé) lorsque vous branchez votre site à Fasterize. Cela vous permettra de comparer les résultats de votre site avec et sans optimisation pendant la periode de test gratuite.

Quelques précisions toutefois : 

• Le sampling : le sampling ou échantillonnage consiste à ne prendre qu’une partie des points de données pour établir des mesures. Dans notre cas, il intervient à deux endroits :
  • pour la mesure des temps de chargement dans Google Analytics : Google mesure les temps de chargement de quelques pages seulement parmi toutes les pages vues par vos utilisateurs. Lors du test A/B, il se peut que vous ayez des mesures sur une page pour des utilisateurs optimisés et aucune mesure sur cette même page pour des utilisateurs non-optimisés, ce qui rend la comparaison caduque.
  • si votre audience est conséquente, Google ne garde qu’une fraction des mesures pour effectuer ses calculs de taux de conversion (la limite est de 250000 sessions), ce qui peut conduire à des aberrations. Le plus simple dans ce cas est d’agréger soit même ses données.
• Le temps de chargement : vous devez vous intéresser à la médiane plutôt qu’à la moyenne lorsque vous analysez votre temps de chargement. En effet, la médiane n’est pas influencée par les valeurs extrêmes et minoritaires alors que la moyenne l’est fortement. La médiane est donc plus représentative de la réalité de la majorité des internautes. Vous pouvez également étudier les percentiles 80, 90 et 95 (la médiane est le percentile 50).
  Par exemple : imaginons que 9 personnes chargent un site en 5 secondes mais qu’une personne charge ce même site en 100 secondes (pour une raison X).
  La moyenne est de 14,5 secondes, tandis que la médiane reste à 5 secondes.
• La durée du test :votre test doit être mené sur une période de temps suffisante. Cela permettra de le stabiliser et d’identifier clairement les populations :
  • les nouveaux utilisateurs reçevant le site optimisé ;
  • les nouveaux utilisateurs recevant le site non-optimisé ;
  • les “returning visitors” recevant le site optimisé ;
  • les “returning visitors” recevant le site non-optimisé.

Au démarrage du test, certains visiteurs sont placés dans la catégorie “optimisé” alors qu’ils ont eu une expérience précédente sur une version non-optimisée. Il faut donc un certain temps avant que ces populations se stabilisent et soient clairement séparées.

Ce temps est variable selon le site que l’on mesure. Il dépend de l’audience et du temps de prise de décision avant qu’un utilisateur ne convertisse : on ne prend pas le même temps de réflexion pour acheter un vêtement ou un ordinateur.

• La taille de l’échantillon : Pour savoir si votre test A/B est pertinent et donc déterminer s’il y a bien une corrélation entre l’accélération du site et l’augmentation des conversions par exemple, vous devez faire le test du Khi2. Il s’agit de savoir si on a suffisamment de données pour vérifier que le test A/B est fiable et que le résultat est bien corrélé à la modification que l’on a apportée (dans notre cas, l’optimisation du site). Ce test est réalisable au travers d’une calculatrice en ligne.