Comportement de la CMP face aux robots (bots)

Robots : qu'est-ce c'est ?

👉 Les robots sont des applications qui exécutent des tâches automatisées sur Internet. Ils sont utilisés pour indexer le contenu ou pour recueillir automatiquement des informations sur les sites web. 

Certains robots fonctionnent à des fins légitimes, tandis que d'autres collectent des données à des fins malveillantes, par exemple :

• Revente de contenu
• Génération de clics
• Prix cassés
• Etc.

Comme toute solution web basée sur les clients, Didomi est impacté par le trafic de robots qui génèrent de fausses données. Par conséquent, Didomi peut générer des analyses CMP inexactes.

Impact sur les indicateurs de la CMP

La mesure la plus touchée est le nombre total de notices (avec une augmentation du volume), qui augmente directement les indicateurs de performance comme le taux de rebond des notices et le taux d'adressabilité.

Offrir des données analytiques sans robots

👉 Les robots impactent les données Web: ils génèrent de fausses données sur les utilisateurs. Ils détériorent le taux d'adressabilité, ainsi que le taux de consentement des pages vues, tout en augmentant le volume des rebonds de notice et le nombre de pages vues sans consentement donné.

Deux types de robots se distinguent :

Les robots déclarés : ils peuvent être détectés grâce à leur agent utilisateur (ou UA). Ils sont exclus avec la méthode de filtrage par agent utilisateur. Quelques exemples de robots :

• • Robot dits "scaper" : ils sont programmés pour capturer le contenu hors ligne, les noms, les prix et les détails des produits sur les sites de commerce en ligne.
  • Les robots d'exploration : ils sont utilisés par les grandes entreprises, telles que Google, Yahoo, etc., pour indexer du contenu.
  • Les robots de performance/audit : ils sont utilisés par les outils de performance des sites web pour effectuer des audits de référencement ou pour calculer les performances du temps de chargement des pages. Didomi utilise également un robot pour évaluer la conformité des sites web.

Les robots cachés : ils utilisent des agents utilisateurs standards et ne peuvent donc pas être identifiés avec la méthode de filtrage des agents utilisateurs.
Une solution/technologie spécialisée est requise pour les détecter puis pour les exclure des données analytiques.

Exemples d'agents utilisateurs

Robots déclarés

• Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) TagInspector/500.1 Chrome/90.0.4430.72 Safari/537.36 Edg/90.0.818.42
• Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/85.0.4183.102 Safari/537.36
• Mozilla/5.0 (iplabel; Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36

Eléments qui ne font pas partie d'un agent utilisateur standard.

Robots cachés

• Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36
• Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.64

Même si les agents utilisateurs ci-dessus sont utilisés par les robots, ils sont également utilisés par des visiteurs normaux : dans ce cas, les agents utilisateurs ne peuvent pas être exclus.

Attention à vos propres bots

Si vous utilisez des outils pour évaluer les performances de votre site web : comme le temps de chargement des pages, audit SEO, etc. 

Ils utilisent probablement des bots pour le faire. En conséquence, ils produisent des données s'ils ne sont pas identifiés par notre solution. Vous le pouvez :

1. Vérifiez les bots que nous détectons (voir la liste ci-dessous). 
2. Vérifiez avec vos solutions si les bots ont un modèle de UA.
3. Ajoutez les modèles dans la fonction personnalisée de gestion de votre robot.

⚙️ Par défaut, (quand la case « Bots » n’est pas cochée sur la console), les robots vont “contourner” la notice de consentement. Et on considère que le consentement est déjà donné pour les robots et tous les scripts seront donc déclenchés, ainsi que les événements de consentement. La bannière ne s’affiche donc pas et ne collecte pas le consentement.

➡️ Si vous souhaitez collecter le consentement pour les bots dans votre Consent Notice, vous pouvez suivre notre article Bypass consent collection for bots.

Vous pouvez ajouter le code JSON à votre Consent Notice dans 2.Customization; Advanced settings ; Custom Json.