Pourquoi connecter Search Console à BQ ?

Google Search Console fournit de nombreuses données extrêmement pertinentes pour l’analyse de l’efficacité SEO d’un site. Vous pouvez obtenir pour chaque page et chaque requête le nombre de clics, le nombre d’impressions et la position moyenne en fonction du type d’appareil et du pays d’origine de la requête.

Une partie non négligeable des données est anonymisée en dessous d’un certain seuil. Par conséquent, il est courant d’avoir une différence allant jusqu’à 50% entre les données agrégées au niveau du site et le détail par requête. Cela concerne en particulier les requêtes dites « longue traîne ».

Pour générer un rapport, vous pouvez utiliser directement le connecteur Search Console de Looker Studio. Cependant, ce dernier est limité à la durée de stockage des données, qui est de 16 mois. Nous ne l’utilisons plus depuis plusieurs années en raison de son manque de flexibilité et de sa lenteur.

Intégrer les données de Search Console au sein du data warehouse BigQuery permet de débloquer complètement les limitations de l’API. Bien qu’il y ait toujours l’anonymisation des requêtes, la possibilité d’effectuer des traitements et des agrégations avancés est un véritable atout pour les rapports.

Depuis mars 2023, il est désormais possible d’exporter gratuitement les données de Google Search Console vers BigQuery en quelques clics depuis l’interface GSC. Cet export a quelques limites, mais constitue un grand pas en avant.

Comment configurer le connecteur natif GSC – BQ ?

Pour configurer l’exportation, procédez comme suit :

1. Disposer d’un projet Google Cloud avec la facturation activée. Si vous avez déjà exporté avec succès GA4 vers BigQuery, vous possédez déjà ceci.
2. Dans Google Cloud, accédez à IAM (Identity and Access Management) et ajoutez search-console-data-export@system.gserviceaccount.com avec les deux rôles suivants : Utilisateur de tâche BigQuery et Éditeur de données BigQuery.
3. Dans Google Search Console, accédez à Paramètres, puis à Exportation groupée de données, et renseignez l’ID du projet (que vous trouverez facilement dans le menu déroulant en haut à gauche sur Google Cloud). Vous ne pouvez pas modifier le nom de l’ensemble de données, qui reste grisé à « searchconsole ». Choisissez Europe pour le stockage de données.

Combien coûté l’export natif Search Console vers BigQuery ?

Dans l’immense majorité des cas, cet export sera entièrement gratuit. Seulement après quelques années, si vous avez vraiment des millions de mots-clés à gérer quotidiennement, il est possible que vous deviez payer quelques euros par mois pour le stockage. Ensuite, le coût dépendra de l’utilisation que vous faites des données. Nous vous conseillons de mettre une alerte sur la facturation, mais cela ne devrait pas vraiment être un frein !

Quelles données pour le connecteur GSC – BigQuery ?

Une fois l’export effectué, vous pouvez analyser les données dans le dataset « searchconsole » de BigQuery. Trois tables seront créées :

• ExportLog : peu utile au quotidien, mais permet d’avoir un statut de l’export sans avoir à requêter l’ensemble des tables.
• searchdata_site_impression (partitionné par date) : permet d’avoir pour une requête donnée le nombre de clics et d’impressions au niveau du site. Si un utilisateur a cliqué sur plusieurs URL depuis la page de résultats de Google, cela ne sera compté ici qu’une seule fois. Cependant, attention à la métrique sup_top_position qui est une somme de position, et doit donc être retraitée avant d’être utilisée.
• searchdata_url_impression (partitionné par date) : permet d’avoir pour chaque page les clics, les impressions, la position et permet aussi de savoir dans quelle condition cette page a été affichée (AMP, vidéo, rich snippet…). Les requêtes anonymisées (qui sont donc null) sont intégrées dans cet export pour permettre une somme de clics et d’impressions cohérentes.

Une subtilité importante concerne la métrique sum_top_position présente dans les deux tables searchdata. Pour être cohérente et donner la position moyenne, il faut diviser la somme des positions par le nombre d’impressions et ajouter 1. Cette subtilité est une facilité de stockage pour Google. Stocker un entier est un effet bien plus efficace qu’un float (nombre à virgule).

Cependant, il y a une grande limitation à cet export. Vous ne pouvez, pour l’instant, connecter qu’une seule propriété Search Console à un projet Google Cloud. Si vous avez de nombreux sites, il faut donc créer un projet Google Cloud par site ! Cela rend difficile la passage à l’échelle pour les grands groupes possédant de nombreuses marques.

Pourquoi il est intéressant d’utiliser un autre connecteur ?

L’impossibilité de connecter plusieurs propriétés Search Console au même projet Google Cloud constitue un obstacle important à l’utilisation de l’export natif. De plus, les données historiques ne sont pas sauvegardées. Lorsque vous commencez l’export, vous commencez à récupérer les données à partir du jour de l’export, mais vous manquez les 16 mois d’historique qui sont pourtant accessibles via l’API. Nous recommandons toujours d’utiliser un autre système d’export, au moins pour l’historique.

Pour cela, nous recommandons deux possibilités :

• Utiliser Fivetran, qui intègre un export Search Console efficace. Cela représente un coût mensuel d’utilisation qui peut être un frein à l’adoption.
• Devenir client de Woptimo. En effet, nous avons développé notre propre connecteur n’utilisant que des solutions data proposées par Google. Nous pouvons non seulement importer l’historique des données Search Console et le fusionner avec l’export natif ou avec les données actualisées quotidiennement de notre connecteur, mais surtout nous créons également des reportings Looker Studio avancés permettant une exploitation beaucoup plus fine des données.

Conclusion

Grâce à cette fonctionnalité d’exportation native, il est désormais possible d’exporter gratuitement les données brutes de Google Analytics, Google Search Console, Google Ads et Google Merchant Center vers BigQuery. C’est une étape supplémentaire pour faciliter son utilisation en tant que pivot central pour une stratégie de data marketing. Chez Woptimo, BigQuery est probablement l’outil que nous utilisons le plus au quotidien. Et ce n’est que le début…