Pourquoi connecter Search Console à BQ ?
Google Search Console fournit de nombreuses données extrêmement pertinentes pour l’analyse de l’efficacité SEO d’un site. Pour chaque page et chaque requête, vous pouvez obtenir le nombre de clics, d’impressions et la position moyenne, en fonction du type d’appareil et du pays d’origine.
Cependant, une partie des données est anonymisée en dessous d’un certain seuil. Cela peut entraîner des différences allant jusqu’à 50 % entre les données agrégées et le détail par requête.
Pour générer un rapport, vous pouvez utiliser directement le connecteur Search Console de Looker Studio. Cependant, ce dernier est limité à la durée de stockage des données, qui est de 16 mois. Nous ne l’utilisons plus depuis plusieurs années en raison de son manque de flexibilité et de sa lenteur.
Intégrer les données de Search Console au sein du data warehouse BigQuery permet de débloquer complètement les limitations de l’API. Bien qu’il y ait toujours l’anonymisation des requêtes, la possibilité d’effectuer des traitements et des agrégations avancés est un véritable atout pour les rapports.
Depuis mars 2023, il est désormais possible d’exporter gratuitement les données de Google Search Console vers BigQuery en quelques clics depuis l’interface GSC. Cet export a quelques limites, mais constitue un grand pas en avant.
Comment configurer le connecteur natif GSC – BQ ?
Pour configurer l’exportation, procédez comme suit :
- Disposer d’un projet Google Cloud avec la facturation activée. Si vous avez déjà exporté avec succès GA4 vers BigQuery, vous possédez déjà ceci.
- Dans Google Cloud, accédez à IAM (Identity and Access Management) et ajoutez search-console-data-export@system.gserviceaccount.com avec les deux rôles suivants : Utilisateur de tâche BigQuery et Éditeur de données BigQuery.
- Dans Google Search Console, accédez à Paramètres, puis à Exportation groupée de données, et renseignez l’ID du projet (que vous trouverez facilement dans le menu déroulant en haut à gauche sur Google Cloud). Vous ne pouvez pas modifier le nom de l’ensemble de données, qui reste grisé à « searchconsole ». Choisissez Europe pour le stockage de données.
Combien coûté l’export natif Search Console vers BigQuery ?
L’exportation des données de Search Console vers BigQuery est gratuite dans la plupart des cas. Seuls les sites Web très volumineux, avec des millions de mots-clés à gérer quotidiennement, risquent de devoir payer quelques euros par mois pour le stockage. Le coût dépendra aussi de l’utilisation que vous faites des données. Nous vous conseillons de créer des seuils d’alerte de facturation dans Google Cloud pour éviter toute mauvaise surprise.
Quelles données pour le connecteur GSC – BigQuery ?
Une fois l’export effectué, vous pouvez analyser les données dans le dataset « searchconsole » de BigQuery. Trois tables seront créées :
- ExportLog : peu utile au quotidien, mais permet d’avoir un statut de l’export sans avoir à requêter l’ensemble des tables.
- searchdata_site_impression (partitionné par date) : permet d’avoir pour une requête donnée le nombre de clics et d’impressions au niveau du site. Si un utilisateur a cliqué sur plusieurs URL depuis la page de résultats de Google, cela ne sera compté ici qu’une seule fois. Cependant, attention à la métrique sup_top_position qui est une somme de position, et doit donc être retraitée avant d’être utilisée.
- searchdata_url_impression (partitionné par date) : permet d’avoir pour chaque page les clics, les impressions, la position et permet aussi de savoir dans quelle condition cette page a été affichée (AMP, vidéo, rich snippet…). Les requêtes anonymisées (qui sont donc null) sont intégrées dans cet export pour permettre une somme de clics et d’impressions cohérentes.
Une subtilité importante concerne la métrique sum_top_position présente dans les deux tables searchdata. Pour être cohérente et donner la position moyenne, il faut diviser la somme des positions par le nombre d’impressions et ajouter 1. Cette subtilité est une facilité de stockage pour Google. Stocker un entier est un effet bien plus efficace qu’un float (nombre à virgule).
Pourquoi il est intéressant d’utiliser un autre connecteur ?
Les données historiques ne sont pas sauvegardées, c’est dommage. Lorsque vous commencez l’export, vous commencez à récupérer les données à partir du jour de l’export, mais vous n’aurez pas les 16 mois d’historique qui sont pourtant accessibles via l’API. Nous recommandons toujours d’utiliser un autre système d’export, au moins pour l’historique.
Pour cela, nous recommandons deux possibilités :
- Utiliser Fivetran, qui intègre un export Search Console efficace. Cela représente un coût mensuel d’utilisation qui peut être un frein à l’adoption.
- Devenir client de Woptimo. En effet, nous avons développé notre propre connecteur n’utilisant que des solutions data proposées par Google. Nous pouvons non seulement importer l’historique des données Search Console et le fusionner avec l’export natif ou avec les données actualisées quotidiennement de notre connecteur, mais surtout nous créons également des reportings Looker Studio avancés permettant une exploitation beaucoup plus fine des données.
Conclusion
Grâce à cette fonctionnalité d’export natif, il est désormais possible d’exporter gratuitement les données brutes de Google Analytics, Google Search Console, Google Ads et Google Merchant Center vers BigQuery. C’est une étape supplémentaire pour faciliter son utilisation en tant que pivot central pour une stratégie de data marketing. Chez Woptimo, BigQuery est probablement l’outil que nous utilisons le plus au quotidien. Et ce n’est que le début…
