Migrer ses données hébergées dans un serveur dédié pour les analyser dans BigQuery

Un de nos clients avait la problématique de vouloir exporter ses données des campagnes publicitaires, à des fins de suivi des relances et avait. De son côté, il avait déjà mis en place un export quotidien dans des fichiers au format .csv, hébergés dans leur propre serveur.

Comment récupérer dans BigQuery des données hébergées dans un serveur SFTP ?

Il n’existe pas de liaison directe entre BigQuery et le serveur FTP (ou SFTP) mais grâce a BigQuery il est possible de récupérer des données stockées dans un bucket Cloud Storage et d’en tirer profit afin d’y appliquer des requêtes avancées nous permettant de mettre à jour les différents KPI établis au préalable, et ceci de manière totalement automatisée et à moindre coût !

Travail réalisé

Nous avons permis à notre client de faciliter la consultation de ces données sous la forme d’un rapport Looker Studio, directement relié à BigQuery grâce à un connecteur natif. Néanmoins,il fallait tout d’abord mettre en place un export quotidien depuis leur serveur vers un bucket Cloud Storage, hébergé en Europe et dont ils sont propriétaires.

Création et paramétrage d’une machine virtuelle
Création d’un bucket Cloud Storage
Planification quotidienne de l’export
Création d’un rapport Looker Studio
Formation guidée (hands-on) afin de faciliter la mise en place de l’import des données depuis le serveur FTP vers Cloud Storage

NB : Afin que notre client reste propriétaire de ses données il était nécessaire qu’il crée une organisation au sein de GCP, sujet sur lequel nous l’avions accompagné auparavant.

Outils employées

Suite Google Cloud Platform :

Cloud Storage
Compute Engine
BigQuery

Résultats

100 %

d'autonomie

Autonomie

sur la création de nouveaux exports

100 %

de données disponibles

Analyses avancées

Des données disponibles pour des analyses avancées dans BigQuery

Looker Studio

Reporting

Un rapport facilitant la prise de décision, concernant les inverstissements sur les différents canaux publicitaires

On travaille ensemble ?

Notre expertise Data nous permet de vous aider à être plus efficaces grâce à l’exploitation de vos données. Nous transformons et donnons du sens à vos données pour vous aider dans la prise de décisions et mettre en place les actions marketing les plus pertinentes.