Comment optimiser le transfert des données Google Ads vers BigQuery ?

Le transfert des données Google Ads vers BigQuery est essentiel pour analyser efficacement vos campagnes. Optimiser ce processus réduit les délais de backfill, simplifie la gestion multi-comptes et limite les coûts associés. Voici comment maîtriser ces paramètres avancés pour gagner en agilité et en clarté.

3 principaux points à retenir.

• Backfill fractionné : découper la période à extraire pour accélérer la récupération des données.
• Gestion multi-comptes : privilégier la MCC pour centraliser vos transferts et éviter la multiplication des datasets.
• Filtrage des tables : limitez la charge en sélectionnant uniquement les tables indispensables.

Comment accélérer le backfill des données Google Ads ?

Le backfill des données Google Ads peut vite devenir un cauchemar si vous essayez de récupérer de longues périodes en une seule requête. Les limites imposées par le service – notamment le fait qu’il n’autorise pas d’extractions sur de longues plages de temps – rendent ce processus parfois très frustrant. Mais voilà, une méthode simple et efficace existe : diviser votre backfill en intervalles de 2 à 3 mois. Pourquoi ? Parce que cela permet de gérer ces limitations et d’effectuer des extractions en chaîne sans engendrer de temps mort.

Il est important de connaître la contrainte concernant les tâches simultanées : Google Ads ne permet souvent qu’un certain nombre de requêtes actives à la fois. Cette restriction peut ralentir considérablement votre extraction si vous essayez de tout faire en une fois. En général, il est conseillé de respecter un intervalle de 35 minutes entre chaque job pour éviter les blocages et optimisations de performances. Si vous voulez faire un backfill couvrant 6 à 8 mois, vous avez donc intérêt à le segmenter. Travaillons avec un exemple concret :

• Supposons que vous souhaitiez accéder à 8 mois de données.
• Vous allez donc diviser cela en 4 intervalles de 2 mois : Mois 1-2, Mois 3-4, Mois 5-6, Mois 7-8.
• Pour chaque intervalle, programmé dans Cloud Shell, vous pouvez espacer les jobs de 35 minutes.

Voici un exemple de commande Cloud Shell à utiliser :

gcloud bigquery jobs create --source_format=NEWLINE_DELIMITED_JSON --time_partitioning_type=DAY \
--destination_table=my_dataset.my_table \
--query="SELECT * FROM \`your_project.your_dataset.your_table\` WHERE DATE(created_at) BETWEEN 'YYYY-MM-DD' AND 'YYYY-MM-DD'"

Dans cette commande, remplacez :

• my_dataset.my_table : par le nom de votre dataset/data.
• your_project.your_dataset.your_table : par votre table source.
• YYYY-MM-DD : par les dates de début et de fin de chaque intervalle.

Découvrez égalementComment simplifier vos UNION ALL en SQL avec BigQuery UNION ALL BY NAME ?

Rappelez-vous, la clé est de respecter les intervalles de 2 mois et de permettre un espacement d’au moins 35 minutes entre chaque extraction. En procédant ainsi, vous optimiserez le transfert de vos données et profiterez d’une extraction sans heurt. Pour plus d’infos sur les spécificités du transfert de données Google Ads vers BigQuery, je vous invite à consulter ce lien.

Comment gérer plusieurs comptes Google Ads avec BigQuery ?

Gérer plusieurs comptes Google Ads peut rapidement devenir un vrai casse-tête. La meilleure façon de centraliser et d’optimiser cette gestion est de passer par un compte MCC (My Client Center). Cela apporte plusieurs avantages non négligeables, surtout quand il s’agit d’exporter les données vers BigQuery. Voici pourquoi c’est une bonne idée.

• Simplification de la gestion des comptes : En utilisant un MCC, vous regroupez tous vos comptes sous un même toit. Cela se traduit par une réduction significative du nombre de datasets dans BigQuery. Moins de datasets, c’est moins de confusion et plus de clarté dans vos analyses.
• Analyse croisée facilitée : Travailler avec un seul dataset rend l’analyse croisée entre les différents comptes beaucoup plus fluide. Vous pouvez ainsi voir d’un coup d’œil comment chaque compte se compare par rapport aux autres.
• Centralisation des rapports : Vous pouvez générer des rapports globaux qui englobent toutes vos données publicitaires sans avoir à jongler entre plusieurs datasets.

Pour obtenir l’identifiant client MCC, c’est assez simple. Allez sur votre compte Google Ads et cherchez l’onglet « Outils » dans le menu. Sous la rubrique « Configuration », vous verrez « Accès au compte ». Une fois que vous avez trouvé votre compte MCC, notez son identifiant, généralement un nombre à 10 chiffres.

Cependant, il existe des cas où l’usage d’un MCC n’est pas possible. Par exemple, si votre organisation travaille avec des clients qui ont des comptes Google Ads séparés et qui préfèrent garder leurs données isolées, vous devrez gérer plusieurs datasets. Dans ce cas, il est crucial de bien structurer et documenter vos données pour éviter les pertes d’infos ou les erreurs d’interprétation.

Pensez à adopter une nomenclature claire pour vos datasets, comme « client_nom_date » ou « campagne_type_caracteristique ». Cela facilitera l’identification et les futures analyses. Si possible, regroupez les données des comptes qui partagent des caractéristiques communes pour permettre une analyse plus ciblée et efficace.

Découvrez égalementOptimisez votre migration de données avec les services BigQuery

En résumé, même si utiliser un MCC présente des bénéfices évidents, une attention particulière à la structuration et la nomenclature des datasets est essentielle lorsqu’il faut gérer plusieurs comptes sans cette option. Cela permet d’éviter bien des maux de tête et d’assurer une gestion plus sereine des données.

Comment limiter le volume de tables dans les transferts Google Ads ?

Le transfert Google Ads génère effectivement une pléthore de tables—plus d’une centaine au total. Quand on souhaite manipuler des datasets spécifiques, cela peut rapidement devenir une jungle ingérable. D’un autre côté, il est rare que toutes ces tables soient nécessaires pour un cas d’usage précis. Alors, comment faire pour ne pas se noyer dans un océan de données superflues ?

Vous pouvez affiner vos transferts en configurant l’inclusion ou l’exclusion des tables via la syntaxe appropriée. En filtrant les informations dès le départ, vous réduisez significativement le volume de données transférées et par conséquent la taille de votre dataset. Pour ce faire, il faut vous rendre dans les paramètres de votre transfert dans BigQuery. Par exemple, si vous envisagez de ne pas utiliser les données de « ClickStats » pour votre analyse de conversion, cliquez sur l’option d’exclusion pour cette table. Dans la plupart des cas, les données de clics détaillées sont peu pertinentes pour des actions d’optimisation plus larges.

Voici un exemple simple de liste de tables à charger :

– Campaign
– AdGroup
– Keyword

Découvrez égalementBigQuery transforme l'analyse de données en plateforme autonome

Pour paramétrer cela dans BigQuery, vous pouvez appliquer la syntaxe d’inclusion/exclusion ainsi :

« `
SELECT table_id
FROM `project.dataset.INFORMATION_SCHEMA.TABLES`
WHERE table_id IN (‘Campaign’, ‘AdGroup’, ‘Keyword’)
« `

Ceci vous permettra de ne charger que les tables que vous avez sélectionnées.

Pour récapituler, voici un tableau comparatif entre charger toutes les tables et faire un tri :

En somme, filtrer les tables à transférer n’est pas qu’une question de préférence : c’est une nécessité pour optimiser vos ressources. Pour aller plus loin sur les transferts de données avec BigQuery, jetez un œil à la documentation officielle ici.

Pourquoi et comment automatiser les backfills avec Cloud Shell ?

Dans le monde du marketing digital, particulièrement dans le secteur B2B ou pour des produits à fort coût (high-ticket), les conversions ne sont pas toujours immédiates. Certaines actions commerciales peuvent se traduire par des conversions des jours, voire des semaines après une campagne. Pour éviter de perdre des données précieuses, il est essentiel d’intégrer ces conversions tardives dans nos analyses. À cet égard, l’automatisation des backfills s’avère cruciale.

Pourquoi est-ce si important ? Prenons un exemple concret : dans le secteur B2B, une entreprise peut initier une campagne Google Ads pour générer des leads. Cependant, la conversion d’un lead en client peut prendre du temps. L’automatisation du processus de backfill permet de mettre à jour vos données dans BigQuery sans intervention manuelle. Ainsi, vous évitez des analyses biaisées qui ne tiennent pas compte des conversions tardives et, par conséquent, vous améliorez la prise de décision stratégique.

Pour automatiser les backfills avec Cloud Shell, commencez par récupérer l’identifiant de configuration de votre transfert Google Ads. Ce dernier est essentiel pour identifier et déclencher la bonne opération de backfill.

Voici comment procéder :

• Ouvrez Cloud Shell depuis votre console Google Cloud.
• Autorisez Cloud Shell à accéder à votre projet.
• Utilisez un script pour lancer votre backfill automatique.

Voici un exemple complet de script shell qui commence par l’authentification :

# Authentification
gcloud auth login

# Identifier votre configuration et lancer le backfill
PROJECT_ID="votre_projet_id" 
TRANSFER_CONFIG_ID="votre_id_configuration"
START_DATE="2023-01-01" # Exemple de date de début
END_DATE="2023-01-31" # Exemple de date de fin

bq mk --transfer_config --target_dataset=votre_dataset \
    --display_name="Backfill Google Ads" \
    --data_source=google_ads \
    --params='{"start_date":"'${START_DATE}'", "end_date":"'${END_DATE}'"}' \
    --project_id=${PROJECT_ID} \
    --transfer_config_id=${TRANSFER_CONFIG_ID}

Pour surveiller ce processus, envisager de configurer des alertes par email. Cela vous permettra d’être rapidement informé d’échecs ou d’anomalies, vous donnant ainsi la possibilité d’intervenir sans délai et de minimiser les impacts sur vos analyses.

Pour davantage d’informations, consultez la documentation sur le transfert des données Google Ads vers BigQuery ici.

Comment tirer le meilleur parti du transfert Google Ads vers BigQuery ?

Maîtriser les subtilités du transfert Google Ads vers BigQuery est un atout majeur pour tout analyste ou marketer soucieux d’exploiter ses données campagne rapidement et proprement. Fractionner le backfill ouvre la porte à des analyses plus rapides sur de larges périodes. Centraliser la collecte avec un MCC évite une usine à gaz sur la gestion multi-comptes. Filtrer les tables est une mesure précieuse pour alléger vos datasets et réduire les coûts. Enfin, automatiser avec Cloud Shell garantit que votre reporting reste à jour, surtout quand vos conversions s’étalent dans le temps. Ces bonnes pratiques vous font gagner en efficacité opérationnelle et en clarté d’analyse, indispensables pour piloter vos investissements publicitaires sereinement.

FAQ

A propos de l’auteur

Franck Scandolera est consultant indépendant en data engineering et analytics depuis plus de dix ans. Basé à Brive-la-Gaillarde, il accompagne agences et annonceurs dans la maîtrise de leurs données marketing, dont Google Ads et GA4, via des pipelines BigQuery robustes et automatisés. Formateur reconnu et expert en automatisation no-code, Franck valorise une approche pragmatique, orientée usages métier concrets et optimisation des process techniques autour du tracking et des transferts data.