Comment simplifier vos requêtes SQL avec UNION ALL BY NAME dans BigQuery ?

UNION ALL BY NAME dans BigQuery révolutionne l’agrégation de données en alignant les colonnes par noms, pas par ordre. Fini les erreurs dues à l’inversion des colonnes, vos requêtes deviennent plus flexibles et lisibles — une vraie avancée validée par la documentation officielle de Google Cloud.

3 principaux points à retenir.

UNION ALL BY NAME permet de fusionner des résultats SQL en s’appuyant sur les noms de colonnes.
Évite les erreurs classiques quand l’ordre des colonnes diffère entre requêtes.
Simplifie le code et rend les requêtes plus robustes et maintenables.

Qu’est-ce que UNION ALL BY NAME et pourquoi BigQuery l’a introduit ?

Union ALL BY NAME, c’est un petit bijou de fonctionnalité dans BigQuery qui va vous sauver des migraines lors de vos requêtes. Pourquoi ? Parce qu’elle vous permet de combiner les résultats en fonction des noms des colonnes plutôt que de leur position. Quand vous travaillez avec des ensembles de données qui viennent de difféfrents endroits, il y a souvent des variations dans l’ordre des colonnes. Cela peut provoquer des erreurs classiques qui vous font perdre du temps, vous le savez bien.

Cette fonctionnalité a été introduite pour améliorer l’intégrité des requêtes complexes, ce qui est crucial dans un environnement comme Google Analytics ou d’autres sources BigQuery où la divergence d’ordres peut mener à des résultats erronés. Quand vous combinez des données de différentes tables ou même de différentes instances de données, l’alignement par nom est la clé pour garantir que le résultat soit correct. Imaginez que vous devez faire une requête qui combine des informations sur les visiteurs d’un site web et leurs conversions — si les colonnes ne sont pas dans le bon ordre, votre requête échoue ! Avec UNION ALL BY NAME, plus de souci à se faire.

Voyons comment cela fonctionne. Prenez deux tables avec des colonnes qui ont des noms identiques, mais dans un ordre différent :

SELECT visitor_id, visit_date FROM table_a
UNION ALL
SELECT visit_date, visitor_id FROM table_b

Cette requête va échouer parce que les colonnes ne sont pas dans le même ordre. En revanche, voici comment faire avec UNION ALL BY NAME :

SELECT visitor_id, visit_date FROM table_a
UNION ALL BY NAME
SELECT visit_date, visitor_id FROM table_b

Cela fonctionne parce que la combinaison se fait sur la base des noms, non de la position. Résultat : moins de place pour l’erreur, ce qui renforce la fiabilité de vos analyses. Si vous voulez plonger plus profondément dans l’utilisation des unions dans BigQuery, je vous recommande cette ressource qui vous guidera à travers des scénarios pratiques.

En résumé, UNION ALL BY NAME simplifie et renforce vos workflows analytiques. Ne laissez pas les ordres de colonnes mettre des bâtons dans les roues de votre efficacité !

Comment utiliser UNION ALL BY NAME dans vos requêtes BigQuery concrètement ?

Utiliser UNION ALL BY NAME dans vos requêtes BigQuery est un moyen efficace de combiner des résultats provenant de différentes tables tout en évitant les pièges classiques liés aux types de données et à l’ordre des colonnes. Si vous avez besoin de fusionner des tables où les colonnes sont dans un ordre différent, UNION ALL BY NAME est votre meilleur allié.

Voici comment l’appliquer dans une requête basique. Imaginons que vous ayez deux tables de ventes : ventes_2022 et ventes_2023. Supposons que vous souhaitez extraire les colonnes produit, quantité, et total, mais que dans chaque table, ces dernières se retrouvent dans un ordre différent. Voici à quoi cela pourrait ressembler :


SELECT produit, total, quantité
FROM ventes_2022
UNION ALL BY NAME
SELECT total, quantité, produit
FROM ventes_2023;

Dans cet exemple, la commande UNION ALL BY NAME permet de faire abstraction de l’ordre des colonnes. Au lieu de vous battre avec des erreurs du type « colonnes incompatibles », vous vous concentrez sur les noms des colonnes, qui sont identiques ici.

Pourquoi est-ce essentiel ? En combinant des datasets de services comme Google Analytics, où les structures peuvent varier, une simple erreur de correspondance peut vous faire perdre un temps précieux à déboguer. En utilisant UNION ALL BY NAME, vous minimisez le risque d’erreurs, ce qui est essentiel pour des analyses fiables.

Voici quelques bonnes pratiques à suivre :

Ayez des noms de colonnes identiques pour que BigQuery puisse faire les correspondances sans erreur.
Assurez-vous que les types de données des colonnes soient identiques, même si vous utilisez BY NAME.
Évitez d’avoir des colonnes absentes d’un côté, car cela pourrait rendre vos résultats partiels ou trompeurs.

En utilisant judicieusement UNION ALL BY NAME, vous vous assurez un processus d’interrogation plus fluide et sans accrocs.

Quelles limites et précautions avec UNION ALL BY NAME faut-il connaître ?

UNION ALL BY NAME n’est pas une solution miracle. Bien que cette fonctionnalité apparaisse comme une bouée de sauvetage pour la simplification des requêtes SQL dans BigQuery, il y a des limites à considérer. La première de ces limitations concerne la compatibilité des types de données. Si deux colonnes partagent le même nom mais que leurs types sont incompatibles—par exemple, si l’une est un entier et l’autre une chaîne composite—la requête va échouer. Cela peut sembler évident, mais il est crucial de toujours vérifier les types associés aux colonnes que vous manipulez. En effet, une construction telle que SELECT col_a, col_b FROM table1 UNION ALL BY NAME SELECT col_a, col_c FROM table2 peut rendre la requête inopérable si col_b est de type INT et col_c est de type STRING.

Ensuite, pensez à la présence de colonnes non correspondantes. Les colonnes qui ne figurent que dans l’une des requêtes sont tout simplement ignorées. Cela signifie que si vous avez des données essentielles dans une colonne qui ne se trouve pas dans la partie avec l’autre nom, ces données seront perdues dans le résultat final. Il peut être nécessaire de recourir à des constructions comme COALESCE ou des conversions de type avec CAST pour combler ces manques. Par exemple :

SELECT col_a, COALESCE(col_b, 'N/A') as col_b 
FROM table1 
UNION ALL BY NAME 
SELECT col_a, col_c 
FROM table2

Un autre piège fréquent concerne la gestion des valeurs NULL. Une absence de données dans une colonne de type de données hétérogènes peut donner des résultats inattendus, rendant la validation plus complexe. Il suffit d’un NULL pour chambouler votre analyse. En effet, BigQuery fonctionnant sous la norme SQL, il est important de garder en tête qu’un NULL ne s’additionne pas comme un entier, un détail que l’on oublie souvent.

Côté performance, l’utilisation de UNION ALL BY NAME pourrait rallonger le temps d’exécution des requêtes si vos jeux de données sont conséquents, car BigQuery doit faire des correspondances entre colonnes. Si la performance est un critère clé, envisagez d’autres alternatives comme les requêtes classiques avec des jointures (JOIN) qui parfois, peuvent être plus efficaces. Pour plus de détails sur l’utilisation de SQL dans BigQuery, consultez cette ressource.

Dans quels cas précis UNION ALL BY NAME améliore-t-il la productivité et la fiabilité ?

Présentation des cas d’usage où UNION ALL BY NAME brille vraiment ? Regardons ensemble quelques situations typiques où cette fonctionnalité devient un atout indéniable.

Intégration de données clients provenant de sources hétérogènes : Imaginez que vous collectez des données clients depuis divers systèmes : CRM, webanalytics et formulaires. Chaque source a des colonnes différentes. Au lieu de jongler avec une syntaxe complexe et des noms de colonne différents, UNION ALL BY NAME vous permet de simplement aligner les colonnes sans vous soucier de leur nom ou de leur ordre. Cela signifie une intégration plus fluide qui réduit les erreurs de mapping.
Dashboards Google Analytics complexes : Dans le domaine de la visualisation des données, la rapidité et la fiabilité sont cruciales. En utilisant UNION ALL BY NAME, vous pouvez rapidement rassembler plusieurs vues ou segments d’une même source de données. Imaginez que vous devez combiner des métriques de plusieurs vues de site. Plutôt que de créer des requêtes distinctes, vous faites tout en une seule opération, ce qui permet de générer des rapports plus rapidement et de réduire les révisions.
Traitements Big Data automatisés : Dans l’univers des Big Data, l’automatisation du traitement est primordiale. Lors d’une consolidation de jeux de données massifs, UNION ALL BY NAME simplifie le code SQL. Cela se traduit par une écriture de code moins sujette aux erreurs, facilitant la maintenance et l’évolution des scripts. Un petit changement dans la structure des données ne provoque pas un casse-tête interminable.

Voici un tableau comparatif qui clarifie pourquoi adopter UNION ALL BY NAME pourrait faire la différence dans votre flux de travail :

Critères	UNION ALL Classique	UNION ALL BY NAME
Simplicité d’écriture	Complexe, nécessite un mapping détaillé	Simple, alignement automatique des colonnes
Robustesse	Moins robuste face aux changements de structure	Plus robuste, moins d’erreurs potentielles
Gestion des erreurs	Peu claire, difficile à déboguer	Transparente, simplifie l’analyse des erreurs
Cas d’usage adaptés	Situations simples ou stable	Intégrations complexes, Big Data, automatisation

Alors, êtes-vous prêts à tester UNION ALL BY NAME dans vos projets ? Si vous ne l’avez pas encore fait, n’hésitez pas à plonger dans la documentation officielle de Google Cloud pour découvrir tout le potentiel de cette amélioration. Vous verrez rapidement qu’elle peut vraiment révolutionner votre approche des requêtes SQL.

UNION ALL BY NAME est-ce la clé pour des requêtes BigQuery sans casse-tête ?

UNION ALL BY NAME simplifie radicalement la combinaison de tables en SQL sur BigQuery, en éliminant la contrainte d’ordre des colonnes. Cette fonctionnalité révolutionne la manière dont vous écrivez et maintenez vos requêtes, surtout quand vous travaillez avec des données complexes ou issues de sources diverses. Elle sécurise votre code des erreurs classiques et accélère la livraison de vos analyses. À condition de respecter la compatibilité des types et la cohérence des noms, UNION ALL BY NAME s’impose comme un outil indispensable pour tout professionnel maîtrisant BigQuery, gagnant en productivité et fiabilité au quotidien.

FAQ

Qu’apporte UNION ALL BY NAME en plus par rapport à UNION ALL classique ?

UNION ALL BY NAME aligne les colonnes par leur nom et non leur position, ce qui évite les erreurs de mappage dues à des ordres différents dans les requêtes à fusionner.

Est-ce que les types de données doivent être identiques pour utiliser UNION ALL BY NAME ?

Oui, les colonnes avec un même nom doivent avoir des types compatibles sous peine d’erreur lors de l’exécution de la requête.

Peut-on utiliser UNION ALL BY NAME avec des colonnes absentes d’une des requêtes ?

Non automatiquement. Il faut gérer l’absence de colonnes en utilisant COALESCE ou CAST pour harmoniser les structures avant l’union.

Cette fonctionnalité existe-t-elle dans d’autres systèmes SQL ?

Certaines bases comme Snowflake supportent des fonctionnalités similaires, mais UNION ALL BY NAME dans BigQuery est notable par sa simplicité et son intégration récente.

Comment vérifier si ma version de BigQuery supporte UNION ALL BY NAME ?

Consultez la documentation officielle Google Cloud ou testez en lançant une requête avec UNION ALL BY NAME. Cette fonctionnalité est disponible sur les dernières versions depuis 2023.

Franck Scandolera

⭐ Analytics engineer, Data Analyst et Automatisation IA indépendant ⭐

Ref clients : Logis Hôtel, Yelloh Village, BazarChic, Fédération Football Français, Texdecor…

Mon terrain de jeu :

Data Analyst & Analytics engineering : tracking avancé (GTM server, e-commerce, CAPI, RGPD), entrepôt de données (BigQuery, Snowflake, PostgreSQL, ClickHouse), modèles (Airflow, dbt, Dataform), dashboards décisionnels (Looker, Power BI, Metabase, SQL, Python).
Automatisation IA des taches Data, Marketing, RH, compta etc : conception de workflows intelligents robustes (n8n, App Script, scraping) connectés aux API de vos outils et LLM (OpenAI, Mistral, Claude…).
Engineering IA pour créer des applications et agent IA sur mesure : intégration de LLM (OpenAI, Mistral…), RAG, assistants métier, génération de documents complexes, APIs, backends Node.js/Python.