Qu'est-ce qu'un pipeline de données ?

Un pipeline de données est la tuyauterie derrière l'analyse. Il achemine de façon fiable les données de là où elles sont créées vers là où elles sont analysées, en appliquant des transformations au passage.

Un pipeline type :

• Extrait depuis des bases de données, des applications et des fichiers.
• Transforme en nettoyant, joignant, remodelant et en appliquant la logique métier.
• Charge dans un entrepôt, un lac ou un système de reporting.
• Planifie et surveille les exécutions, avec des alertes en cas de défaillance.

Les pipelines sont puissants mais lourds : leur construction demande de l'ingénierie, ils cassent quand les schémas changent et ajoutent un délai entre le moment où une question surgit et celui où les données sont prêtes à y répondre.

La promesse centrale d'iDBQuery est de vous permettre de vous passer de cette construction pour répondre aux questions. Au lieu de faire d'abord transiter vos données par un pipeline vers un entrepôt, iDBQuery se connecte à vos sources existantes et construit un seul modèle vivant et interrogeable couvrant l'ensemble, puis rédige le SQL à la demande et source la réponse jusqu'aux lignes d'origine. Il n'y a aucun projet d'ETL à maintenir ni aucune attente d'une exécution de pipeline. Si vous avez déjà des pipelines qui alimentent un entrepôt, iDBQuery se connecte aussi à cet entrepôt, de sorte qu'il complète ce que vous avez plutôt que de remplacer votre ingénierie.