Qu'est-ce qu'un Data Lake d'entreprise ?

L'essor des architectures multi-cloud axées sur les données et le large portefeuille d'applications avancées pilotées par les données qui en résultent s'appuient sur des lacs de données pour stocker toutes les données. Un lac de données est un référentiel open source et standard de l'industrie pour stocker de grandes quantités de données. Par la suite, un lac de données d'entreprise non seulement ils stockent des données, mais ils fournissent également des services de qualité professionnelle pour collecter, explorer, gérer, gouverner, préparer et créer des pipelines pour les données d'entreprise.

Les lacs de données d'entreprise stockent les données « telles quelles » au moment de l'ingestion pour éviter les processus ETL longs et coûteux, ou fournissent des services de préparation des données. Ces services profilent, nettoient, enrichissent, transforment, modélisent et créent des pipelines de données pour répondre aux exigences spécifiques des applications. L'objectif est de permettre des applications pilotées par les données en temps réel. La préparation des données améliore la qualité des données et permet des applications d'analyse avancée et de business intelligence.

Pipelines de données pour l'entreprise axée sur les données

Les applications pilotées par les données exploitent des réseaux vastes et complexes de données et de services. Les lacs de données d'entreprise fournissent les connexions nécessaires pour déplacer les données de n'importe quelle source vers n'importe quel emplacement cible. Parce qu'ils traitent de très gros volumes de données et évoluent horizontalement à l'aide de Infrastructure de cloud de produits de baseLes lacs de données d'entreprise constituent une plate-forme idéale pour la migration des données dans le cloud, l'archivage d'entreprise et le stockage de données opérationnelles (ODS). De plus, ils ont la capacité de créer des pipelines entre les systèmes de production et les applications d'analyse en aval, l'entrepôt de données SQL, l'intelligence artificielle (IA) et l'apprentissage automatique (ML).

Les pipelines de données sont une série de flux de données. La sortie d'un élément est l'entrée du suivant, et ainsi de suite. Les lacs de données d'entreprise servent de points de collecte et d'accès dans un pipeline de données et sont responsables du contrôle d'accès. À mesure que les pipelines de données émergent dans l'entreprise, lacs de données d'entreprise Les data lakes deviennent des centres de distribution de données avec des contrôles centralisés pour fédérer les données sur les réseaux de data lakes. La fédération de données centralise la gestion des métadonnées, la gouvernance des données et le contrôle de la conformité tout en permettant des opérations de data lake décentralisées.

Bien entendu, gérer des données à une échelle aussi importante implique de mettre en place des contrôles de gouvernance des données. Un lac de données d’entreprise gère les données à l’aide de politiques de gestion du cycle de vie des informations (ILM). Ces politiques établissent un système de contrôles et de règles métier, notamment des politiques de conservation des données et de conservation légale. Les contrôles de sécurité et de confidentialité des données des consommateurs tels que NIST 800-53, PCI, HIPAA et GDPR ne sont pas seulement essentiels pour la conformité légale, une mise en œuvre appropriée améliore également la qualité des données.

Gestion centralisée des métadonnées

Les lacs de données d'entreprise ont besoin Gestion des métadonnées pour visualiser l'ensemble du paysage de données (y compris les données structurées, semi-structurées et non structurées) et aider les utilisateurs à mieux comprendre leurs données. Les analystes classent, profilent et établissent des descriptions cohérentes et un contexte commercial pour les données. La gestion centralisée des métadonnées permet aux utilisateurs d'explorer leur paysage de données de trois manières :

• La traçabilité des données permet aux utilisateurs de comprendre le cycle de vie des données, notamment l'historique des mouvements et des transformations des données. Cela simplifie l'analyse des causes profondes en traçant les erreurs de données et améliore la confiance dans le traitement par les systèmes en aval.
• Un catalogue de données est une vue de portefeuille de l'inventaire et des actifs de données. En d'autres termes, les utilisateurs parcourent les données dont ils ont besoin et sont en mesure d'évaluer les données en fonction des utilisations prévues.
• Le glossaire commercial est une liste de termes commerciaux avec leurs définitions. Les programmes de gouvernance des données exigent que les concepts commerciaux d'une organisation soient définis et utilisés de manière cohérente.

La pièce maîtresse des programmes de gestion des données cloud

La transformation numérique nécessite une interopérabilité avec le cloud et son vaste réseau de données et de services Web. Les lacs de données sont une approche open source et standard du secteur pour collecter et stocker de manière sûre et sécurisée de grandes quantités de données. De plus, un lac de données d'entreprise fournit des services de niveau entreprise pour explorer, gérer, gouverner, préparer et fournir un contrôle d'accès. Les responsables qui recherchent ces avantages axés sur les données déploient donc des lacs de données d'entreprise pour améliorer l'engagement client ou fournir des analyses améliorées basées sur des données plus complètes et axées sur les événements.

En conclusion, les architectures axées sur les données nécessitent un stockage d'objets peu coûteux et efficace, un accès en temps réel, une gouvernance des données, une gestion des métadonnées, une préparation des données et une connectivité pour créer des pipelines de données de bout en bout. lac de données d'entreprise, toute organisation est capable de mettre en œuvre ces capacités critiques très rapidement, de réaliser une transformation numérique et de devenir une entreprise axée sur les données.