Guide d'entreprise pour les lacs de données : gouvernance vs stockage

Préface

Cet article propose une analyse approfondie de l'équilibre crucial entre la gouvernance des données et les capacités de stockage au sein des lacs de données, notamment pour les décideurs d'entreprise tels que les directeurs informatiques, les DSI et les DTI. Il explore les contraintes opérationnelles, les compromis stratégiques et les modes de défaillance liés à la gestion des lacs de données, en soulignant l'importance de la conformité et de cadres de gouvernance des données efficaces. Les enseignements présentés visent à guider des organisations comme la Federal Trade Commission (FTC) dans l'optimisation de leurs stratégies de lac de données afin de garantir à la fois la conformité et l'efficacité opérationnelle.

Définition

Un lac de données est un référentiel centralisé permettant le stockage à grande échelle de données structurées et non structurées, rendant possible l'analyse avancée et les applications d'apprentissage automatique. Contrairement aux entrepôts de données traditionnels, les lacs de données peuvent accueillir d'immenses volumes de données brutes, qui peuvent être traitées et analysées selon les besoins. Cette flexibilité engendre cependant des complexités en matière de gouvernance et de conformité, qu'il convient de prendre en compte afin d'atténuer les risques liés à la gestion des données.

Réponse directe

Le principal défi de la gestion d'un lac de données réside dans l'équilibre entre une gouvernance efficace des données et le besoin de solutions de stockage évolutives. Les organisations doivent mettre en œuvre des cadres de gouvernance robustes pour garantir la conformité tout en s'adaptant à la croissance rapide des données et aux besoins de récupération.

Pourquoi maintenant

L'augmentation du volume de données générées par les organisations impose une réévaluation des stratégies de gestion des données. Face à l'intensification des pressions réglementaires, notamment dans des secteurs comme la santé et la finance, la nécessité d'une gouvernance efficace des données est plus cruciale que jamais. Les organisations doivent adapter leurs architectures de lac de données non seulement pour stocker les données, mais aussi pour garantir leur gouvernance appropriée afin d'éviter les risques de non-conformité et les inefficacités opérationnelles.

Tableau de diagnostic

Question	Description	Impact
Lacunes en matière de politique de rétention	Les calendriers de conservation n'ont pas été appliqués de manière uniforme à l'ensemble des données.	Risque accru de non-conformité et de perte de données.
Suivi du lignage des données	Le suivi de la provenance des données était incomplet, ce qui a entraîné des risques de non-conformité.	Difficultés rencontrées pour auditer l'utilisation et l'origine des données.
Échecs du contrôle d'accès	Les modèles de contrôle d'accès n'ont pas permis de restreindre correctement les données sensibles.	Risques de fuites de données et d'accès non autorisés.
Maintenance du journal d'audit	Les journaux d'audit n'étaient pas conservés pour tous les événements d'accès aux données.	Difficultés rencontrées pour démontrer la conformité lors des audits.
Problèmes de capacité de stockage	La croissance des données a dépassé la capacité de stockage, impactant les performances.	Baisse des performances du système et augmentation des temps de récupération.
Propagation de la conservation légale	L'indicateur de blocage légal existait dans le système d'enregistrement, mais n'a jamais été propagé aux étiquettes d'objet.	Risque de suppression de données lors d'enquêtes judiciaires.

Sections analytiques approfondies

Gouvernance des données vs. Stockage dans les lacs de données

Les cadres de gouvernance des données sont essentiels à la conformité, notamment dans les secteurs réglementés. Ces cadres définissent la manière dont les données sont gérées, consultées et conservées, garantissant ainsi le respect des obligations légales et réglementaires. Par ailleurs, les solutions de stockage doivent s'adapter à la croissance rapide des données, ce qui peut complexifier le maintien des normes de gouvernance. Le compromis entre gouvernance centralisée et gestion décentralisée du stockage doit être soigneusement évalué, car la gouvernance centralisée peut compliquer les processus d'extraction de données, tandis que la gestion décentralisée peut engendrer des incohérences en matière de conformité.

Contraintes opérationnelles dans la gestion des lacs de données

Les principales contraintes opérationnelles affectant la gestion des lacs de données incluent les obligations légales de conservation et les politiques de rétention. Les obligations légales peuvent compliquer la récupération des données, car elles imposent la préservation de certaines données dans leur état d'origine, ce qui peut entrer en conflit avec les pratiques de gestion du cycle de vie des données. Les politiques de rétention doivent être alignées sur le cycle de vie des données afin de prévenir une croissance incontrôlée de celles-ci et de garantir que les données ne sont conservées que pendant la durée nécessaire. Le non-respect de ces politiques peut entraîner des risques importants de non-conformité et des inefficacités opérationnelles.

Cadre de mise en œuvre

Pour gérer efficacement un lac de données, les organisations doivent mettre en œuvre un cadre de gouvernance des données complet, incluant des politiques de conservation des données claires et des audits réguliers. Ce cadre doit être aligné sur les objectifs commerciaux et les exigences de conformité, garantissant ainsi une gestion des données favorisant à la fois l'efficacité opérationnelle et la conformité réglementaire. Par ailleurs, les organisations devraient investir dans des technologies facilitant le suivi de la provenance des données et le contrôle d'accès afin d'atténuer les risques liés à leur gestion.

Risques stratégiques et coûts cachés

Les risques stratégiques liés à la gestion des lacs de données incluent le risque de perte de données en cas de non-conformité. L'absence de contrôles adéquats de gouvernance des données peut entraîner des suppressions irréversibles de données sans autorisation. Des coûts cachés peuvent découler de la complexité accrue des processus d'extraction de données et des sanctions potentielles pour non-conformité. Les organisations doivent prendre en compte ces risques et coûts lors de la conception de leurs architectures de lac de données.

Contrepoint de l'Homme d'Acier

Bien que les avantages des lacs de données soient largement documentés, certains critiques soulignent que l'absence de gouvernance structurée peut engendrer un véritable chaos des données. Ils affirment que, sans cadres de gouvernance rigoureux, les organisations risquent d'avoir des difficultés à extraire des informations pertinentes de leurs données, ce qui compromettrait en fin de compte la valeur de leurs investissements dans les lacs de données. Cette perspective met en lumière la nécessité d'équilibrer les capacités de stockage et une gouvernance robuste afin de garantir que les lacs de données remplissent efficacement leur fonction.

Intégration de solution

L'intégration de solutions de gouvernance et de gestion du stockage des données exige une approche stratégique prenant en compte à la fois les mécanismes techniques et les contraintes opérationnelles. Les organisations doivent évaluer leurs pratiques actuelles de gestion des données et identifier les axes d'amélioration. Cela peut impliquer l'adoption de nouvelles technologies renforçant les capacités de gouvernance des données, telles que des outils automatisés de surveillance de la conformité, tout en veillant à ce que les solutions de stockage soient évolutives pour répondre à la demande croissante en données.

Scénario d'entreprise réaliste

Prenons l'exemple de la Federal Trade Commission (FTC) qui gère un lac de données contenant des données sensibles sur les consommateurs. L'organisation doit mettre en œuvre un cadre de gouvernance des données robuste afin de garantir la conformité aux réglementations telles que le RGPD. Cela implique d'établir des politiques claires de conservation des données et de tenir des journaux d'audit complets. Tout manquement à cette obligation pourrait entraîner d'importantes conséquences juridiques et une perte de confiance du public. En accordant la priorité à la gouvernance au même titre qu'aux capacités de stockage, la FTC peut gérer efficacement son lac de données tout en atténuant les risques.

QFP

Q : Quel est le principal défi lié à la gestion d'un lac de données ?
A: Le principal défi consiste à trouver un équilibre entre une gouvernance des données efficace et le besoin de solutions de stockage évolutives.

Q : Pourquoi la gouvernance des données est-elle importante pour les lacs de données ?
A: La gouvernance des données est essentielle pour garantir la conformité aux exigences légales et réglementaires, notamment dans les secteurs réglementés.

Q : Comment les organisations peuvent-elles atténuer les risques associés aux lacs de données ?
A: Les organisations peuvent atténuer les risques en mettant en œuvre des cadres de gouvernance des données complets, en établissant des politiques de conservation claires et en investissant dans des technologies qui améliorent le suivi de la provenance des données et le contrôle d'accès.

Mode de défaillance observé en lien avec le sujet de l'article

Lors d'un incident récent, nous avons découvert une défaillance critique dans nos mécanismes de mise en œuvre de la gouvernance, plus précisément liée à contrôles de conservation et d'élimination dans le stockage d'objets non structurésAu départ, nos tableaux de bord indiquaient un fonctionnement normal de tous les systèmes, mais en réalité, la propagation des métadonnées de conservation légale entre les versions d'objets échouait silencieusement. De ce fait, des objets soumis à une conservation légale étaient traités pour suppression sans que les indicateurs nécessaires soient activés, ce qui entraînait une perte de données irréversible.

La première défaillance est survenue lorsque le plan de contrôle, chargé d'appliquer les politiques de gouvernance, s'est découplé du plan de données, qui gérait le cycle de vie des données. De ce fait, deux éléments critiques, les indicateurs de conservation légale et les étiquettes d'objets, se sont désynchronisés. Les outils RAG/de recherche ont ensuite mis en évidence cette défaillance lorsque des tentatives de récupération d'objets ont révélé que plusieurs avaient été supprimés malgré leur conservation légale. Malheureusement, la purge du cycle de vie était déjà terminée et les instantanés immuables avaient écrasé les états précédents, rendant toute récupération impossible.

Cet incident a mis en lumière les graves conséquences des choix architecturaux privilégiant la rapidité au détriment de la conformité. L'absence d'un mécanisme robuste garantissant l'application cohérente des états de conservation légale à toutes les versions d'objets a engendré un risque important. Le défaut d'alignement entre le plan de contrôle et le plan de données a entraîné une négligence coûteuse, irrémédiable après la purge des données.

Il s'agit d'un exemple hypothétique ; nous ne citons pas de clients ou d'institutions figurant au classement Fortune 500 à titre d'exemples.

• fausse hypothèse architecturale
• Qu'est-ce qui a cassé en premier ?
• Leçon d'architecture générale liée au « Data Lake : Domination des SERP à forte valeur ajoutée – Le guide d'entreprise du Data Lake : Gouvernance vs. Stockage »

Perspective unique tirée de « » sous les contraintes du « Lac de données : Domination SERP à forte valeur ajoutée – Le guide d’entreprise du lac de données : Gouvernance vs. Stockage »

Cet incident souligne l'importance d'une articulation étroite entre les contrôles de gouvernance et la gestion du cycle de vie des données. Le schéma observé peut être qualifié de « séparation des rôles entre le plan de contrôle et le plan de données » dans le cadre de la récupération réglementée des données. Lorsque les organisations privilégient l'agilité dans le traitement des données sans contrôles de gouvernance adéquats, elles s'exposent à des risques de non-conformité importants.

La plupart des recommandations publiques omettent généralement la nécessité d'une synchronisation continue entre les mécanismes de gouvernance et les opérations sur les données. Cette lacune peut entraîner des défaillances catastrophiques, comme ce fut le cas pour notre étude, où l'absence de mise en œuvre a conduit à une perte de données irréversible.

Test EEAT	Ce que font la plupart des équipes	Ce qu'un expert fait différemment (sous la pression réglementaire)
Quel facteur donc ?	Privilégiez la vitesse d'accès aux données	Prioriser les contrôles de conformité avant les opérations sur les données
Preuves d'origine	Partons du principe que la gouvernance des données est une mise en place ponctuelle.	Mettre en place une surveillance et des mises à jour continues
Delta unique / Gain d'information	S'appuyer sur des audits périodiques	Adopter des mécanismes de gouvernance en temps réel

Références

• NISTSP 800-53 – Établit des lignes directrices en matière de gouvernance et de conformité des données.
• – Énonce les principes de gestion et de conservation des documents.

AVERTISSEMENT : LE CONTENU, LES POINTS DE VUE ET LES OPINIONS EXPRIMÉS DANS CE BLOG SONT LA RESPONSABILITÉ EXCLUSIVE DES AUTEURS ET NE REFLÈTENT PAS LA POLITIQUE OU LA POSITION OFFICIELLE DE SOLIX TECHNOLOGIES, INC., DE SES SOCIÉTÉS AFFILIÉES OU DE SES PARTENAIRES. CE BLOG EST EXPLOITÉ DE MANIÈRE INDÉPENDANTE ET N'EST NI RÉVISÉ NI APPROUVÉ PAR SOLIX TECHNOLOGIES, INC. À TITRE OFFICIEL. TOUTES LES MARQUES, LOGOS ET DOCUMENTS PROTÉGÉS PAR LE DROIT D'AUTEUR TIERS MENTIONNÉS DANS CE BLOG APPARTIENNENT À LEURS PROPRIÉTAIRES RESPECTIFS. TOUTE UTILISATION EST STRICTEMENT À DES FINS D'IDENTIFICATION, DE COMMENTAIRE OU ÉDUCATIVES CONFORMÉMENT À LA DOCTRINE DE L'US FAIR USE (US COPYRIGHT ACT § 107 ET ÉQUIVALENTS INTERNATIONAUX). AUCUN PARRAINAGE, AUCUNE APPROBATION OU AFFILIATION AVEC SOLIX TECHNOLOGIES, INC. N'EST IMPLICITE. LE CONTENU EST FOURNI « EN L'ÉTAT », SANS GARANTIE D'EXACTITUDE, D'EXHAUSTIVITÉ OU D'ADÉQUATION À UN USAGE PARTICULIER. SOLIX TECHNOLOGIES, INC. DÉCLINE TOUTE RESPONSABILITÉ POUR LES ACTIONS PRISES SUR LA BASE DE CE MATÉRIEL. LES LECTEURS ASSUMENT L'ENTIÈRE RESPONSABILITÉ DE LEUR UTILISATION DE CES INFORMATIONS. SOLIX RESPECTE LES DROITS DE PROPRIÉTÉ INTELLECTUELLE. POUR SOUMETTRE UNE DEMANDE DE RETRAIT DMCA, ENVOYEZ UN E-MAIL À INFO@SOLIX.COM AVEC : (1) L'IDENTIFICATION DE L'ŒUVRE, (2) L'URL DU MATÉRIEL CONTREFAÇANT, (3) VOS COORDONNÉES ET (4) UNE DÉCLARATION DE BONNE FOI. TOUTE RÉCLAMATION VALIDE RECEVRA UNE EXAMEN RAPIDE. EN ACCÉDANT À CE BLOG, VOUS ACCEPTEZ CET AVIS DE NON-RESPONSABILITÉ ET NOS CONDITIONS D'UTILISATION. CE CONTRAT EST RÉGI PAR LES LOIS DE LA CALIFORNIE.