Modernisation des données sous-utilisées : la stratégie de la solution Data Lake Analytics

Préface

La NSA (Agence de sécurité nationale) est confrontée à des défis majeurs dans la gestion de ses vastes volumes de données, notamment celles issues de systèmes existants souvent sous-utilisés. Cet article explore la mise en œuvre stratégique d'une solution d'analyse de données de type lac de données afin de moderniser ces ensembles de données, d'améliorer leur accessibilité et leur conformité, tout en atténuant les risques opérationnels. En tirant parti de technologies telles que Solix et HANA, les organisations peuvent extraire des informations précieuses de leurs données, garantissant ainsi que les données existantes contribuent à des processus décisionnels éclairés.

Définition

Un lac de données est défini comme un référentiel centralisé permettant le stockage et l'analyse de grands volumes de données structurées et non structurées. Cette architecture prend en charge divers types de données et offre des solutions de stockage évolutives, ce qui en fait un élément essentiel pour des organisations comme la NSA qui exigent des capacités de gestion des données robustes. Les principes de fonctionnement d'un lac de données comprennent l'ingestion des données, leur gouvernance et le stockage objet, qui, ensemble, facilitent la gestion efficace des actifs de données.

Réponse directe

La solution d'analyse de lac de données offre un cadre stratégique pour moderniser les données sous-utilisées en permettant aux organisations de stocker, gérer et analyser efficacement leurs ensembles de données existants. Cette approche améliore non seulement l'accessibilité des données, mais garantit également la conformité aux exigences réglementaires, libérant ainsi le potentiel d'actifs de données auparavant inexploités.

Pourquoi maintenant

Face à la croissance exponentielle des données et au renforcement du contrôle réglementaire, les organisations doivent agir rapidement pour moderniser leurs stratégies de gestion des données. La NSA, en particulier, doit relever les défis posés par les systèmes obsolètes qui entravent l'accessibilité des données et la conformité. La mise en œuvre d'une solution d'analyse de lac de données permet d'extraire rapidement des informations pertinentes à partir d'ensembles de données sous-utilisés, garantissant ainsi aux organisations leur agilité et leur réactivité face à l'évolution des besoins en données.

Tableau de diagnostic

Question	Impact	Stratégie d'atténuation
Les taux d'ingestion de données ont dépassé la capacité de stockage.	Retards dans le traitement des données	Mettre en œuvre des solutions de stockage évolutives
Les politiques de rétention ne sont pas appliquées de manière uniforme.	Risques de conformité	Standardiser les politiques de conservation des données pour l'ensemble des jeux de données
Les audits de conformité ont révélé des lacunes dans la traçabilité des données.	Répercussions juridiques	Améliorer les mécanismes de suivi de la lignée des données
Les demandes d'accès aux données ont été retardées.	Inefficacités opérationnelles	Renforcer les contrôles de gouvernance
Les anciens formats de données ont engendré des problèmes de compatibilité.	Incapacité à exploiter les outils d'analyse modernes	Transformer les données existantes en formats compatibles
Les performances du lac de données se sont dégradées pendant les périodes de forte utilisation.	Capacités analytiques réduites	Optimiser l'allocation des ressources aux heures de pointe

Sections analytiques approfondies

Aperçu de l'architecture du lac de données

L'architecture d'un lac de données est essentielle à son efficacité dans la gestion de données hétérogènes. Elle se compose généralement de plusieurs éléments clés, notamment des pipelines d'ingestion de données, des solutions de stockage et des cadres de gouvernance. L'ingestion de données consiste à collecter et importer des données provenant de diverses sources, telles que des bases de données, des applications et des flux de données externes. Les solutions de stockage objet offrent l'évolutivité nécessaire pour gérer de grands volumes de données, tandis que les cadres de gouvernance garantissent que les données sont gérées conformément aux politiques organisationnelles et aux exigences réglementaires. L'intégration de ces composants est indispensable à la création d'une architecture de lac de données robuste, permettant une analyse de données performante.

Exploiter la valeur des ensembles de données existants

Les ensembles de données existants recèlent souvent des informations précieuses pour la prise de décisions stratégiques. Toutefois, l'extraction de ces informations nécessite une approche systématique de transformation et d'analyse des données. Les processus de transformation des données comprennent le nettoyage, la structuration et l'enrichissement des données existantes afin de les rendre compatibles avec les outils d'analyse modernes. De plus, l'établissement d'une traçabilité claire des données est essentiel pour comprendre leurs origines et leurs transformations, ce qui renforce la confiance dans le processus d'analyse. En mettant en œuvre une solution d'analyse de lac de données, les organisations peuvent améliorer considérablement l'accessibilité des données et faciliter l'extraction d'informations exploitables à partir de leurs ensembles de données existants.

Contraintes opérationnelles et conformité

Le respect des exigences réglementaires est une préoccupation majeure pour les organisations gérant d'importants volumes de données. Les data lakes doivent être conçus avec des contrôles de conformité intégrés à leur architecture afin d'atténuer les risques liés à la gestion et au stockage des données. Cela inclut la mise en œuvre de mécanismes de conservation légale, la tenue de journaux d'audit et l'utilisation de solutions de stockage WORM (Write Once Read Many) pour garantir l'intégrité des données. Il est essentiel de trouver un équilibre entre la croissance des données et les exigences réglementaires afin d'éviter d'éventuelles violations de conformité susceptibles d'entraîner des poursuites judiciaires et de nuire à la réputation de l'organisation.

Risques stratégiques et coûts cachés

Bien que la mise en œuvre d'une solution d'analyse de données en lac offre de nombreux avantages, les organisations doivent également être conscientes des risques stratégiques et des coûts cachés associés à de telles initiatives. Par exemple, le choix entre des solutions sur site et des solutions cloud peut avoir des conséquences importantes sur l'évolutivité et le coût total de possession. De plus, les organisations peuvent se retrouver prisonnières d'un fournisseur unique avec des solutions propriétaires, ce qui peut limiter leur flexibilité et augmenter leurs frais opérationnels. Il est donc essentiel de mener une analyse approfondie de ces facteurs afin de prendre des décisions éclairées, conformes aux objectifs de l'organisation et aux exigences de conformité.

Contrepoint de l'Homme d'Acier

Malgré les avantages des solutions d'analyse de données en lac, certains critiques estiment que la complexité de leur gestion peut en altérer les bénéfices. Les préoccupations relatives à la gouvernance des données, à leur sécurité et au risque de silos de données sont légitimes et doivent être prises en compte. Les organisations doivent mettre en œuvre des cadres de gouvernance robustes et garantir l'accessibilité et l'utilisation des données dans tous les services. De plus, le risque de problèmes de qualité des données lié à l'ingestion de types de données divers doit être atténué par des pratiques de gestion des données efficaces. La prise en compte de ces points est essentielle pour élaborer une stratégie globale qui maximise la valeur des lacs de données tout en minimisant les risques associés.

Intégration de solution

L'intégration d'une solution d'analyse de données de lac de données à une infrastructure informatique existante exige une planification et une exécution rigoureuses. Les organisations doivent évaluer leurs pratiques actuelles de gestion des données et identifier les axes d'amélioration. Cela peut impliquer de réévaluer les processus d'ingestion des données, de renforcer les cadres de gouvernance des données et de s'assurer de la compatibilité des outils d'analyse avec l'architecture du lac de données. La collaboration entre les équipes informatiques et les équipes de données est essentielle pour faciliter une intégration harmonieuse et garantir que le lac de données réponde aux besoins analytiques de l'organisation. Par ailleurs, une formation et un soutien continus du personnel seront nécessaires pour optimiser l'efficacité de la nouvelle solution.

Scénario d'entreprise réaliste

Prenons l'exemple de la NSA qui met en œuvre une solution d'analyse de données en lac pour moderniser ses ensembles de données existants. En tirant parti des technologies Solix et HANA, l'agence peut rationaliser les processus d'ingestion de données, renforcer la gouvernance des données et améliorer la conformité aux exigences réglementaires. Ainsi, la NSA peut extraire des informations précieuses de données auparavant sous-exploitées, ce qui permet une prise de décision plus éclairée et une efficacité opérationnelle accrue. Ce scénario illustre l'impact potentiel d'une stratégie d'analyse de données en lac bien menée sur la capacité d'une organisation à exploiter efficacement ses actifs de données.

QFP

Q : Qu'est-ce qu'un lac de données ?
A: Un lac de données est un référentiel centralisé qui permet le stockage et l'analyse de grands volumes de données structurées et non structurées.

Q : Comment les ensembles de données existants peuvent-ils être utilisés dans un lac de données ?
A: Les ensembles de données existants peuvent être transformés et analysés au sein d'un lac de données afin d'en extraire des informations précieuses qui éclairent la prise de décision.

Q : Quelles sont les considérations de conformité pour les lacs de données ?
A : Les considérations de conformité comprennent la mise en œuvre de contrôles de gouvernance, la tenue de journaux d'audit et la garantie de l'intégrité des données grâce à des solutions de stockage appropriées.

Mode de défaillance observé en lien avec le sujet de l'article

Lors d'un incident récent, nous avons découvert une défaillance critique dans notre architecture de gouvernance des données, plus précisément liée à application de la conservation légale pour les actions liées au cycle de vie du stockage d'objets non structurésLa panne initiale s'est produite lorsque la propagation silencieuse des métadonnées de conservation légale entre les versions d'objets a échoué, ce qui a conduit à une situation où les tableaux de bord indiquaient un fonctionnement normal alors que l'application de la gouvernance était déjà compromise.

En approfondissant notre analyse, nous avons constaté une divergence entre le plan de contrôle, responsable de la gestion des documents soumis à des obligations légales, et le plan de données, qui exécute les actions de cycle de vie. Cette divergence a entraîné une erreur de classification de la classe de rétention lors de l'ingestion, provoquant une dérive des étiquettes d'objets critiques et des indicateurs de mise sous séquestre. La récupération d'un objet expiré lors d'un audit de conformité a mis en évidence cette défaillance : la purge du cycle de vie était terminée et les instantanés immuables avaient écrasé l'état précédent, rendant le problème irréversible.

En définitive, le manque de synchronisation entre le plan de contrôle et le plan de données a entraîné une défaillance catastrophique de notre cadre de gouvernance. L'impossibilité de retracer les pointeurs du journal d'audit et les entrées du catalogue nous a empêchés de prouver l'état antérieur des données, nous exposant ainsi à des risques de non-conformité.

Il s'agit d'un exemple hypothétique ; nous ne citons pas de clients ou d'institutions figurant au classement Fortune 500 à titre d'exemples.

• fausse hypothèse architecturale
• Qu'est-ce qui a cassé en premier ?
• Leçon d'architecture générale liée à la « Modernisation des données sous-utilisées : la stratégie de solution d'analyse du lac de données »

Perspective unique tirée de « » sous les contraintes de la stratégie de solution d'analyse du lac de données « Moderniser les données sous-utilisées »

Cet incident met en lumière un problème critique connu sous le nom de « séparation des plans de contrôle et de données » dans le cadre de la récupération réglementée des données. Ce problème souligne la nécessité d'une intégration étroite entre les contrôles de gouvernance et la gestion du cycle de vie des données afin de prévenir les manquements à la conformité. Le compromis entre efficacité opérationnelle et conformité réglementaire peut engendrer des risques importants s'il n'est pas géré correctement.

La plupart des équipes privilégient la rapidité et l'agilité dans le traitement des données, négligeant souvent les implications des contrôles de gouvernance. À l'inverse, les experts soumis à la pression réglementaire adoptent une approche plus prudente, veillant à ce que chaque étape du cycle de vie soit conforme aux exigences réglementaires. Cette différence peut avoir un impact significatif sur la capacité de l'organisation à répondre aux audits et aux demandes d'informations juridiques.

La plupart des recommandations publiques ont tendance à négliger l'importance de maintenir une synchronisation entre le plan de contrôle et le plan de données, pourtant essentielle à une gouvernance efficace des lacs de données. Comprendre cette relation permet de prendre de meilleures décisions architecturales et d'améliorer la conformité.

Test EEAT	Ce que font la plupart des équipes	Ce qu'un expert fait différemment (sous la pression réglementaire)
Quel facteur donc ?	Priorité à l'ingestion rapide des données	Prioriser l'alignement de la gouvernance avec les actions liées aux données
Preuves d'origine	Supposons que la conformité soit inhérente	Documentez chaque décision de gouvernance
Delta unique / Gain d'information	Gestion des métadonnées négligée	Mettre en œuvre des contrôles stricts sur les métadonnées

Références

1. ISO 15489 : Établit les principes de gestion des enregistrements, soutenant le besoin d'une gouvernance structurée des données dans les lacs de données.
2. NIST SP 800-53 : Fournit des lignes directrices pour les contrôles de sécurité et de confidentialité, soulignant l’importance de la conformité dans l’architecture du lac de données.

AVERTISSEMENT : LE CONTENU, LES POINTS DE VUE ET LES OPINIONS EXPRIMÉS DANS CE BLOG SONT LA RESPONSABILITÉ EXCLUSIVE DES AUTEURS ET NE REFLÈTENT PAS LA POLITIQUE OU LA POSITION OFFICIELLE DE SOLIX TECHNOLOGIES, INC., DE SES SOCIÉTÉS AFFILIÉES OU DE SES PARTENAIRES. CE BLOG EST EXPLOITÉ DE MANIÈRE INDÉPENDANTE ET N'EST NI RÉVISÉ NI APPROUVÉ PAR SOLIX TECHNOLOGIES, INC. À TITRE OFFICIEL. TOUTES LES MARQUES, LOGOS ET DOCUMENTS PROTÉGÉS PAR LE DROIT D'AUTEUR TIERS MENTIONNÉS DANS CE BLOG APPARTIENNENT À LEURS PROPRIÉTAIRES RESPECTIFS. TOUTE UTILISATION EST STRICTEMENT À DES FINS D'IDENTIFICATION, DE COMMENTAIRE OU ÉDUCATIVES CONFORMÉMENT À LA DOCTRINE DE L'US FAIR USE (US COPYRIGHT ACT § 107 ET ÉQUIVALENTS INTERNATIONAUX). AUCUN PARRAINAGE, AUCUNE APPROBATION OU AFFILIATION AVEC SOLIX TECHNOLOGIES, INC. N'EST IMPLICITE. LE CONTENU EST FOURNI « EN L'ÉTAT », SANS GARANTIE D'EXACTITUDE, D'EXHAUSTIVITÉ OU D'ADÉQUATION À UN USAGE PARTICULIER. SOLIX TECHNOLOGIES, INC. DÉCLINE TOUTE RESPONSABILITÉ POUR LES ACTIONS PRISES SUR LA BASE DE CE MATÉRIEL. LES LECTEURS ASSUMENT L'ENTIÈRE RESPONSABILITÉ DE LEUR UTILISATION DE CES INFORMATIONS. SOLIX RESPECTE LES DROITS DE PROPRIÉTÉ INTELLECTUELLE. POUR SOUMETTRE UNE DEMANDE DE RETRAIT DMCA, ENVOYEZ UN E-MAIL À INFO@SOLIX.COM AVEC : (1) L'IDENTIFICATION DE L'ŒUVRE, (2) L'URL DU MATÉRIEL CONTREFAÇANT, (3) VOS COORDONNÉES ET (4) UNE DÉCLARATION DE BONNE FOI. TOUTE RÉCLAMATION VALIDE RECEVRA UNE EXAMEN RAPIDE. EN ACCÉDANT À CE BLOG, VOUS ACCEPTEZ CET AVIS DE NON-RESPONSABILITÉ ET NOS CONDITIONS D'UTILISATION. CE CONTRAT EST RÉGI PAR LES LOIS DE LA CALIFORNIE.