Lac de données : Moderniser les données sous-utilisées – Guide stratégique des coûts du lac de données

Préface

La mise en place d'un lac de données présente à la fois des opportunités et des défis pour les organisations, notamment dans le cadre de la modernisation des données sous-utilisées. Cet article propose un guide stratégique aux décideurs d'entreprise, axé sur les implications financières, les contraintes opérationnelles et les compromis stratégiques liés au déploiement d'un lac de données. En analysant les aspects financiers et les coûts cachés potentiels, ce guide vise à fournir aux responsables informatiques les informations nécessaires pour prendre des décisions éclairées concernant les investissements dans un lac de données.

Définition

Un lac de données est un référentiel centralisé permettant le stockage à grande échelle de données structurées et non structurées, rendant possible l'analyse avancée et les applications d'apprentissage automatique. Cette architecture prend en charge l'ingestion de divers types de données, facilitant une approche plus globale de l'analyse des données. Cependant, la complexité de la gestion d'un tel référentiel exige un cadre de gouvernance robuste afin de garantir la conformité et la qualité des données.

Réponse directe

La modernisation des données sous-utilisées grâce à un lac de données peut générer une valeur considérable, mais elle exige une analyse approfondie des coûts, de la gouvernance et des contraintes opérationnelles. Les organisations doivent évaluer leurs besoins et capacités spécifiques afin de déterminer l'approche la plus efficace pour la mise en œuvre d'un lac de données.

Pourquoi maintenant

L'urgence pour les organisations de moderniser leurs stratégies de gestion des données découle de l'augmentation exponentielle du volume de données générées et du besoin d'analyses en temps réel. Les systèmes existants peinent souvent à répondre à cette demande, ce qui engendre des inefficacités et des opportunités manquées. En adoptant une architecture de lac de données, les organisations peuvent améliorer l'accessibilité de leurs données et leurs capacités d'analyse, se positionnant ainsi pour exploiter des informations clés favorisant la prise de décisions stratégiques.

Tableau de diagnostic

Aspect diagnostique	Observation
Coûts d'installation initiaux	Des investissements substantiels dans les infrastructures et les licences sont nécessaires.
Coûts opérationnels courants	Comprend les frais de stockage, d'entretien et de conformité.
Cadre de gouvernance des données	Essentiel pour garantir la conformité et la qualité des données.
Problèmes de qualité des données	L'ingestion de données non structurées peut entraîner des incohérences.
Contrôle d'Accès	Il est essentiel de trouver un équilibre entre l'accessibilité des données et leur sécurité.
Risques de conformité	L'accessibilité accrue des données peut engendrer des difficultés réglementaires.

Sections analytiques approfondies

Implications financières de la mise en œuvre d'un lac de données

L'analyse financière du déploiement d'un lac de données révèle que les coûts initiaux de mise en place peuvent être considérables en raison des exigences en matière d'infrastructure et de licences. Les organisations doivent prendre en compte le coût total de possession (CTP), qui englobe les dépenses d'investissement (CAPEX) et les dépenses d'exploitation (OPEX). Les coûts d'exploitation courants, tels que le stockage, la maintenance et la conformité, peuvent s'accumuler significativement au fil du temps. Il est essentiel que les décideurs comprennent ces implications financières afin de justifier l'investissement dans un lac de données.

Contraintes opérationnelles dans la gestion des lacs de données

La gestion efficace d'un lac de données présente plusieurs défis. La mise en place d'un cadre de gouvernance des données est essentielle pour garantir la conformité aux exigences réglementaires et maintenir la qualité des données. L'ingestion de données non structurées peut engendrer des problèmes de qualité, ce qui nécessite des processus de validation rigoureux. Par ailleurs, les organisations doivent appliquer des politiques de conservation uniformes à l'ensemble des jeux de données afin d'éviter les violations de conformité et de garantir l'intégrité des données.

Compromis stratégiques liés à l'utilisation des lacs de données

Les organisations sont confrontées à des choix stratégiques lorsqu'elles utilisent un lac de données. Un accès accru aux données peut engendrer des risques de non-conformité, car davantage d'utilisateurs ont accès à des informations sensibles. À l'inverse, la mise en place de contrôles d'accès stricts peut entraver l'exploitation des données et limiter le potentiel d'analyse. Les décideurs doivent évaluer ces compromis afin de trouver un équilibre qui corresponde aux objectifs de l'organisation tout en garantissant la conformité et la sécurité.

Cadre de mise en œuvre

Pour réussir la mise en œuvre d'un lac de données, les organisations doivent établir un cadre clair définissant des politiques de gouvernance des données, des processus d'ingestion et garantissant la conformité aux normes réglementaires. Des audits réguliers des journaux d'accès aux données et la mise en place d'indicateurs de qualité des données sont essentiels pour assurer la supervision et la responsabilisation. Ce cadre doit être adaptable afin de répondre à l'évolution des besoins en données et des exigences de conformité.

Risques stratégiques et coûts cachés

Les risques stratégiques liés à la mise en œuvre d'un lac de données incluent les pertes de données potentielles dues à une mauvaise gestion et les manquements à la conformité liés à une surexposition des données. Des coûts cachés peuvent découler de processus de sauvegarde et de restauration inadéquats, pouvant entraîner des pertes de données irréversibles. De plus, des autorisations d'accès aux données excessives peuvent engendrer des accès non autorisés, entraînant des amendes réglementaires et une atteinte à la réputation. Les organisations doivent identifier et atténuer ces risques de manière proactive afin de protéger leurs actifs de données.

Contrepoint de l'Homme d'Acier

Bien que les avantages d'un lac de données soient considérables, il est essentiel de prendre en compte les arguments contraires à sa mise en œuvre. Certains critiques affirment que la complexité de sa gestion l'emporte sur ses avantages, notamment pour les organisations aux ressources limitées. De plus, le risque de silos de données et les difficultés de gouvernance peuvent complexifier la gestion des données. Il est donc crucial de répondre à ces préoccupations par le biais de cadres de gouvernance robustes et d'une planification stratégique pour garantir le succès du déploiement d'un lac de données.

Intégration de solution

L'intégration d'un lac de données aux systèmes existants exige une planification et une exécution rigoureuses. Les organisations doivent évaluer leur architecture de données actuelle et identifier les points d'intégration afin de garantir un flux de données fluide. La collaboration entre les services informatiques et les unités opérationnelles est essentielle pour aligner les stratégies de données sur les objectifs organisationnels. De plus, l'utilisation d'outils tels que Solix et HANA peut enrichir les capacités du lac de données, en fournissant des fonctionnalités avancées d'analyse et de gouvernance qui favorisent la conformité et la qualité des données.

Scénario d'entreprise réaliste

Prenons l'exemple du Département des anciens combattants des États-Unis (VA), où les systèmes existants entravent l'accès aux données et leur analyse. La mise en place d'un lac de données permettrait au VA de centraliser ses données, favorisant ainsi l'analyse en temps réel et une meilleure prise de décision. Toutefois, le VA doit gérer la complexité de la gouvernance des données, la conformité et les contraintes opérationnelles pour garantir le succès de la modernisation de sa stratégie de gestion des données.

QFP

Qu'est-ce qu'un lac de données ?
Un lac de données est un référentiel centralisé qui permet le stockage de données structurées et non structurées à grande échelle, permettant des applications d'analyse avancée et d'apprentissage automatique.

Quels sont les principaux coûts associés à un lac de données ?
Les coûts comprennent les dépenses initiales d'installation de l'infrastructure et des licences, ainsi que les coûts opérationnels courants tels que le stockage, la maintenance et la conformité.

Comment les organisations peuvent-elles garantir la qualité des données dans un lac de données ?
L’établissement d’un cadre de gouvernance des données robuste et la mise en œuvre de processus de validation lors de l’ingestion des données sont essentiels pour maintenir la qualité des données.

Quels sont les risques de non-conformité liés à l'utilisation d'un lac de données ?
L'accessibilité accrue des données peut engendrer des risques de non-conformité, notamment si les contrôles d'accès ne sont pas correctement gérés.

Comment les organisations peuvent-elles atténuer les risques stratégiques associés aux lacs de données ?
L’identification proactive des risques potentiels, la mise en œuvre de cadres de gouvernance robustes et la réalisation d’audits réguliers peuvent contribuer à atténuer les risques stratégiques.

Mode de défaillance observé en lien avec le sujet de l'article

Lors d'un incident récent, nous avons découvert une défaillance critique dans notre architecture de gouvernance des données, due à un manque de gouvernance appropriée. application de la conservation légale pour les actions liées au cycle de vie du stockage d'objets non structurésAu départ, nos tableaux de bord indiquaient un fonctionnement normal de tous les systèmes, mais à notre insu, les mécanismes de gouvernance avaient déjà commencé à dysfonctionner silencieusement. Cette défaillance était particulièrement préoccupante car elle impliquait l'incapacité du plan de contrôle à gérer la propagation des métadonnées de conservation légale entre les versions d'objets, engendrant ainsi des risques importants de non-conformité.

La première anomalie est survenue lorsque nous avons constaté que les étiquettes et les classes de rétention des objets n'étaient pas correctement mises à jour lors du processus d'ingestion. Cette erreur de classification a entraîné le marquage pour suppression de certains objets alors qu'ils étaient sous conservation légale. La décision opérationnelle de dissocier l'exécution du cycle de vie des objets de leur état de conservation légale a constitué un compromis important qui a finalement eu des conséquences irréversibles. Lors de nos tentatives de récupération de ces objets, RAG/search a mis en évidence l'erreur en renvoyant des objets expirés ou supprimés qui auraient dû être conservés.

En approfondissant notre analyse, nous avons constaté que la purge du cycle de vie était déjà terminée et que le processus de compactage des versions avait écrasé les instantanés immuables. De ce fait, la situation était irréversible, les pointeurs du journal d'audit et les entrées du catalogue étant devenus irrécupérables. Cette divergence entre le plan de contrôle et le plan de données a engendré une situation où la conformité ne pouvait être garantie, risquant d'entraîner des conséquences réglementaires.

Il s'agit d'un exemple hypothétique ; nous ne citons pas de clients ou d'institutions figurant au classement Fortune 500 à titre d'exemples.

• fausse hypothèse architecturale
• Qu'est-ce qui a cassé en premier ?
• Leçon d'architecture générale liée au « Data Lake : Moderniser les données sous-utilisées – Guide stratégique des coûts du Data Lake »

Perspective unique tirée de « » Sous les contraintes du « Data Lake : Moderniser les données sous-utilisées – Guide stratégique des coûts du Data Lake »

L'un des principaux enseignements de cet incident réside dans l'importance de maintenir un cadre de gouvernance robuste garantissant la conformité, même face à l'expansion des data lakes. Le schéma de séparation des rôles entre plan de contrôle et plan de données lors de la récupération réglementée des données souligne la nécessité pour les équipes d'aligner leurs pratiques opérationnelles sur les exigences réglementaires. Cet alignement implique souvent une réévaluation de la manière dont les données sont ingérées et gérées tout au long de leur cycle de vie.

La plupart des équipes ont tendance à négliger les conséquences d'une mauvaise classification des données lors de leur ingestion, ce qui peut engendrer des risques importants de non-conformité. En veillant à l'application systématique des obligations de conservation légale pour tous les objets de données, les organisations peuvent atténuer ces risques et mieux maîtriser leurs actifs de données. Cette approche renforce non seulement la conformité, mais améliore également la qualité et l'accessibilité globales des données.

Test EEAT	Ce que font la plupart des équipes	Ce qu'un expert fait différemment (sous la pression réglementaire)
Quel facteur donc ?	Privilégier le volume de données à la gouvernance	Prioriser la conformité parallèlement à la croissance des données
Preuves d'origine	Supposons que les métadonnées soient exactes.	Auditer et valider régulièrement l'intégrité des métadonnées
Delta unique / Gain d'information	Mettre en œuvre les politiques de rétention de base. ... Supprimer les politiques de rétention de base. Mettre en	Mettre en place des mécanismes de gouvernance dynamiques qui s'adaptent aux changements de données

La plupart des recommandations publiques tendent à omettre la nécessité d'intégrer des contrôles de gouvernance dans le processus d'ingestion des données, ce qui est pourtant crucial pour maintenir la conformité dans un paysage de données en constante évolution.

Références

NISTSP 800-53 – Établit des lignes directrices pour la gouvernance des données et le contrôle d'accès.

– Énonce les principes de gestion et de conservation des documents.

AVERTISSEMENT : LE CONTENU, LES POINTS DE VUE ET LES OPINIONS EXPRIMÉS DANS CE BLOG SONT LA RESPONSABILITÉ EXCLUSIVE DES AUTEURS ET NE REFLÈTENT PAS LA POLITIQUE OU LA POSITION OFFICIELLE DE SOLIX TECHNOLOGIES, INC., DE SES SOCIÉTÉS AFFILIÉES OU DE SES PARTENAIRES. CE BLOG EST EXPLOITÉ DE MANIÈRE INDÉPENDANTE ET N'EST NI RÉVISÉ NI APPROUVÉ PAR SOLIX TECHNOLOGIES, INC. À TITRE OFFICIEL. TOUTES LES MARQUES, LOGOS ET DOCUMENTS PROTÉGÉS PAR LE DROIT D'AUTEUR TIERS MENTIONNÉS DANS CE BLOG APPARTIENNENT À LEURS PROPRIÉTAIRES RESPECTIFS. TOUTE UTILISATION EST STRICTEMENT À DES FINS D'IDENTIFICATION, DE COMMENTAIRE OU ÉDUCATIVES CONFORMÉMENT À LA DOCTRINE DE L'US FAIR USE (US COPYRIGHT ACT § 107 ET ÉQUIVALENTS INTERNATIONAUX). AUCUN PARRAINAGE, AUCUNE APPROBATION OU AFFILIATION AVEC SOLIX TECHNOLOGIES, INC. N'EST IMPLICITE. LE CONTENU EST FOURNI « EN L'ÉTAT », SANS GARANTIE D'EXACTITUDE, D'EXHAUSTIVITÉ OU D'ADÉQUATION À UN USAGE PARTICULIER. SOLIX TECHNOLOGIES, INC. DÉCLINE TOUTE RESPONSABILITÉ POUR LES ACTIONS PRISES SUR LA BASE DE CE MATÉRIEL. LES LECTEURS ASSUMENT L'ENTIÈRE RESPONSABILITÉ DE LEUR UTILISATION DE CES INFORMATIONS. SOLIX RESPECTE LES DROITS DE PROPRIÉTÉ INTELLECTUELLE. POUR SOUMETTRE UNE DEMANDE DE RETRAIT DMCA, ENVOYEZ UN E-MAIL À INFO@SOLIX.COM AVEC : (1) L'IDENTIFICATION DE L'ŒUVRE, (2) L'URL DU MATÉRIEL CONTREFAÇANT, (3) VOS COORDONNÉES ET (4) UNE DÉCLARATION DE BONNE FOI. TOUTE RÉCLAMATION VALIDE RECEVRA UNE EXAMEN RAPIDE. EN ACCÉDANT À CE BLOG, VOUS ACCEPTEZ CET AVIS DE NON-RESPONSABILITÉ ET NOS CONDITIONS D'UTILISATION. CE CONTRAT EST RÉGI PAR LES LOIS DE LA CALIFORNIE.