Schéma sur le lac de données Read : Perspectives architecturales et contraintes opérationnelles

Préface

Cet article explore les implications architecturales et les contraintes opérationnelles de la mise en œuvre d'un schéma sur un lac de données en lecture seule, notamment dans le contexte d'organisations telles que les Centres pour le contrôle et la prévention des maladies (CDC). Il vise à fournir aux décideurs d'entreprise une compréhension globale des mécanismes, des défis et des compromis stratégiques associés à cette architecture de données. L'accent est mis sur la flexibilité qu'elle offre pour l'ingestion et l'analyse des données, tout en abordant les risques potentiels et les modes de défaillance pouvant découler de sa mise en œuvre.

Définition

Un lac de données à schéma à la lecture est une architecture de stockage qui permet d'ingérer les données brutes et de les structurer au moment de leur accès. Cette approche offre une grande flexibilité dans l'analyse des données et réduit les exigences de conception de schéma en amont. Contrairement aux entrepôts de données traditionnels qui requièrent un schéma prédéfini, le schéma à la lecture permet aux organisations de s'adapter à l'évolution de leurs besoins en données sans les contraintes de structures rigides. Cette flexibilité peut s'avérer particulièrement avantageuse pour des organisations comme le CDC, qui doivent analyser rapidement et efficacement des ensembles de données diversifiés.

Réponse directe

L'implémentation d'un schéma sur un lac de données de lecture peut considérablement améliorer la capacité d'une organisation à ingérer et analyser des données avec flexibilité. Cependant, elle introduit des complexités dans la récupération et la gouvernance des données qui doivent être gérées avec soin afin d'éviter les risques de non-conformité et les problèmes de qualité des données.

Pourquoi maintenant

L'augmentation du volume et de la diversité des données générées par les organisations impose une évolution vers des architectures de données plus flexibles. Face au défi d'intégrer des sources de données disparates pour l'analyse de la santé publique, comme c'est le cas pour les CDC, le schéma à la lecture offre une solution viable. L'urgence d'exploiter les données en temps réel pour la prise de décision lors de crises sanitaires souligne d'autant plus la nécessité d'architectures de données adaptables, capables de répondre à l'évolution des besoins analytiques.

Tableau de diagnostic

Question	Impact	Stratégie d'atténuation
Complexité accrue de la récupération des données	Performances de requête plus lentes	Mettre en œuvre des stratégies d'indexation
Structures de données incohérentes	défis de l'analyse des données	Mettre en place une gestion des métadonnées
Risques de conformité	Sanctions légales	Appliquer les politiques de gouvernance des données
Problèmes de qualité des données	Informations inexactes	Mettre en œuvre des mécanismes de validation
Incohérences des métadonnées	Confusion lors de l'analyse	Audits réguliers des métadonnées
Suivi insuffisant de la lignée des données	échecs des audits de conformité	Améliorer les outils de suivi de lignée

Sections analytiques approfondies

Comprendre le schéma à la lecture

Le schéma à la lecture permet une ingestion flexible des données, permettant aux organisations de stocker les données brutes sans avoir à concevoir de schéma au préalable. Cette approche est particulièrement avantageuse pour les organisations qui nécessitent un accès rapide à des ensembles de données diversifiés. Cependant, elle soulève également des défis liés à la cohérence des données et à la complexité de leur récupération. La contrainte opérationnelle de devoir structurer les données au moment de l'accès peut entraîner une augmentation des temps de requête et une confusion potentielle chez les utilisateurs qui pourraient obtenir des résultats inattendus en raison de la variabilité des schémas.

Contraintes opérationnelles

La mise en œuvre d'une architecture de schéma à la lecture peut complexifier la récupération des données. Les données étant structurées au moment de leur accès, les utilisateurs peuvent rencontrer des difficultés pour formuler des requêtes reflétant fidèlement les données sous-jacentes. De plus, le risque d'incohérences dans les structures de données augmente lorsque plusieurs équipes ingèrent des données indépendamment, ce qui engendre des formats variés et complique l'obtention d'une vue unifiée des données. Cette complexité opérationnelle exige des cadres robustes de gestion et de gouvernance des métadonnées afin de garantir la cohérence et la qualité des données.

Modes de défaillance

Plusieurs modes de défaillance potentiels peuvent survenir lors de la mise en œuvre de schémas à la lecture. Un risque majeur réside dans le défaut d'application de la gouvernance des données, pouvant engendrer des problèmes de conformité, notamment dans des environnements réglementés comme celui de la santé. Une gestion inadéquate des métadonnées peut entraver la découvrabilité des données, rendant difficile pour les utilisateurs de localiser et d'exploiter les données dont ils ont besoin. Par ailleurs, l'ingestion de données brutes non validées peut introduire des problèmes de qualité, aboutissant à des analyses inexactes et minant la confiance des parties prenantes.

Cadre de mise en œuvre

Pour réussir la mise en œuvre d'un lac de données basé sur un schéma à la lecture, les organisations doivent établir un cadre complet comprenant des outils robustes de gestion des métadonnées et des politiques de gouvernance des données. Ce cadre doit garantir l'intégration des processus d'ingestion des données à la gestion des métadonnées afin de prévenir les incohérences. Des audits réguliers et des mises à jour des politiques de gouvernance sont essentiels pour assurer la conformité et la qualité des données. Par ailleurs, les organisations doivent investir dans la formation des utilisateurs afin qu'ils puissent maîtriser la complexité des requêtes de données dans un environnement basé sur un schéma à la lecture.

Risques stratégiques et coûts cachés

Bien que le schéma à la lecture offre une grande flexibilité, il présente également des risques stratégiques et des coûts cachés que les organisations doivent prendre en compte. La complexité accrue de l'extraction des données peut engendrer des coûts opérationnels plus élevés, les équipes consacrant davantage de temps au nettoyage et à la structuration des données. Les risques de non-conformité liés aux modifications de données non suivies peuvent entraîner des sanctions juridiques et nuire à la confiance des parties prenantes. Les organisations doivent donc évaluer ces risques au regard des avantages de la flexibilité et de l'ingestion rapide des données afin de prendre des décisions éclairées concernant leur architecture de données.

Contrepoint de l'Homme d'Acier

Malgré les défis liés à l'utilisation du schéma à la lecture, ses partisans affirment que les avantages en termes de flexibilité et d'adaptabilité l'emportent sur les risques. La capacité d'ingérer et d'analyser rapidement des ensembles de données diversifiés peut conférer aux organisations un avantage concurrentiel, notamment dans les environnements dynamiques. De plus, les progrès réalisés dans les technologies de gestion des métadonnées et de gouvernance des données permettent d'atténuer bon nombre des contraintes opérationnelles et des risques de défaillance associés à la mise en œuvre du schéma à la lecture. Les organisations doivent évaluer avec soin leurs besoins et capacités spécifiques afin de déterminer si cette approche est en adéquation avec leurs objectifs stratégiques.

Intégration de solution

L'intégration d'un lac de données basé sur le schéma à la lecture aux systèmes existants exige une planification et une exécution rigoureuses. Les organisations doivent évaluer leur architecture de données actuelle et identifier les domaines où le schéma à la lecture peut améliorer l'accessibilité et l'analyse des données. La collaboration entre les équipes informatiques et de gouvernance des données est essentielle pour garantir la mise en œuvre efficace des politiques de gestion et de gouvernance des métadonnées. Par ailleurs, les organisations devraient envisager d'exploiter des solutions cloud offrant évolutivité et flexibilité afin de répondre à l'évolution de leurs besoins en matière de données.

Scénario d'entreprise réaliste

Prenons l'exemple d'un CDC qui met en œuvre un lac de données basé sur le schéma à la lecture pour analyser les données de santé publique provenant de diverses sources, notamment les hôpitaux, les laboratoires et les instituts de recherche. La flexibilité de ce schéma permet au CDC d'intégrer rapidement les nouvelles données dès leur disponibilité, ce qui facilite une analyse opportune lors des crises sanitaires. Toutefois, l'organisation doit également gérer la complexité liée à la garantie de la cohérence des données et à leur conformité avec la réglementation sanitaire. En établissant des cadres robustes de gestion et de gouvernance des métadonnées, le CDC peut tirer parti des avantages du schéma à la lecture tout en atténuant les risques potentiels.

QFP

Qu'est-ce que le schéma en lecture ?
Un schéma à la lecture est une architecture de données qui permet d'ingérer les données sous leur forme brute et de les structurer au moment de l'accès, offrant ainsi une grande flexibilité dans l'analyse des données.

Quels sont les principaux défis liés à la lecture de schémas ?
Les principaux défis comprennent la complexité accrue de la récupération des données, le risque d'incohérences dans les structures de données et les risques de non-conformité dus à une gouvernance inadéquate.

Comment les organisations peuvent-elles atténuer les risques associés au schéma à la lecture ?
Les organisations peuvent atténuer les risques en mettant en œuvre des outils de gestion des métadonnées robustes, en établissant des politiques de gouvernance des données et en réalisant des audits réguliers.

Le schéma en lecture seule convient-il à toutes les organisations ?
Le schéma à la lecture est particulièrement avantageux pour les organisations qui ont besoin de flexibilité dans l'analyse des données, mais il peut ne pas convenir à celles qui ont des exigences strictes en matière de gouvernance des données.

Quel rôle joue la gestion des métadonnées dans le schéma à la lecture ?
La gestion des métadonnées est cruciale dans les implémentations de schéma à la lecture pour garantir la cohérence des données, leur découvrabilité et leur conformité aux politiques de gouvernance.

Comment le schéma lors de la lecture affecte-t-il la qualité des données ?
La qualité des données peut être affectée par l'ingestion de données brutes non validées, ce qui rend essentiel pour les organisations de mettre en œuvre des mécanismes de validation lors de l'ingestion des données.

Mode de défaillance observé en lien avec le sujet de l'article

Lors d'un récent audit opérationnel, nous avons constaté une défaillance critique dans notre cadre de gouvernance des données, plus précisément liée à application de la conservation légale pour les actions liées au cycle de vie du stockage d'objets non structurésLa première défaillance s'est produite lorsque nous avons découvert que la propagation des métadonnées de conservation légale entre les versions d'objets avait échoué silencieusement, ce qui a conduit à une situation où les tableaux de bord indiquaient une conformité saine alors que l'application réelle de la gouvernance était compromise.

Le mécanisme de défaillance résidait dans une divergence entre le plan de contrôle et le plan de données. Plus précisément, le bit/indicateur de conservation légale et les étiquettes d'objet se sont désynchronisés suite à une erreur de configuration de nos politiques de gestion du cycle de vie. Par conséquent, lors d'une requête de récupération, la fonction RAG/recherche a fait apparaître des objets expirés qui auraient dû être conservés légalement, nous exposant ainsi à des risques importants de non-conformité. Cette situation était irréversible car la purge du cycle de vie était déjà terminée et les instantanés immuables avaient écrasé l'état précédent, rendant impossible la restauration des métadonnées correctes.

Cet incident a mis en lumière le compromis entre efficacité opérationnelle et contrôle de la conformité. Bien que l'architecture ait été conçue pour une ingestion et un traitement rapides des données, l'absence de contrôles de gouvernance robustes lors de la phase d'ingestion a entraîné une mauvaise classification des classes de conservation et un chaos sémantique au niveau du schéma à la lecture. L'incapacité à appliquer efficacement les mesures de conservation légales a engendré une lacune critique dans notre stratégie de gouvernance des données, lacune qu'il a été impossible de corriger a posteriori.

Il s'agit d'un exemple hypothétique ; nous ne citons pas de clients ou d'institutions figurant au classement Fortune 500 à titre d'exemples.

• fausse hypothèse architecturale
• Qu'est-ce qui a cassé en premier ?
• Leçon d'architecture générale liée au « Schéma du lac de données de lecture : perspectives architecturales et contraintes opérationnelles »

Perspectives uniques tirées de « » sous « Schéma sur le lac de données de lecture : perspectives architecturales et contraintes opérationnelles » Contraintes

Cet incident met en lumière un problème critique connu sous le nom de « séparation des plans de contrôle et de données » dans la récupération réglementée des données. Ce problème révèle la tension inhérente entre la croissance des données et le contrôle de la conformité, notamment dans les environnements utilisant des architectures de type « schéma à la lecture ». Les contraintes opérationnelles exigent une approche plus rigoureuse de l'application de la gouvernance, en particulier lors de l'ingestion et de la gestion du cycle de vie des données.

La plupart des équipes ont tendance à négliger l'importance de la synchronisation entre les métadonnées de gouvernance et les objets de données, ce qui entraîne des problèmes de conformité. Un expert, en revanche, met en œuvre des mesures proactives pour garantir que les obligations de conservation légale et les classes de rétention soient systématiquement validées par rapport à l'état réel des données tout au long de leur cycle de vie.

Test EEAT	Ce que font la plupart des équipes	Ce qu'un expert fait différemment (sous la pression réglementaire)
Quel facteur donc ?	Privilégier le volume de données à la conformité	Prioriser les contrôles de conformité parallèlement à la croissance des données
Preuves d'origine	On suppose que les métadonnées sont exactes après ingestion	Auditez régulièrement les métadonnées par rapport aux objets de données.
Delta unique / Gain d'information	S'appuyer sur des processus automatisés sans supervision	Mettre en œuvre des contrôles manuels pour garantir l'intégrité de la gouvernance

La plupart des recommandations publiques tendent à omettre la nécessité d'une validation continue de la gouvernance dans les environnements de schéma à la lecture, ce qui peut entraîner des risques importants en matière de conformité si elle n'est pas prise en compte de manière proactive.

Références

La norme ISO 15489 établit des principes de gestion des enregistrements applicables à la gouvernance des données.

La publication spéciale 800-53 du NIST fournit des lignes directrices pour les contrôles de sécurité et de confidentialité pertinents pour les lacs de données.

AVERTISSEMENT : LE CONTENU, LES POINTS DE VUE ET LES OPINIONS EXPRIMÉS DANS CE BLOG SONT LA RESPONSABILITÉ EXCLUSIVE DES AUTEURS ET NE REFLÈTENT PAS LA POLITIQUE OU LA POSITION OFFICIELLE DE SOLIX TECHNOLOGIES, INC., DE SES SOCIÉTÉS AFFILIÉES OU DE SES PARTENAIRES. CE BLOG EST EXPLOITÉ DE MANIÈRE INDÉPENDANTE ET N'EST NI RÉVISÉ NI APPROUVÉ PAR SOLIX TECHNOLOGIES, INC. À TITRE OFFICIEL. TOUTES LES MARQUES, LOGOS ET DOCUMENTS PROTÉGÉS PAR LE DROIT D'AUTEUR TIERS MENTIONNÉS DANS CE BLOG APPARTIENNENT À LEURS PROPRIÉTAIRES RESPECTIFS. TOUTE UTILISATION EST STRICTEMENT À DES FINS D'IDENTIFICATION, DE COMMENTAIRE OU ÉDUCATIVES CONFORMÉMENT À LA DOCTRINE DE L'US FAIR USE (US COPYRIGHT ACT § 107 ET ÉQUIVALENTS INTERNATIONAUX). AUCUN PARRAINAGE, AUCUNE APPROBATION OU AFFILIATION AVEC SOLIX TECHNOLOGIES, INC. N'EST IMPLICITE. LE CONTENU EST FOURNI « EN L'ÉTAT », SANS GARANTIE D'EXACTITUDE, D'EXHAUSTIVITÉ OU D'ADÉQUATION À UN USAGE PARTICULIER. SOLIX TECHNOLOGIES, INC. DÉCLINE TOUTE RESPONSABILITÉ POUR LES ACTIONS PRISES SUR LA BASE DE CE MATÉRIEL. LES LECTEURS ASSUMENT L'ENTIÈRE RESPONSABILITÉ DE LEUR UTILISATION DE CES INFORMATIONS. SOLIX RESPECTE LES DROITS DE PROPRIÉTÉ INTELLECTUELLE. POUR SOUMETTRE UNE DEMANDE DE RETRAIT DMCA, ENVOYEZ UN E-MAIL À INFO@SOLIX.COM AVEC : (1) L'IDENTIFICATION DE L'ŒUVRE, (2) L'URL DU MATÉRIEL CONTREFAÇANT, (3) VOS COORDONNÉES ET (4) UNE DÉCLARATION DE BONNE FOI. TOUTE RÉCLAMATION VALIDE RECEVRA UNE EXAMEN RAPIDE. EN ACCÉDANT À CE BLOG, VOUS ACCEPTEZ CET AVIS DE NON-RESPONSABILITÉ ET NOS CONDITIONS D'UTILISATION. CE CONTRAT EST RÉGI PAR LES LOIS DE LA CALIFORNIE.