Základy datových produktů: Co to je, proč na nich záleží, jak začít?

Většina organizací má jen zřídka nedostatek dat, přesto často slýcháme vedoucí pracovníky v oblasti dat říkat: „Spravujeme petabajty dat, ale dosažení přesného přehledu je časově náročné.“ Většině datových týmů nechybí data, ale spolehlivé a opakovaně použitelné výstupy. Známky jsou všude: vysoké náklady, pomalejší procesy, nepřesné přehledy, duplicitní úsilí a přeplněný dashboard. Bez promyšlených, „produktizovaných“ přístupů se nezpracovaná data stávají přítěží, která často zatěžuje podniky, místo aby zlepšovala jejich tržby a zisky.

Co je datový produkt?

Datový produkt je podle definice spravovaná, spolehlivá a zdokumentovaná sada datových aktiv, která řeší skutečný problém uživatele. Představte si datové produkty jako software: má vlastníka, smlouvu, verzi a SLO. Dobré datové produkty jsou připravené ke spotřebě, plně řízené a opakovaně použitelné.

Klíčové atributy datových produktů

Skvělé datové produkty jsou objevitelné (katalogizované, označené a vlastněné), adresovatelné (stabilní URI a verzované koncové body), bezpečné (přístup s nejnižšími oprávněními, maskování, šifrování), srozumitelné (slovníček obchodních pojmů, původ, příklady), řízené (zásady jako kód, SLA, uchovávání nebo právní rezervace) a důvěryhodné (kvalitní SLO, auditní záznamy, reprodukovatelné čtení). Tyto atributy datových produktů napříč vstupy, sémantikou, úložištěm, přístupem, poskytováním a dokumentací jsou nedílnou součástí vytváření spolehlivých a odolných datových produktů, které spotřebitelé mohou s jistotou najít, používat a kterým důvěřovat.

Proč jsou datové produkty důležité?

Produkty s kurátorským zpracováním dat v rámci pracovních postupů správy dat pomáhají zkrátit dobu potřebnou k rozhodování, snížit rizika související s dodržováním předpisů a oddělit producenty a spotřebitele dat. Zároveň podporují opětovné použití dat prostřednictvím smluv a bezpečnější změny díky verzování. Z organizačního hlediska to pomáhá zefektivnit procesy vytvořením jasného vlastnictví a zároveň se vyhnout ad hoc problémům s daty.

Anatomie dobrého datového produktu

Stejně jako dobře vytvořený software má i dobrý datový produkt pod kapotou několik vrstev a komponent, které spolupracují. Zde je široký přehled datových produktů, rozdělený do klíčových prvků:

• Vstupy dat: Každý datový produkt má přidružené datové vstupy, včetně provozních databází, proudů událostí a datových sad třetích stran. Datový produkt jasně definuje, jak spotřebovává vstupní data, a zároveň stanoví schéma, očekávání ohledně kvality dat a SLA pro výměnu dat mezi producentem a spotřebitelem dat.
• Sémantika a transformace: Toto je základní logika uvnitř datového produktu. Zahrnuje veškeré transformace, obchodní pravidla a algoritmy aplikované na vstupní data, stejně jako metadata, základní sémantiku a dobře definovaný obchodní glosář s dokumentovanými definicemi.
• Skladovací a servírovací vrstva: Kde se data po transformaci nacházejí a jak k nim mají spotřebitelé přístup? V závislosti na složitosti a obchodním případu použití toho lze dosáhnout prostřednictvím datových tržišť, datových skladů, jezer nebo dokonce architektury jezerních domůÚložná vrstva musí být efektivně škálovatelná, s nízkou latencí a vysokou propustností, aby optimalizovala výkon a zvládla rostoucí potřeby firmy.
• Správa dat, zabezpečení a ochrana osobních údajů: Všechny podnikové produkty musí zajistit řádný rámec pro správu a zabezpečení dat. To zahrnuje řízení přístupu, ověřování API, opatření na ochranu soukromí, jako je maskování a zamlžování, integrované zásady ochrany osobních údajů pro uchovávání a čištění dat a protokoly auditu.
• Přístupové rozhraní: Skvělý datový produkt nabízí více rozhraní pro různé uživatele. Například produkt pro metriky může umožňovat SQL, datová sada strojového učení může zahrnovat poznámkové bloky a externí aplikace mohou k datovým produktům přistupovat prostřednictvím zabezpečených API. Datové produkty musí mít alespoň jedno dobře definované rozhraní a zůstat stabilní nebo zpětně kompatibilní s vývojem produktu.
• Dokumentace: Pokud nikdo nechápe, co vaše datové produkty obsahují, nebudou využívány. Dobré datové produkty jsou důkladně zdokumentované a snadno dostupné. Dokumentace musí obsahovat účel, schéma, specifikace API, příklady dotazů, vlastníka/kontakty a frekvenci aktualizací datových produktů. Většina datových produktů ukládá tyto informace v datovém katalogu, což uživatelům umožňuje najít datový produkt pomocí vyhledávání.

Využití Solix Data Lake Plus k vytváření datových produktů připravených pro umělou inteligenci

Zákazníci mohou využít Solix Data Lake Plus (jako součást Solix Common Data Platform (CDP)) k rychlejšímu vytváření datových produktů připravených pro umělou inteligenci, protože platforma koncentruje základní funkce, které potřebujete v oblasti příjmu, správy a poskytování:

• Sjednocené ingestování pro dávkové a reálné zpracování: Solix podporuje nepřetržité toky dat a streamování v reálném čase pro zachycení transakcí, událostí IoT, protokolů a sociálních kanálů bez čekání na noční dávky, což je klíčové pro provozní produkty a produkty strojového učení, které závisí na signálech s nízkou latencí.
• Vestavěný katalog a metadata: Katalogizace/správa metadat předpřipravených dat vám pomáhá publikovat zjistitelná, zdokumentovaná rozhraní (schémata, vlastníky, příklady), která tvoří páteř produkovaných dat.
• Řízení, soukromí a kontroly přístupu: Jedno Společná datová platforma Solix poskytuje obchodní glosář, vyhledávání a profilování dat, klasifikaci, maskování, zobrazení na základě rolí, pracovní postupy a správu zásad. Usnadňuje vymáhání smluv, ochranu osobních údajů a splnění předpisů a zároveň umožňuje široké opětovné použití.
• Připravenost na AI/ML na cloudově nativních základech: CDP sjednocuje strukturovaná, polostrukturovaná a nestrukturovaná data pro analytiku a strojové učení/AI s ILM, aby byla aktuální i historická data kompatibilní a dostupná pro trénování a vyhodnocování modelů.
• Moderní datová architektura: Solix Data Lake Plus klade důraz na komplexní integraci dat a inženýrství na bezpečné a škálovatelné platformě, kterou lze nasadit v cloudových, hybridních a on-premise systémech, což je užitečné, když vaše datové produkty musí přejít z MVP na celopodnikové přijetí.

Závěrečné myšlenky

Zaměření produktu na spravovaná data je klíčové. Stanovení jasného vlastnictví, smluv, SLO, testů a dokumentace zajišťuje vysoce kvalitní datové produkty. Abyste zajistili úspěch projektu, začněte v malém, vyberte si pouze jedno vysoce relevantní rozhodnutí, dodávejte minimální, ale produkční produkt od začátku do konce a měřte přijetí a dobu potřebnou k získání poznatků. Poté záměrně opakujte, abyste snížili riziko a nahradili rozsáhlé dashboardy bezpečnými, řízenými, opakovaně použitelnými a produktově definovanými daty.

Platformy jako Solix Data Lake Plus může zákazníkům umožnit urychlit tento proces sjednocením příjmu, správy, katalogizace a přístupu. To umožňuje datovým týmům soustředit se na kurátorování kvality dat namísto na prodlužování procesů.

Naplánujte si hovor Více o tom, jak vám Solix může pomoci rozšířit a zefektivnit vaši praxi správy dat.