O que é gerenciamento de dados em nuvem?
A ascensão da arquitetura multi-nuvem, com prioridade aos dados, e o amplo portfólio de aplicações avançadas baseadas em dados que surgiram como resultado exigem gerenciamento de dados em nuvem sistemas para coletar, gerenciar, governar e construir pipelines para dados corporativos. Arquiteturas de gerenciamento de dados em nuvem abrangem ambientes de nuvem privada, multi-nuvem e híbrida, conectando-se a fontes de dados não apenas de sistemas de transação, mas de servidores de arquivo, da Internet ou de repositórios multi-nuvem.
O escopo do gerenciamento de dados em nuvem inclui data lake empresarial, arquivamento empresarial, serviços de conteúdo empresarial e soluções de privacidade de dados do consumidor. Essas soluções gerenciam os desafios de utilidade, risco e conformidade do armazenamento de grandes quantidades de dados.
Plataformas de dados em nuvem
Plataformas de dados em nuvem são a peça central dos programas de gerenciamento de dados em nuvem e fornecem coleta e armazenamento de dados uniformes ao menor custo. Arquivos, data lakes e serviços de conteúdo permitem que projetos de migração para a nuvem conectem, ingiram e gerenciem qualquer tipo de dado de qualquer fonte. Por exemplo, plataformas de dados em nuvem coletam dados legados e em tempo real de mainframes, ERP, CRM, armazenamentos de arquivos, bancos de dados relacionais e não relacionais e até mesmo ambientes SaaS como Salesforce ou Workday.
Arquivamento Empresarial
Estudos mostram que os dados são acessados com menos frequência à medida que envelhecem. Dados atuais, como dados on-line, são acessados com mais frequência, mas depois de dois anos, a maioria dos dados corporativos dificilmente é acessada. À medida que o crescimento dos dados acelera, a carga na infraestrutura de produção cresce e o desafio de manter o desempenho do aplicativo aumenta.
Os portfólios de aplicativos devem ser examinados regularmente para aplicativos legados que não estão mais em uso e esses aplicativos devem ser aposentados ou descomissionados. Além disso, dados históricos de bancos de dados de produção devem ser arquivados para melhorar o desempenho, otimizar a infraestrutura e reduzir os custos gerais. O Information Lifecycle Management (ILM) deve ser usado para estabelecer controles de governança e conformidade de dados.
Arquivamento empresarial suporta todos os dados empresariais, incluindo bancos de dados, dados de streaming, servidores de arquivos e e-mail. Usando o ILM, o arquivamento empresarial move dados acessados com menos frequência de sistemas de produção para repositórios nearline. Os dados de arquivo permanecem altamente acessíveis e são armazenados em buckets de baixo custo. Grandes organizações que operam silos de servidores de arquivos em departamentos e divisões usam o arquivamento empresarial para consolidar esses silos em um repositório de nuvem unificado e compatível.
Lago de dados corporativo
Empresas orientadas por dados aproveitam redes vastas e complexas de dados e serviços, e os data lakes empresariais fornecem as conexões necessárias para mover dados de qualquer origem para qualquer local de destino. Lagos de dados empresariais lidar com grandes volumes de dados e escalar horizontalmente usando infraestrutura de nuvem de commodities para fornecer pipeline de dados e serviços de preparação de dados para aplicativos downstream, como data warehouse SQL, inteligência artificial (IA) e aprendizado de máquina (ML).
Pipelines de dados são uma série de fluxos de dados onde a saída de um elemento é a entrada do próximo, e assim por diante. Data lakes servem como pontos de coleta e acesso em um pipeline de dados e são responsáveis pela organização de dados e controle de acesso.
A preparação de dados torna os dados adequados para uso com qualidade de dados aprimorada. Os serviços de preparação de dados incluem criação de perfil de dados, limpeza de dados, enriquecimento de dados e transformação de dados e modelagem de dados. Como uma solução de código aberto e padrão da indústria, os data lakes corporativos coletam e armazenam com segurança grandes quantidades de dados para migração para a nuvem e fornecem serviços de nível empresarial para explorar, gerenciar, governar, preparar e fornecer controle de acesso aos dados.
Serviços de Conteúdo Empresarial (ECS)
Os compartilhamentos de arquivos corporativos estão lotados de arquivos e dados abandonados há muito tempo. Serviços de conteúdo empresarial colete e armazene dados históricos da empresa que, de outra forma, seriam espalhados por várias ilhas de armazenamento, em dispositivos pessoais, compartilhamentos de arquivos, Google Drive, Dropbox ou OneDrives pessoais. Organizações que planejam migração de dados para a nuvem para lidar com a dispersão de conteúdo devem considerar o ECS para armazenamento de arquivos seguro e compatível com o menor custo. A migração de dados para a nuvem com o ECS consolida dados da empresa em uma única plataforma e unifica silos de servidores de arquivos de maneiras inovadoras para se tornarem mais eficientes e reduzir custos.
Privacidade de dados do consumidor
Regulamentos de privacidade de dados do consumidor estão proliferando com quase 100 países agora adotando regulamentações. O California Consumer Privacy Act (CCPA) e o Regulamento Geral de Proteção de Dados (GDPR) da Europa são talvez as leis mais conhecidas, mas novas regulamentações estão surgindo em todos os lugares, à medida que violações de segurança, ataques cibernéticos e liberações não autorizadas de informações pessoais continuam a crescer inabalavelmente. Essas novas regulamentações exigem controles rigorosos sobre a entrega de informações pessoalmente identificáveis (PII), mas as variações entre as geografias tornam a conformidade legal um requisito complexo.
O Information Lifecycle Management (ILM) gerencia dados durante todo o seu ciclo de vida e estabelece um sistema de controles e regras de negócios, incluindo políticas de retenção de dados e retenções legais. Ferramentas de segurança e privacidade, como classificação de dados, mascaramento de dados e descoberta de dados confidenciais, ajudam os administradores de dados a atingir a conformidade com políticas de governança de dados, como NIST 800-53, PCI, HIPAA e GDPR. A privacidade de dados do consumidor e a governança de dados não são apenas essenciais para a conformidade legal, mas também melhoram a qualidade dos dados.
Qual é a urgência?
O crescimento exponencial de dados é um fato conhecido, no entanto, as implicações só estão sendo sentidas pelas empresas nos últimos dois anos. De um lado, mais e mais dados são necessários para dar suporte a aplicativos e análises orientados a dados. Do outro lado, o crescimento de dados resulta em ineficiências operacionais, dívidas técnicas e maiores riscos de conformidade. O crescimento de dados é uma faca de dois gumes se não for gerenciado e oferece grande valor ao permitir que as empresas gerenciem seus dados de forma mais eficaz.
