Durante a última década, vimos mais e mais empresas se moverem para a nuvem. Esta tendência é complementada pelo poder crescente de uma grande comunidade de consumidores de dados que coletam, ingerem, armazenam e analisam dados para obter insights comerciais que informam a tomada de decisões. Naturalmente, à medida que as taxas de crescimento da migração para a nuvem aumentam, aumentam também as novas preocupações com relação ao gerenciamento da informação.
Três das maiores preocupações estão relacionadas à proteção de dados, conformidade e regulamentos, visibilidade e controle. No artigo de hoje, explicaremos cada preocupação, bem como as melhores práticas da indústria para tratá-las.
-
Proteção de dados (Ativos digitais)
Ao abordarmos este tópico, precisamos ter em mente que é a maior preocupação da mudança para a computação em nuvem, uma vez que envolve o armazenamento de dados comerciais em uma infraestrutura de nuvem pública e, na maioria dos casos, as empresas implantam o sistema empresarial juntamente com os dados comerciais. Com o aumento das ameaças e violações de segurança, a segurança dos dados se tornou um tópico sensível. Temos visto um aumento no número de casos de resgate em todo o mundo, e nenhuma organização quer ser a próxima vítima.
Em termos de gerenciamento de risco, proteger os dados contra acesso não autorizado é uma prioridade máxima para evitar vazamentos de dados com informações sensíveis que vão desde informações pessoalmente identificáveis (IPI) até informações corporativas confidenciais, propriedade intelectual e segredos comerciais.
-
Conformidade e regulamentos
Diferentes regiões têm vários conjuntos de regulamentos que cobrem o gerenciamento e a segurança de dados. Exemplos incluem o Regulamento Geral de Proteção de Dados da União Européia (GDPR), a Lei de Privacidade do Consumidor da Califórnia (CCPA), e normas de proteção de dados específicas do setor como a Lei de Portabilidade e Responsabilidade de Seguros de Saúde de 1996 (HIPAA), o Identificador Global de Entidade Jurídica (LEI) no setor financeiro, e a Norma de Segurança de Dados do Setor de Cartões de Pagamento (PCI DSS), para mencionar algumas das mais importantes regulamentações.
As equipes de conformidade são responsáveis por garantir a adesão a estas regulamentações e normas, e podem ter preocupações com a superestimação da regulamentação para os dados armazenados na nuvem.
-
Falta de Visibilidade e Controle
A maioria das organizações ainda luta para entender o volume de dados que têm, o que exatamente têm e onde estão todos armazenados. Isto levanta questões sobre o valor potencial que estes dados criam versus a quantidade de risco que geram.
Infelizmente, muitos profissionais de gerenciamento de dados e consumidores de dados às vezes não têm visibilidade em seu próprio cenário de dados e não sabem quais recursos estão disponíveis, onde estão localizados, como e se podem ser usados, quem tem acesso a quais dados e se devem ou não ter acesso a eles. Esta incerteza limita a capacidade das empresas de alavancar ainda mais seus próprios dados para melhorar a produtividade ou impulsionar o valor do negócio.
Processos Essenciais para a Governança de Dados
Estes fatores de risco destacam processos críticos que são essenciais para a governança de dados:
1.Avaliação dos dados
2.Catalogação de Metadados
3.Qualidade dos dados
4.Gerenciamento de controle de acesso
5.Segurança da Informação
De fato, enfrentar esses riscos enquanto desfruta dos benefícios proporcionados pela computação em nuvem aumentou o valor da compreensão da governança dos dados, bem como da descoberta do que é importante para as operações comerciais e a tomada de decisões. Abaixo está uma pesquisa realizada pela Mckinsey Company que ilustra este ponto:
Falta de qualidade dos dados. Imagem cortesia da McKinsey & Company.
O que é governança de dados (e por que precisamos dela)?
A governança de dados é uma parte da disciplina geral do gerenciamento de dados, embora seja muito importante. Enquanto a governança de dados trata das funções, responsabilidades e processos que garantem a responsabilidade e a propriedade dos ativos de dados, a DAMA International define o gerenciamento de dados como “um termo abrangente que descreve os processos usados para planejar, especificar, habilitar, criar, adquirir, manter, usar, arquivar, recuperar, controlar e purificar dados”.
Em termos da abordagem prática da governança de dados, a missão central das equipes de governança de dados é geralmente a de:
1.Otimizar, organizar, proteger, governar e regular os ativos de dados corporativos para garantir a confiabilidade e a segurança dos conhecimentos comerciais;
2.Influenciar e informar os projetos futuros do estado que resultam da transformação global dos negócios; e
3.Construir tecnologias, políticas e estruturas que tornem mais fácil e intuitivo para os consumidores de dados fazer a coisa certa quando se trata de proteger a corporação.
A governança de dados precisa estar em vigor para todo o ciclo de vida dos dados, desde o momento em que os dados são coletados ou ingeridos até o momento em que são destruídos ou arquivados. Durante todo o ciclo de vida dos dados, a governança de dados se concentra em tornar os dados disponíveis a todos os consumidores de dados de uma forma que eles possam facilmente acessar e entender em termos comerciais.
Desta forma, os dados podem ser usados para gerar os resultados comerciais desejados (análise e insights), além de estarem em conformidade com as normas regulatórias, se/onde for relevante. O resultado final da governança de dados é aumentar a confiança nos dados.
Dados confiáveis são um ” dever ter” para usar dados corporativos para apoiar a tomada de decisões, avaliação de risco e gerenciamento usando indicadores-chave de desempenho (KPIs). Usando dados, você pode aumentar a confiança no processo de tomada de decisão, mostrando um processo baseado em evidências.
Tópicos primários de governança de dados. Imagem cortesia do Finextra.
Estrutura de Governança de Dados
O objetivo principal de uma estrutura de governança de dados é apoiar a criação de um conjunto único de regras e processos para coleta, armazenamento e utilização de dados. Desta forma, a estrutura facilita a racionalização e a escala dos processos centrais de governança, permitindo manter os padrões de conformidade e segurança, democratizar os dados e apoiar a tomada de decisões.
A estrutura deve incluir a descoberta de dados para criar uma visão do catálogo de dados em toda a linha de negócios e/ou dados mestres corporativos. Isto inclui não apenas os dados em si, mas também as relações de dados e a linhagem, metadados técnicos e comerciais, perfil de dados, qualidade de dados, classificação de dados, engenharia de dados e o fluxo de trabalho geral.
Uma estrutura de governança de dados suporta a execução da governança de dados, definindo os componentes essenciais do processo de um programa de governança de dados como:
1.Implementação de mudanças no processo para melhorar e gerenciar a qualidade dos dados;
2.Gerenciamento de problemas de dados e identificação dos proprietários dos dados;
3.Construir um catálogo de dados, criar dados de referência e dados mestres;
4.Privacidade dos dados, aplicando e monitorando políticas de dados com base na classificação das informações e no controle de acesso; e
5.Conduzir a alfabetização de dados, assim como o fornecimento e a entrega de dados.
Os resultados podem ser medidos e monitorados durante a execução dos processos estabelecidos, depois otimizados para confiança, privacidade e proteção de dados. Os principais resultados incluem: processos de rastreamento que cobrem a qualidade e proliferação de dados; monitoramento da privacidade dos dados e exposição a riscos; alertas para anomalias e criação de uma trilha de auditoria; e gerenciamento de problemas e facilitação do fluxo de trabalho.
Uma estrutura geral do programa de governança de dados cobrindo as principais atividades macro. Imagem cortesia da Governança de Dados: O Guia Definitivo: Pessoas, processos e ferramentas para operacionalizar a confiabilidade dos dados.
Benefícios comerciais da governança robusta de dados
É importante declarar os benefícios da governança de dados que podemos esperar alcançar tanto a curto como a longo prazo. O estabelecimento de uma estratégia de governança de dados é fundamental, assim como o projeto de um modelo operacional para executar a estrutura de governança de dados em etapas para apoiar a evolução do modelo de acordo com o nível de maturidade de governança de dados a ser alcançado, como ilustrado abaixo.
Visão geral do amadurecimento da governança de dados. Imagem adaptada do Modelo de Maturidade da IBM.
Uma boa estratégia de governança de dados e um modelo operacional sólido permitem que as empresas saibam que, quer os dados que estão acessando sejam dados atuais ou históricos, eles serão confiáveis e utilizáveis para análise. Os benefícios da governança de dados podem ser resumidos como:
Governança de dados com a plataforma Google Cloud
O Google oferece algumas das ferramentas mais confiáveis para permitir a governança de dados a nível organizacional. Estas incluem um Catálogo de Dados que ajuda na descoberta de dados, gerenciamento de metadados e controles de nível de classe de dados que permitem a separação de dados sensíveis de outros dados dentro de contêineres, bem como outras ferramentas como Prevenção de Perda de Dados e Gerenciamento de Acesso à Identidade.
Abaixo está uma visão geral da infra-estrutura de governança de dados GCP:
Catálogo de dados e DLP. Imagem cortesia do Google Cloud.
O Data Catalog é um serviço de gerenciamento de metadados totalmente gerenciado e escalável da família de produtos Data Analytics do Google Cloud. Seu foco é pesquisar dados perspicazes, compreender dados e tornar os dados úteis.
Há duas formas principais de interagir com o Catálogo de Dados:
1.Buscando os ativos de dados aos quais você tem acesso; e
2.Marcação de ativos com metadados.
Como funciona o Catálogo de Dados? O Catálogo de Dados pode catalogar metadados nativos em ativos de dados a partir das seguintes fontes do Google Cloud:
- BigQuery Datasets, Tabelas e Visualizações;
- Tópicos de Serviços Pub/Sub; e
- Bancos de dados e tabelas Dataproc Metastore.
Você também pode usar as APIs do Catálogo de Dados para criar e gerenciar entradas para tipos de recursos de dados personalizados. Uma vez que seus dados estejam catalogados, você pode adicionar seus próprios metadados a esses recursos usando tags.
Além disso, o Data Catalog interage com o Data Loss Prevention (DLP) para identificar automaticamente os dados sensíveis utilizando o poderoso mecanismo de marcação automática do Cloud Data Loss Prevention.
Conclusão
A governança de dados ajuda as organizações a gerenciar melhor a disponibilidade, usabilidade, integridade e segurança de seus dados corporativos.
Com a tecnologia certa, a governança de dados também pode proporcionar um tremendo valor comercial e apoiar a jornada de transformação digital de uma empresa.
Em seu nível mais básico, a governança de dados trata de colocar os dados sob controle e mantê-los seguros. Uma governança de dados bem sucedida requer saber onde os dados estão localizados, como se originaram, quem tem acesso a eles e o que eles contêm. Uma governança de dados eficaz é um pré-requisito para manter a conformidade empresarial, quer essa conformidade seja auto-imposta ou mandatada por uma indústria ou órgão regulador externo.
A qualidade, veracidade e disponibilidade de dados ao pessoal autorizado também pode determinar se uma organização atende ou viola exigências regulatórias rigorosas.
Governança de Dados na Avenue Code
Na Avenue Code, temos vários especialistas da Plataforma Google Cloud que podem ajudá-lo a implementar processos de governança de dados baseados nas melhores práticas de mercado para alcançar alta disponibilidade, usabilidade, integridade e segurança dos dados corporativos.
Deseja saber mais sobre como aproveitar ao máximo seus dados? Confira os outros blogs de nossa série de análise de dados:
Os 6 Pilares do Sucesso da Modernização de Dados
4 Estratégias para impulsionar as vendas com Data Mining
Modernizando seu Data Warehouse com BigQuery
Lagos de dados: A chave para a modernização dos dados
O que você precisa saber sobre os dutos de dados
Orquestração de dados em GCP
