Armazenamento de dados

O que é armazenamento de dados?

Data warehousing é o armazenamento eletrônico seguro de informações por uma empresa ou outra organização. O objetivo do armazenamento de dados é criar uma coleção de dados históricos que podem ser recuperados e analisados para fornecer informações úteis sobre as operações da organização.

O armazenamento de dados é um componente vital da inteligência de negócios. Esse termo mais amplo abrange a infraestrutura de informações que as empresas modernas usam para rastrear seus sucessos e fracassos passados e informar suas decisões para o futuro.

Data warehousing é o armazenamento de informações ao longo do tempo por uma empresa ou outra organização.

Novos dados são adicionados periodicamente por pessoas em vários departamentos-chave, como marketing e vendas.

O armazém torna-se uma biblioteca de dados históricos que podem ser recuperados e analisados para informar a tomada de decisões no negócio.

Os fatores-chave na construção de um data warehouse eficaz incluem a definição das informações que são críticas para a organização e a identificação das fontes das informações.

Um banco de dados é projetado para fornecer informações em tempo real. Um data warehouse é projetado como um arquivo de informações históricas.

Como funciona o armazenamento de dados

A necessidade de armazenar dados evoluiu à medida que as empresas começaram a depender de sistemas de computador para criar, arquivar e recuperar documentos comerciais importantes. O conceito de data warehousing foi introduzido em 1988 pelos pesquisadores da IBM Barry Devlin e Paul Murphy.

O armazenamento de dados é projetado para permitir a análise de dados históricos. A comparação de dados consolidados de várias fontes heterogêneas pode fornecer informações sobre o desempenho de uma empresa. Um data warehouse é projetado para permitir que seus usuários executem consultas e análises em dados históricos derivados de fontes transacionais.

Os dados adicionados ao warehouse não mudam e não podem ser alterados. O warehouse é a fonte usada para executar análises em eventos passados, com foco nas alterações ao longo do tempo. Os dados armazenados devem ser armazenados de maneira segura, confiável, fácil de recuperar e fácil de gerenciar.

Mantendo o Data Warehouse

Existem certas etapas que são tomadas para manter um data warehouse. Uma etapa é a extração de dados, que envolve a coleta de grandes quantidades de dados de vários pontos de origem. Depois que um conjunto de dados foi compilado, ele passa pela limpeza de dados, o processo de vasculhar por erros e corrigir ou excluir qualquer um que seja encontrado.

Os dados limpos são então convertidos de um formato de banco de dados para um formato de armazém. Uma vez armazenados no warehouse, os dados passam por classificação, consolidação e resumo, para que sejam mais fáceis de usar. Com o tempo, mais dados são adicionados ao warehouse à medida que as várias fontes de dados são atualizadas.

Um livro importante sobre data warehousing é "Building the Data Warehouse" de WH Inmon, um guia prático que foi publicado pela primeira vez em 1990 e reimpresso várias vezes.

Hoje, as empresas podem investir em serviços de software de data warehouse baseados em nuvem de empresas como Microsoft, Google, Amazon e Oracle, entre outras.

Mineração de dados

As empresas armazenam dados principalmente para mineração de dados. Isso envolve a busca de padrões de informações que os ajudarão a melhorar seus processos de negócios.

Um bom sistema de armazenamento de dados torna mais fácil para os diferentes departamentos de uma empresa acessarem os dados uns dos outros. Por exemplo, uma equipe de marketing pode avaliar os dados da equipe de vendas para tomar decisões sobre como ajustar suas campanhas de vendas.

As 5 etapas da mineração de dados

O processo de mineração de dados se divide em cinco etapas:

Uma organização coleta dados e os carrega em um data warehouse.
Os dados são então armazenados e gerenciados, seja em servidores internos ou em um serviço em nuvem.
Analistas de negócios, equipes de gerenciamento e profissionais de tecnologia da informação acessam e organizam os dados.
O software aplicativo classifica os dados.
O usuário final apresenta os dados em um formato fácil de compartilhar, como um gráfico ou tabela.

O conceito de data warehouse foi introduzido por dois pesquisadores da IBM em 1988.

Data Warehousing vs. Bancos de Dados

Um data warehouse não é o mesmo que um banco de dados:

Um banco de dados é um sistema transacional que monitora e atualiza dados em tempo real para ter apenas os dados mais recentes disponíveis.
Um data warehouse é programado para agregar dados estruturados ao longo do tempo.

Por exemplo, um banco de dados pode ter apenas o endereço mais recente de um cliente, enquanto um data warehouse pode ter todos os endereços do cliente nos últimos 10 anos.

A mineração de dados depende do data warehouse. Os dados no warehouse são peneirados para obter insights sobre os negócios ao longo do tempo.

Vantagens e Desvantagens dos Data Warehouses

O armazenamento de dados destina-se a dar a uma empresa uma vantagem competitiva. Ele cria um recurso de informações pertinentes que podem ser rastreadas ao longo do tempo e analisadas para ajudar uma empresa a tomar decisões mais informadas.

Também pode drenar os recursos da empresa e sobrecarregar sua equipe atual com tarefas rotineiras destinadas a alimentar a máquina do armazém.

O Corporate Finance Institute identifica essas desvantagens potenciais de manter um data warehouse:

É preciso tempo e esforço consideráveis para criar e manter o armazém.
As lacunas nas informações, causadas por erro humano, podem levar anos para aparecer, prejudicando a integridade e a utilidade das informações.
Quando várias fontes são utilizadas, inconsistências entre elas podem causar perdas de informações.

TT

Perguntas frequentes sobre data warehouse

Aqui estão as respostas para algumas perguntas comuns sobre data warehousing.

O que é um Data Warehouse e para que serve?

Um data warehouse é um sistema de armazenamento de informações para dados históricos que podem ser analisados de várias maneiras. Empresas e outras organizações utilizam o data warehouse para obter informações sobre o desempenho anterior e planejar melhorias em suas operações.

O que é um exemplo de data warehouse?

Considere uma empresa que fabrica equipamentos de ginástica. Seu best-seller é uma bicicleta ergométrica e está considerando expandir sua linha e lançar uma nova campanha de marketing para apoiá-la.

Ele vai para seu data warehouse para entender melhor seu cliente atual. Ele pode descobrir se seus clientes são predominantemente mulheres com mais de 50 anos ou homens com menos de 35 anos. Ele pode saber mais sobre os varejistas que tiveram mais sucesso na venda de suas bicicletas e onde estão localizados. Pode ser capaz de acessar os resultados da pesquisa interna e descobrir o que seus clientes anteriores gostaram e não gostaram em seus produtos.

Todas essas informações ajudam a empresa a decidir que tipo de novo modelo de bicicleta eles querem construir e como eles vão comercializá-los e anunciá-los. É uma informação difícil, e não uma tomada de decisão banal.

Quais são as etapas do armazenamento de dados?

Há pelo menos sete etapas para a criação de um data warehouse, de acordo com a ITPro Today, uma publicação do setor. Eles incluem:

Determinar os objetivos do negócio e seus indicadores-chave de desempenho.
Coletar e analisar as informações apropriadas.
Identificar os principais processos de negócios que contribuem com os dados-chave.
Construir um modelo de dados conceitual que mostre como os dados são exibidos para o usuário final.
Localizar as fontes dos dados e estabelecer um processo para alimentar os dados no armazém.
Estabeleça uma duração de rastreamento. Os data warehouses podem se tornar difíceis de manejar. Muitos são construídos com níveis de arquivamento, para que as informações mais antigas sejam retidas com menos detalhes.
Implementação do plano.

SQL é um Data Warehouse?

SQL, ou Structured Query Language, é uma linguagem de computador usada para interagir com um banco de dados em termos que ele possa entender e responder. Ele contém vários comandos, como "selecionar", "inserir" e "atualizar". É a linguagem padrão para sistemas de gerenciamento de banco de dados relacional.

Um banco de dados não é o mesmo que um data warehouse, embora ambos sejam armazenamentos de informações. Um banco de dados é uma coleção organizada de informações. Um data warehouse é um arquivo de informações que é continuamente construído a partir de várias fontes.

A linha de fundo

O data warehouse é o repositório de informações de uma empresa sobre seus negócios e seu desempenho ao longo do tempo. Criado com a contribuição dos funcionários de cada um de seus principais departamentos, é a fonte de análise que revela os sucessos e fracassos do passado da empresa e informa sua tomada de decisão.