05. Definindo cargas (atualização dos dados)

Neste tópico vamos falar sobre as cargas, o que são cargas?
É o processo de atualizar os dados em um BI.

Observação: em muitos tópicos principalmente quando falamos de cargas ou estrutura. Vamos falar sobre "Origem", o que é Origem? É aonde vão vir as informações que serão armazenadas no BIMACHINE.

No BIMACHINE temos 2 tipos de cargas INCREMENTAL e TOTAL. Os dois podem ser feito com IMEDIATO, ou seja, executa quando for disponível na fila, ou com um agendamento estipulando um período de atualização. Na imagem abaixo mostra um exemplo de carga para todos os dias sendo feita as 8:00 da manhã diariamente. Os tipos de período são:
  • INTERVALO: começando de um horário de inicio e fim em um intervalo de tempo para definir (aquele valor é de minutos, se por 60 vai ser de hora em hora). E definindo os dias da semana que deseja;
  • DIÁRIO: Definindo os dias da semana que deseja e o horário;
  • SEMANAL: Definindo um dos dias da semana e o horário;
  • MENSAL: Definindo o dia do mês e o horário. Cuidado se por algo como dia 31 e o mês não tiver esse dia, ele não vai atualizar.


Carga INCREMENTAL 
Atualizado sem remover TODOS os dados, ele remove se você definir sobre uma dimensão de tempo e dela uma PERIODICIDADE (ano atual, mês anterior, etc...). Veja na imagem abaixo, um exemplo de carga diária, removendo sobre uma dimensão de tempo chamada  "Data" e usando a periodicidade "DIA ATUAL". As periodicidades são:
  • Dinâmica: você define uma periodicidade para remover (Dia atual, ano anterior, últimos 3 meses, etc...). Mas CUIDADO se da origem vier informações além dessa periodicidade, os dados podem ficar duplicados;
  • Dados: vai pegar a menor data e a maior data que vem da origem e dela vai remover os dados da estrutura com essa faixa; 
  • Fixa: você define uma faixa de inicio e fim para remover. Mas CUIDADO se da origem vier informações além da faixa, os dados podem ficar duplicados.

Cuidado: alguns dados podem estar duplicados se não estipular um período para remover e o mesmo sendo necessário.



Carga TOTAL
Removido tudo da estrutura e recolocado os dados de acordo com o que vem da origem. Mas CUIDADO se o que vem da origem não é o mesmo que tinha atualmente na estrutura. Exemplo se ao rodar uma total e da origem trás dados do mês atual e no BIMACHINE você tem dados mais que o mês atual, apos atualização, só vai ter os dados do mês atual.


Recomendação: não utilize essa carga no horário de expediente e executar várias vezes. Esse tipo de carga é recomendada de madrugada ou nos fim de semana.


Tipo Estrutura
No BIMACHINE temos 2 tipos de estruturas BIGTABLE e NORMAL. No BIGTABLE as cargas são mais demoradas e a exibição dos objetos mais rápido, na NORMAL cargas mais rápidas e a exibição dos objetos mais lento. Esse tipo de definição vai de acordo com o Tamanho das informações que vem da origem, ou seja, se o tamanho for pouco recomendamos o tipo NORMAL, se o tamanho for muito grande recomendamos o BIGTABLE. Veja abaixo o tamanho de uma estrutura para saber se é muito grande ou não.


Cotas - Politica de transferência de dados
Nas cargas, os dados que são copiados e transferidos da origem para a estrutura tem um tamanho. Essa transferência temos um limite, começando com 5 Gigabytes (5120 Megabytes), mas pode ser aumentado solicitando isso conosco. 


Essa cota é zerada a cada dia, esse controle tem como objetivo para não ser feito cargas de forma desnecessária ou exagerada.