02. Criando estrutura CSV

Para criar uma estrutura CSV,  acesse o ícone  ou "Gerenciar Ambiente",  aonde temos em dois locais destacados abaixo.


https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/como-se-cria-uma-estrutura-de-origem-sql/inicioestrutura.png



Na aba do projeto, selecione a aba de "Dados" e clique em .




Abrirá a tela com 6 passos, sendo a primeira "Informações" para criar nova estrutura de dados, informe:
  • Nome Visualização: nome da estrutura;
  • Descrição: uma breve descrição do projeto, se desejar colocar;
  • Manter Histórico dos Dados: Existem dois tipos de cargas a Total e a Incremental, sendo que se você marcar está opção (Manter Histórico dos Dados) você não poderá executar a carga total, ou seja não poderá limpar a estrutura, não é mais possível remover os dados já inseridos, apenas inserir dados novos;
  • Ícone: Aqui você poderá personalizar e escolher um ícone coerente a sua estrutura;
  • Grupo: pode deixar a estrutura em um grupo, organizando as estrutura deixando separado por grupo;
  • Tipo estrutura: sendo que existe a analítica e a de dados.
    • Analítica: cria objetos a partir da informação dessa estrutura;
    • Dados: serve como apoio para criação de uma estrutura mais complexa (não sendo possível explorar os dados).
https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/atualizando-os-dados-de-uma-estrutura-csv/novaestrutura.png


Na próxima tela "Origem dos dados, você irá informar o tipo de estrutura que será criada, neste caso escolhemos CSV:
Clique sobre "Opções avançadas", para expandir os campos que irão garantir que sua estrutura funcione da forma esperada:
  • Codificação do Arquivo: qual o tipo de codificação em que o arquivo se encontra;
  • Formato Numérico: dependendo da sua Região, os campos de valor pode ser separado por vírgula ou ponto;
  • Linhas ignoradas no início: representa o número de linhas no início do seu CSV que não será carregada (Importante: O cabeçalho já é ignorado por padrão, afinal é o nome das futuras dimensões)
  • Delimitador de Texto: aqui é informado como é separado os arquivos de texto;
  • Formato da Data: aqui você define que formato de data se encontra no seu arquivo;
  • Separador: aqui é informado como é o separador do arquivo, geralmente é por vírgula e ponto;
  • Ignorar erros: caso o arquivo CSV contenha erros em alguma linha, a mesma será descartada;
  • Ignoradas no fim: representa o número de linhas no fim do seu CSV que não será carregada.
Importante: O arquivo se restringe no máximo 50Mb.
https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/dados/atualizando-os-dados-de-uma-estrutura-csv/avancadocsv.png

Nota: não esqueça de escolher o arquivo CSV, TXT ou ZIP (podendo ter um arquivo grande no formato TXT ou CSV), só depois que o arquivo for carregado o botão "Próximo" será habilitado.
https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/o-que-sao-os-tipos-de-origem-sql-dw-csv/origemtipocsv.png

Algumas ações nestas telas são possíveis:
  • Gerar formato BIG TABLE (botão selecionar): define a estrutura que armazena os dados da origem;
    • Marcado: cargas um pouco mais demoradas, mas com acesso aos objetos mais rápido e mais agilidade nas alterações do mesmo;
    • Desmarcado: cargas mais rápidas, mas com acesso um pouco mais lento aos objetos e pode ocorrer algumas lentidões nas alterações dependendo a dimensão usada;
  • Padronizar dados (botão selecionar): ele já vem marcado, podendo na próxima etapa definir essa padronização, se desmarca a etapa "padronização" não será oferecida.
Importante: na edição da estrutura, se optar em modificar a necessidade de marcar/desmarcar "Gerar formato BIG Table", é necessário clicar no botão "Habilitar edição de Estrutura". E finalizar os passos conforme descrito neste tópico, cuidado pois ao editar a estrutura e modificar este recurso, os agendamentos criados serão apagados ao finalizar a edição.


Na próxima tela "Padronização" se tiver marcado para padronizar os dados, você irá definir a forma que as descrições vão aparecer, sendo os seguintes parâmetros:
  • Case
    • Maiúsculo: coloca a descrição com as palavras maiúsculas;
    • Minúsculo: coloca a descrição com as palavras minúsculas;
    • Capitalizar: coloca a descrição com as palavras com a primeira letra maiúscula e o resto minúsculo.
  • Acentuação
    • Manter acentuação: mantém as acentuações na descrição;
    • Remover acentuação: remover as acentuações na descrição. 
  • Trim: se marcar, ele remove espaços no início e no fim da descrição, se houver ;
  • Trim entre palavras: se marcar, remove os espaços entre as palavras na descrição, se houver.
https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/atualizando-os-dados-de-uma-estrutura-csv/padronizacao.png


Na próxima tela "Estrutura", iremos configurar os campos:
  • CHAVE: acima da listagem, no canto direito, sendo uma chave de controle para carga para verificar duplicidade e não removendo e inserindo a informação não importando a periodicidade da carga incremental;
  • Campo: o nome "real" do campo, para utilizar como referência em uma medida calculada ou qualquer outra coisa que fazer no MDX;
  • Nome Visualização: pode modificar esse campo até mesmo ao editar, podendo deixar espaços e letras maiúsculas tornando o nome da dimensão que irá ver;
  • Tipo de Dimensão:
    • Regular: tornado uma dimensão descritiva nos objetos;
    • Tempo: tornando uma dimensão de tempo nos objetos, podendo usar como filtro de periodicidade
    • Medida: tornando o valor nos objetos;
    • Geo referência: tornado a localização nos objetos Mapas;
    • Somente filtro: tornado o filtro para ordenar sobre uma dimensão (bastante útil nas DREs, balanço patrimonial e fluxo de caixa).
  • Todos: se desmarcar, ao selecionar a dimensão, ela já vem listada e não agrupada. CUIDADO: isso pode demorar e/ou até travar o objeto ao acessa-lo dependendo a quantidade de informação da origem;
  • Ordenação: se escolheu algum "Tipo de Dimensão" como "Somente filtro", nas outras informações apresentadas, pode utiliza-la como referência para ordenar;
  • Operação: somente quando for medida
    • SOMA: somando as medida de acordo como for apresentado nos objetos;
    • CONTAGEM: tornado como uma contagem a medida e nesta contagem é somada de acordo como for apresentado nos objetos;
    • MÍNIMO: trazendo o valor mínimo sobre a informação apresentada nos objetos;
    • MÁXIMO: trazendo o valor máximo sobre a informação apresentada nos objetos;
    • MÉDIA: trazendo media do valor sobre a informação apresentada nos objetos;
    • CONTAGEM DISTINTA: Conta informações iguais, sendo uma informação única, não SOMANDO quando for apresentado nos objetos.
  • Máscara: (A máscara é a formatação do campo de informações) usada somente quando for medida
    • Padrão: tornado o valor como está trazendo (como veio)
    • Porcentual: tornando e/ou transformando o valor como percentual;
    • Moeda: tornando o valor como moeda. Exemplo: "22.20" fica "R$ 22,20"
    • Fixo: arredondando o valor mesmo que esteja com casa decimal para um valor inteiro. Exemplo: 22,2 fica 22 ou 22,7 fica 23 (regra do 5 quando menor que 5 arredonda pra baixo 6 pra cima arredonda para cima);
    • Hora: tornando um valor ou uma informação do tipo hora, com casas decimais.
https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/atualizando-os-dados-de-uma-estrutura-csv/passo4.png


Na próxima tela de "Hierarquias" temos as hierarquias que pode ser criado. Ao clicar no botão "Criar dimensão hierárquica", abrirá uma tela.

https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/atualizando-os-dados-de-uma-estrutura-csv/passo5mini.png

O que é dimensões hierárquicas? Para que serve?

Em resumo ele define uma ordem de dimensões dentro de uma NOVA dimensão. 
Exemplo: temos a dimensão categoria (SAPATO, BOLSA, TÊNIS), temos a dimensão gênero (MASCULINO e FEMININO) e o produto (SAPATO BEBESSE, BOLSA LUZARRA E TÊNIS ADIDAS). Quando criar a dimensão, ordenado por GÊNERO, CATEGORIA e PRODUTOS. 

Ao expandir listará o GÊNERO, ao expandir GÊNERO listará as CATEGORIA, ao expandir CATEGORIA listará os produtos. Similar com o que tempos nas dimensões de tempo, mas você define a ordem por dimensões que escolher inserir. 

Essa tela, no lado esquerdo, escolha as dimensões que deseja como ordem de expansão.

https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/atualizando-os-dados-de-uma-estrutura-csv/hierarquia1.png

Essa tela, no lado direito clicando em "Nova hierarquia", abrirá uma tela. Nesta tela escolha a ordem e quantas dimensões deseja criar, exaltando que cada dimensão que criar pode escolher um ordem distinta.

https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/atualizando-os-dados-de-uma-estrutura-csv/hierarquia2.png

 
 
Na próxima tela será o resumo de todas as informações. Ao clicar em finalizar, será feito uma carga total trazendo todos os dados para o BIMachine referente a origem que você definiu.

https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/dados/como-se-cria-uma-estrutura-de-origem-sql/passo6.png



Permissões

Observe o ícone em forma de cadeado, nele você pode definir as permissões da estrutura (usuários que poderão ou não acessar os dados dela).

https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/dados/atualizando-os-dados-de-uma-estrutura-csv/sql_permissoes.png


Atualizar Dados

Para atualizar os dados na origem CSV clique no ícone da "nuvem" da origem.


Abrirá a janela de configuração da carga:

Na aba "Carga de dados" você define o tipo de carga para efetuar. Existe 3 tipos de cargas:
  • Carga Total: limpa os dados existentes colocando-os novamente de acordo com o que o SQL carrega;
  • Carga Incremental: insere novos dados mantendo os dados existentes (Observação: para usar esta opção é recomendado definir uma chave primaria quando se esta criando/editando a estrutura);
  • Carga Geo Referência: atualiza os endereços dos campos de Geo Referência.
Você também informa as configurações do(s) arquivo(s) atualizado(s). O(s) arquivo(s) selecionados devem ter a mesma estrutura do arquivo usado na criação da estrutura.
  • Mesmo número de coluna(s);
  • Mesmo formato de dados. Exemplo: coluna 1 formato "numérico", coluna 2 formato é "data".

Para a carga você pode inserir mais de um arquivo, mas restringido de no máximo 50Mb por arquivo.

https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/atualizando-os-dados-de-uma-estrutura-csv/cargacsv.png


Na aba "Ajuste de dados" você terá a opção de remover dados mais antigos, no "campo de tempo" você pode usar como base Data de carga de dados ou Período, e remover dados da semana passada, mês passado, etc (por exemplo).

https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/atualizando-os-dados-de-uma-estrutura-csv/cargacsvajuste.png

Estando tudo certo, clique me "Executar Carga" e finalmente pronto.