Conteúdo

• Implementando o Apache Hadoop
• Planejando o seu Cluster Hadoop
• Instalação do Hadoop e configuração inicial
• Instalação e configuração do Hive, Impala e Pig
• Ingestão dos Dados - Desenvolvendo as habilidades para transferir dados entre sistemas externos e seu cluster
• Importe e exporte dados entre um RDBMS externo e seu cluster, incluindo a capacidade de importar subconjuntos específicos, alterar o delimitador e o formato de arquivo de dados importados durante a ingestão e alterar o padrão ou privilégios de acesso a dados.
• Carregar dados para dentro e para fora do HDFS usando os comandos do Sistema de Arquivos Hadoop (FS).
• Análise de dados - Filtrar, ordenar, unir, agregar e/ou transformar um ou mais conjuntos de dados em um dado formato armazenado em HDFS para produzir uma resultado especificado. Todas essas tarefas podem incluir leitura de Parquet, Avro, JSON, texto delimitado e texto em linguagem natural. As consultas incluirão tipos de dados complexos (por exemplo, matriz, mapa, estrutura), a implementação de bibliotecas externas, dados particionados, dados compactados e exigirão o uso de metadados do Hive / HCatalog.
• Escrever uma consulta para agregar várias linhas de dados
• Escreva uma consulta para calcular estatísticas agregadas (por exemplo, média ou soma)
• Escrever uma consulta para filtrar dados
• Escrever uma consulta que produz dados classificados ou classificados
• Escrever uma consulta que une vários conjuntos de dados
• Ler e/ou criar uma tabela Hive ou HCatalog a partir de dados existentes em HDFS