Modelo de descrição do trabalho de engenheiro de Big Data
Queremos contratar um engenheiro de Big Data talentoso para desenvolver e gerenciar as soluções de Big Data de nossa empresa. Nesta função, você deverá projetar e implementar ferramentas e estruturas de Big Data, implementar processos ELT, colaborar com equipes de desenvolvimento, construir plataformas em nuvem e manter o sistema de produção.
Para garantir o sucesso como um engenheiro de big data, você deve ter conhecimento profundo das tecnologias Hadoop, excelentes habilidades de gerenciamento de projeto e habilidades de alto nível para resolução de problemas. Um engenheiro de Big Data de primeira linha entende as necessidades da empresa e institui soluções de dados escalonáveis para suas necessidades atuais e futuras.
Responsabilidades do engenheiro de Big Data:
- Reunião com gestores para determinar as necessidades de Big Data da empresa.
- Desenvolvendo sistemas Hadoop.
- Carregar conjuntos de dados díspares e realizar serviços de pré-processamento usando Hive ou Pig.
- Finalizando o escopo do sistema e entregando soluções de Big Data.
- Gerenciar as comunicações entre o sistema interno e o fornecedor da pesquisa.
- Colaborar com as equipes de pesquisa e desenvolvimento de software.
- Construção de plataformas em nuvem para o desenvolvimento de aplicativos da empresa.
- Manutenção de sistemas de produção.
- Treinamento de equipe em gerenciamento de recursos de dados.
Requisitos do engenheiro de Big Data:
- Bacharel em Engenharia da Computação ou Ciência da Computação.
- Experiência anterior como engenheiro de big data.
- Conhecimento profundo de Hadoop, Spark e estruturas semelhantes.
- Conhecimento de linguagens de script, incluindo Java, C ++, Linux, Ruby, PHP, Python e R.
- Conhecimento de bancos de dados NoSQL e RDBMS, incluindo Redis e MongoDB.
- Familiaridade com ferramentas Mesos, AWS e Docker.
- Excelentes habilidades de gerenciamento de projetos.
- Boa capacidade de comunicação.
- Capacidade de resolver problemas complexos de rede, dados e software.
