19-08-2020
Big Data System Engineer
Problemas complexos exigem a experiência certa! Um dos maiores desafios da atualidade é o correto armazenamento e processamento de dados tendo em consideração estes três domínios (3Vs): Volume, Velocidade e Variedade.
Na Xpand IT, a área tecnológica de Big Data desenvolve e implementa arquiteturas e soluções de software que tratam da captura, ingestão, armazenamento e gestão de dados críticos de grandes clusters de informação onde os 3Vs estão sempre presentes. Tiramos partido de um conjunto de frameworks avançadas como Spark, Kafka, Hive/Impala, Azure Data Services ou MongoDB usando Java e Scala como linguagens de programação para interagir com estas frameworks.
Quais as principais responsabilidades?
Enquanto Big Data System Engineer terás um papel fundamental em várias fases da adoção de plataforma de Big Data, participando na análise, definição e sizing de sistemas de armazenamento e/ou computação distribuídos, setup, upgrade, securização e tuning. Para estes sistemas críticos, é crucial um foco especial no desempenho e segurança, bem como na implementação das melhores práticas de desenvolvimento de serviços para servirem de base para ferramentas de monitorização. Vais trabalhar em estreita colaboração com as equipas de desenvolvimento no desenho, desenvolvimento e instalação das soluções aplicacionais, processamento e armazenamento de dados em grande escala.
Diariamente serás responsável por:
- Fazer Setup / upgrade / securização / tuning de plataformas de Big Data em larga escala em ambientes críticos
- Implementar regras e políticas de segurança em plataformas de Big Data
- Recomendar e atualizar periodicamente as plataformas de Big Data (hot fixes, patches, etc.)
- Configurar boas práticas para monitorização da infraestrutura dos clusters Big Data
- Analisar requisitos de hardware e software para cada projeto a ser implementado
- Projetar e desenvolver novos processos para melhor estabilidade e manutenção de performance dos ambientes
- Participar e ajudar a resolver problemas de desempenho, escalabilidade e segurança
// Stacks: Cloudera, Confluent, Azure Data Services, MongoDB; Kerberos ou Windows Active Directory
Que Skills precisas de ter?
- Licenciatura e/ou Mestrado em Informática e Computadores, Sistemas de Informação ou Ciência da Computação
- Bons conhecimentos de sistemas operativos Linux serão valorizados
- Bons conhecimentos de shell scripting serão valorizados
- Conhecimentos sobre os objetivos e terminologia de sistemas distribuídos de alta disponibilidade
- Curiosidade pelas tecnologias de Big Data (stack Hadoop, Kafka e MongoDB)
- Boa capacidade de comunicação e facilidade em trabalhar em equipa, com foco na resolução de problemas complexos
- Inglês fluente (escrito e falado)
// Pontos extra para:
- Conhecimentos práticos de frameworks como Spark, Hive ou Apache Hadoop
- Curiosidade sobre as tecnologias Big Data: Hadoop, Kakfa e MongoDB
// Sabe mais sobre a área de Big Data:
Pedro Martins, Big Data System Engineer
@Xpand IT
Enquanto Big Data System Engineer todos os dias são desafiantes: entre deployments de clusters de raiz, optimização e configuração de serviços em sistemas distribuídos, é necessário mantermos um leque de conhecimento vasto sobre os vários serviços que compõem o ecossistema bem como lidar com vários contextos distintos.
