Big Data Software Engineer
Problemas complexos exigem a experiência certa! Um dos maiores desafios da atualidade é o correto armazenamento e processamento de dados tendo em consideração estes três domínios (3Vs): Volume, Velocidade e Variedade.
Na Xpand IT, a área tecnológica de Big Data desenvolve e implementa arquiteturas e soluções de software que tratam da captura, ingestão, armazenamento e gestão de dados críticos de grandes clusters de informação onde os 3Vs estão sempre presentes. Tiramos partido de um conjunto de frameworks avançadas como Spark, Kafka, Hive/Impala, Azure Data Services ou MongoDB usando Java e Scala como linguagens de programação para interagir com estas frameworks.
Quais as principais responsabilidades?
Enquanto Big Data Software Engineer vais ter um papel essencial juntamente com os Big Data System Engineers para em conjunto desenvolverem soluções de software, aplicando as melhores práticas em termos de desenho e arquitetura de sistemas distribuídos de grande escala. Será tua responsabildade também garantir o desempenho e a escalabilidade do software que interage com os sistemas backend Big Data, contribuindo para a manutenção da performance geral do sistema.
Diariamente serás responsável por:
- Implementar soluções de software em que é fulcral a performance do carregamento, pré-processamento e ingestão de grandes volumes de dados em clusters Big Data
- Desenhar e desenvolver soluções de software robustas e escaláveis, independentemente da quantidade de dados a processar
- Implementar boas práticas e padrões de desenho das soluções Big Data no software produzido
- Analisar problemas complexos que necessitam de soluções eficientes para manipular grandes quantidades de informação.
- Desenvolver modelos e organização de estruturas de dados que otimizem as operações de “pesquisa” e “armazenamento” em sistemas distribuídos de grande escala
- Desenhar e desenvolver de APIs de comunicação entre os sistemas de backend Big Data e sistemas externos através de protocolos de comunicação standard
// Stacks tecnológicas: Java; Scala; HDFS, Hive, Impala, Spark, Kafka/Confluent; MongoDB, Cassandra, HBase
Que Skills precisas de ter?
- Licenciatura e/ou Mestrado em Informática e Computadores, Sistemas de Informação ou Ciência da Computação.
- Fortes conhecimentos de sistemas operativos Linux
- Experiência com tecnologias baseada em Java (JBoss, Spring, Spring MVC, Hibernate)
- Experiência na definição de interfaces de comunicação utilizando standards (XML, JSON, SOAP)
- Experiência na implementação de padrões de desenho em soluções de software avançadas (mutli-threaded, multi-process, multi-cloud).
- Experiência em bases de dados relacionais e não relacionais (SQL, MySQL, NoSQL, Hadoop, MongoDB)
- Elevada experiência no uso de ferramentas Eclipse, Maven, Jenkins, GIT, JIRA ou equivalentes
- Boa capacidade de comunicação e facilidade em trabalhar em equipa, com foco na resolução de problemas complexos
- Fluente em Inglês (escrito e falado)
// Pontos extra para:
- Conhecimento ou experiência na utilização de frameworks como Apache Spark, Kafka ou o ecossistema Hadoop
// Sabe mais sobre a área de Big Data
André Pires, Big Data Software Engineer
@Xpand IT
Na Xpand IT enquanto Big Data Software Engineer sou desafiado todos os dias a criar sistemas de processamento de dados escaláveis e robustos que são a base para tomar decisões data-driven
