Java Backend Developer para Big Data
Um dos maiores desafios da atualidade é o correto armazenamento e processamento de dados tendo em consideração estes três domínios (3Vs): Volume, Velocidade e Variedade.
Na Xpand IT, a área tecnológica de Big Data desenvolve e implementa arquiteturas e soluções de software que tratam da captura, ingestão, armazenamento e gestão de dados críticos de grandes clusters de informação onde os 3Vs estão sempre presentes. Tiramos partido de um conjunto de frameworks avançadas como Spark, Kafka, Hive/Impala, Azure Data Services ou MongoDB usando Java e Scala como linguagens de programação para interagir com estas frameworks.
Quais as principais responsabilidades?
Enquanto Java Backend Developer para Big Data vais ter um papel essencial juntamente com os Big Data System Engineers para em conjunto desenvolverem soluções de software, aplicando as melhores práticas em termos de desenho e arquitetura de sistemas distribuídos de grande escala.
Diariamente serás responsável por:
- Implementar soluções de software em que é fulcral a performance do carregamento, pré-processamento e ingestão de grandes volumes de dados em clusters Big Data
- Desenhar e desenvolver soluções de software robustas e escaláveis, independentemente da quantidade de dados a processar
- Implementar boas práticas e padrões de desenho das soluções Big Data no software produzido
- Analisar problemas complexos que necessitam de soluções eficientes para manipular grandes quantidades de informação
- Desenvolver modelos e organização de estruturas de dados que otimizem as operações de “pesquisa” e “armazenamento” em sistemas distribuídos de grande escala
- Desenhar e desenvolver de APIs de comunicação entre os sistemas de backend Big Data e sistemas externos através de protocolos de comunicação standard
// Stacks tecnológicas: Java; Scala; HDFS, Hive, Impala, Spark, Kafka/Confluent; MongoDB, Cassandra, HBase
Que Skills precisas de ter?
- Licenciatura e/ou Mestrado em Informática e Computadores, Sistemas de Informação ou Ciência da Computação.
- Fortes conhecimentos de sistemas operativos Linux.
- Experiência com tecnologias baseada em Java (JBoss, Spring, Spring MVC, Hibernate)
- Experiência na definição de interfaces de comunicação utilizando standards (XML, JSON, SOAP)
- Experiência na implementação de padrões de desenho em soluções de software avançadas (mutli-threaded, multi-process, multi-cloud).
- Experiência em bases de dados relacionais e não relacionais (SQL, MySQL, NoSQL, Hadoop, MongoDB)
- Elevada experiência no uso de ferramentas Eclipse, Maven, Jenkins, GIT, JIRA ou equivalentes
- Boa capacidade de comunicação e facilidade em trabalhar em equipa, com foco na resolução de problemas complexos
- Fluente em Inglês (escrito e falado)
// Pontos extra para:
- Conhecimento ou experiência na utilização de frameworks como Apache Spark, Kafka ou o ecossistema Hadoop
// Sabe mais sobre a área de Big Data
Guilherme Andrade, Big Data Software Engineer
@Xpand IT
Ser Big Data Software Engineer na Xpand IT significa responder às necessidades atuais de fluxos de dados. Pensamos e concretizamos soluções tecnológicas escaláveis, usando as melhores ferramentas do momento. É fascinante estar numa área em evolução vertiginosa, ser desafiado a trabalhar com novas tecnologias e poder partilhar essa experiência com uma equipa altamente competente.
