Contact Us
Big Data CloudOps Engineer

Big Data

CloudOps Engineer

Be an Xpander

Big Data CloudOps Engineer

Problemas complexos exigem a experiência certa! Um dos maiores desafios da atualidade é o correto armazenamento e processamento de dados tendo em consideração estes três domínios (3Vs): Volume, Velocidade e Variedade.

Na Xpand IT, a área tecnológica de Big Data desenvolve e implementa arquiteturas e soluções de software que tratam da captura, ingestão, armazenamento e gestão de dados críticos de grandes clusters de informação onde os 3Vs estão sempre presentes. Tiramos partido de um conjunto de frameworks avançadas como Spark, Kafka, Hive/Impala, Azure Data Services ou MongoDB  usando  Java Scala  como linguagens de programação para interagir com estas frameworks.

Quais as principais responsabilidades?

Enquanto Big Data CloudOps Engineer, terás um papel fundamental em várias fases da adoção de plataforma de Big Data em contexto Cloud (Azure ou AWS), participando na  análise, definição e sizing de sistemas de armazenamento e/ou computação distribuídos, setup, upgrade, securização e tuning.

Para estes sistemas críticos, é crucial um foco especial no desempenho e segurança, bem como na implementação das melhores práticas de desenvolvimento de serviços para servirem de base para ferramentas de monitorização. Irás trabalhar em estreita colaboração com as equipas de desenvolvimento no desenho, desenvolvimento e instalação das soluções aplicacionais, processamento e armazenamento de dados em grande escala.

Diariamente serás responsável por: 

  • Fazer o Setup / upgrade / securização / tuning de plataformas em larga escala em ambientes críticos, efémeros e/ou auto-escaláveis sobre um Cloud provider
  • Implementar regras e políticas de segurança em plataformas Cloud
  • Recomendar e atualizar  periodicamente as melhores práticas de utilização dos serviços Cloud
  • Configurar boas práticas para  monitorização da infraestrutura
  • Analisar requisitos de dimensionamento e serviços ideais para cada projeto a ser implementado
  • Projetar e desenvolver novos processos  para melhor estabilidade e manutenção de performance dos ambientes
  • Desenvolver processos de integração ou automação de deployments em Cloud. Podendo recorrer a ambientes containerizados sobre Kubernetes
  • Participar e ajudar a resolver problemas de desempenho, escalabilidade e segurança

// Stacks: Cloudera, Confluent, Azure Data Services, MongoDB, Kerberos ou Windows Active Directory

Platform Engineer Spark
Oportunidades de Emprego Xpand IT
Platform Engineer Confluent
Carreira em IT Microsoft Data and Analytics Consultant Azure
Oportunidade Emprego Platform Engineer Cloudera
Oportunidade Emprego Microsoft Data and Analytics Consultant databricks
Que Skills precisas de ter?
  • Licenciatura e/ou Mestrado em Informática e Computadores, Sistemas de Informação ou Ciência da Computação
  • Bons Conhecimentos de  sistemas operativos Linux  são valorizados
  • Bons conhecimentos de  shell scripting são valorizados
  • Conhecimentos sobre os objetivos e terminologia de  sistemas distribuídos de alta disponibilidade  são valorizados.
  • Gosto por trabalho em equipa e pela  resolução de problemas complexos
  • Boa capacidade de comunicação (escrita e falada)
  • Inglês fluente (escrito e falado)

// Pontos extra para: 

  • Conhecimento prático de frameworks como Spark, Hive ou Apache Hadoop
  • Conhecimento prático sobre ferramentas de automação como Ansible, Terraform ou CloudFormation
  • Curiosidade sobre tecnologias Big Data tais como Hadoop, Kafka, MongoDB
  • Curiosidade sobre Kubernetes e os diversos flavours existentes Openshift, Rancher, AKS or EKS
  • Curiosidade sobre os serviços Cloud que constituem o Azure Big Data Stack ou o AWS Big Data Stack, como Databricks, Azure Synapse ou Amazon S3

// Sabe mais sobre a área de Big Data:

Linux
30
100
Shell scripting
30
100

Candidata-te aqui

Platform Engineer
Pedro Martins, Big Data System Engineer
@Xpand IT

Enquanto Big Data System Engineer todos os dias são desafiantes: entre deployments de clusters de raiz, optimização e configuração de serviços em sistemas distribuídos, é necessário mantermos um leque de conhecimento vasto sobre os vários serviços que compõem o ecossistema bem como lidar com vários contextos distintos.