23-07-2021
Platform Engineer
Problemas complexos exigem a experiência certa! Um dos maiores desafios da atualidade é o correto armazenamento e processamento de dados tendo em consideração estes três domínios (3Vs): Volume, Velocidade e Variedade.
Na Xpand IT, a área tecnológica de Big Data desenvolve e implementa arquiteturas e soluções de software que tratam da captura, ingestão, armazenamento e gestão de dados críticos de grandes clusters de informação onde os 3Vs estão sempre presentes. Tiramos partido de um conjunto de frameworks avançadas como Spark, Kafka, Hive/Impala, Azure Data Services ou MongoDB usando Java e Scala como linguagens de programação para interagir com estas frameworks.
Quais as principais responsabilidades?
Enquanto Platform Engineer, terás um papel fundamental nas várias fases de adoção de plataformas de dados de grande escala em contextos on-prem ou Cloud (Azure, AWS, GCP) e participar na análise, definição e sizing, setup, upgrade, securização e tuning dessas plataformas. Para estes sistemas, um foco especial em desempenho e segurança é fundamental bem como a implementação das melhores práticas de desenvolvimento de serviços para servirem de base para ferramentas de monitorização.
Vais trabalhar em estreita colaboração com as equipas de desenvolvimento no desenho , desenvolvimento e instalação das soluções aplicacionais, processamento e armazenamento de dados em grande escala.
Diariamente serás responsável por:
- Fazer o Setup / upgrade / securização / tuning de plataformas em larga escala em ambientes críticos, efémeros e/ou com escalonamento automático, tanto on-prem como em Cloud providers
- Implementar regras e políticas de segurança
- Recomendar e atualizar periodicamente as plataformas de Big Data (hot fixes, patches, etc.)
- Configurar boas práticas para monitorização da infraestrutura
- Analisar requisitos de hardware e software para cada projeto a ser implementado
- Projetar e desenvolver novos processos para garantir a estabilidade e manutenção de performance dos ambientes
- Desenvolver processos de integração ou automação para implantações em Cloud. Ser capaz de recorrer a ambientes containerizados em Kubernetes
- Participar e ajudar a resolver problemas de desempenho, escalabilidade e segurança
// Stacks: Cloudera, Confluent, Azure Data Services, MongoDB, Kerberos ou Windows Active Directory
Que Skills precisas de ter?
- Licenciatura e/ou Mestrado em Informática e Computadores, Sistemas de Informação ou Ciência da Computação
- Bons Conhecimentos de sistemas operativos Linux são valorizados
- Bons conhecimentos de shell scripting são valorizados
- Conhecimentos sobre os objetivos e terminologia de sistemas distribuídos de alta disponibilidade são valorizados
- Gosto por trabalho em equipa e pela resolução de problemas complexos
- Boa capacidade de comunicação (escrita e falada)
- Inglês fluente (escrito e falado)
// Pontos extra para:
- Experiência prática na configuração de plataformas de dados de grande escala
- Experiência prática com Cloud Providers
- Curiosidade sobre tecnologias Big Data tais como Spark, Kafka, MongoDB
- Experiência prática com automation tools como Ansible, Terraform ou CloudFormation
- Experiência em Kubernetes e nos vários flavors existentes como Openshift, Rancher, AKS ou EKS
// Sabe mais sobre a área de Big Data:
Pedro Martins, Platform Engineer
@Xpand IT
Enquanto Platform Engineer todos os dias são desafiantes: entre deployments de clusters de raiz, optimização e configuração de serviços em sistemas distribuídos, é necessário mantermos um leque de conhecimento vasto sobre os vários serviços que compõem o ecossistema bem como lidar com vários contextos distintos.
