22-03-2023
Constrói uma solução Azure Analytics do zero
por Rodrigo Silva, Data Analytics Engineer @ Xpand IT
A importância dos dados nos negócios, serviços e indústrias deixou de ser o tema do futuro – já está no presente. O mercado tecnológico tem estado a desenvolver e a apostar na área de Analytics para que os seus clientes tomem decisões mais conscientes e eficazes. É a partir dos dados, sobretudo com aqueles com maior qualidade de tratamento, que se dão passos sustentados rumo aos objetivos traçados.
Este trabalho passa pelos consultants e engineers das áreas dos dados, que contam com diversas soluções para as necessidades dos clientes. Uma delas é o Azure Data Factory, criado pela Microsoft com a promessa de revolucionar o futuro dos analytics. O Azure Data Factory permite integrar, ingerir, preparar e transformar dados em escala e sem servidor, permite criar facilmente processos de ETL e ELT “code-free” num ambiente visual, intuitivo e especialmente em cloud. As equipas de Business Intelligence da Xpand IT exploraram este tema e tecnologia na DEV Talks, Data Edition, num webinar com uma demonstração real de desenvolvimento de solução de Analytics Azure do zero.
Qual o propósito de Azure Data Factory?
O Azure Data Factory é um serviço cloud-base de integração de dados desenvolvido pela Microsoft. Isto permite criar e gerir pieplines movimentam e transformam dados de várias fontes (até mais de 90 data sources diferentes) para vários destinos, seja em cloud ou em armazenamento local.
A questão que se coloca entre as comunidades de data & analytics é se o Azure Data Factory vai ser um substituto de SSIS (Server Integration Services), que opera num âmbito local. A resposta não é totalmente definitiva. Nesta altura de desenvolvimento, uma das principais vantagens do Azure Data Factory é que não há preocupação com a criação e desenvolvimento de infraestruturas de integração de dados – ou seja, há um maior foco na configuração da solução em cloud. Mesmo para projetos que ainda funcionem com SSSIS packages, a Microsoft já permite que faça rehost dos mesmos com o Azure Data Factory – para que tudo o que precisamos seja migrado para a cloud.
Assim, será o Azure Data Factory um serviço que trabalha em Big Data? Sim, porque tem suporte para a grande maioria dos tipos de dados e integrá-los, independentemente da origem. Os dados podem ser contextualizados nas várias aplicações do ambiente Azure – e aí que entra o poder deste serviço no contexto de Analytics, isto é: a disciplina de análise e visualização de dados como pode ser visto na demo deste webinar.
Azure Data Factory é uma plataforma…
- Low code? Parcialmente. Para soluções mais complexas será necessário ter conhecimentos de codificação e/ou programação
- Para todos os níveis de skill? Como podes ler no ponto anterior, depende sempre do nível de conhecimento que cada um tem. Convém ter conhecimentos de coding porque projetos desafiantes podem aparecer a qualquer momento
- Para todos os tipos de integração? Sim! Pela nossa experiência em equipa, ainda não encontrámos um projeto/solução em que algo não seja possível integrar
Conclusão
O grande foco da Microsoft em trabalhar dados de diferentes origens é com o objetivo de não existir impossíveis ao nível de integração e, por sua vez, na criação de negócios mais inteligentes. A existência destas soluções está pensada para as indústrias tomarem melhores decisões, com o suporte dos dados.
Desenvolver e integrar dados com o Azure Data Factory permite trabalhar:
- Pipelines: conjuntos/agrupamentos lógicos que visam trabalhar os dados da forma necessária para análise
- Ligação a Datasets (referência à estrutura de dados – que pode ser um ficheiro, pasta ou tabela) e a Linked Services (camada de tecnologia onde se encontram os dados)
Quando comparado com o SSIS, o Azure Data Factory deixa um developer mais à vontade com o ambiente de desenvolvimento – está preparado para mudanças de projetos/clientes pois não é necessário reinstalar drivers, o que evita falhas de funcionamento. Contudo, há uma curva de aprendizagem em aprender a trabalhar em ambiente Azure – a Microsoft tem imenso material disponível para ser estudado, conta com diversas certificações para serem obtidas, fomentando a investigação e obtenção de skills.
Do ponto de vista empresarial e negocial, o time to market de desenvolvimento e deployment é mais interessante para os clientes porque otimiza custos, há possibilidades de expansão e elasticidade do serviço.
Se pretendes saber mais sobre o potencial do Azure Data Factory no contexto de trabalho das nossas equipas de Business Intelligence & Analytics, vê a nossa demo neste webinar. Poderás aprender como integrar este serviço com o Power BI (também do ambiente Microsoft), que potencia a análise e visualização de dados de uma personalizada e otimizada.
Leave a comment