SAP Data Services e SAP Datasphere: do ETL on-premise ao ELT cloud-first
Neste mundo competitivo onde os dados são o novo “ouro”, os vencedores são aqueles que a partir dos dados, conseguem extrair informação valiosa e por consequência conhecimento através dos mais diversos métodos como AI, Machine Learning ou Data Science.
Processos de ETL e ELT: centralizar dados on-premise e em cloud
O ETL trata da fase de transformação num servidor de processamento antes de colocar os dados no Data Warehouse
É nesta caminhada que surgiram, há volta de 40 anos, os processos de ETL (Extract, Transform and Load) que vigoram até ao dia de hoje e que visam de forma simplista agregar todos os dados de forma consistente e uniforme num local centralizado (Data Warehouse).
O ELT (Extract, Load and Transform) surge das necessidades correntes e está habitualmente associado aos novos ambientes Cloud. Esta troca de iniciais, embora pareça apenas uma troca de léxico, introduz um novo paradigma de carregamento de dados. O ETL trata da fase de transformação num servidor de processamento antes de colocar os dados no Data Warehouse. Por outro lado, do ponto de vista do ELT, os dados são carregados e transformados dentro do próprio Data Warehouse.
A solução SAP para a integração de dados, orientada para o mundo on-premises é o SAP Data Services. Solução madura, muito orientada ao processo de ETL tradicional e de reporting corporativo com a oferta do Business Objects (BO).
De acordo com a sua estratégia cloud-first, a SAP oferece desde há poucos anos o SAP Datasphere, originalmente batizado como SAP Datawarehouse Cloud, como nova solução totalmente implementada na Cloud dentro do SAP BTP, que para além da integração dos dados oferece através do SAP Analytics Cloud capacidade de reporting e dashboards dentro da mesma plataforma Cloud.
Tendência SAP: futuro e inovação com o SAP Datasphere
Excluindo cenários híbridos, que existem e com muito sucesso (ex: Data Services + Universos BO mas utilizando SAP Analytics Cloud a consumir estes), a estratégia SAP e a tendência de adoção global de ambientes Cloud por motivos mais que debatidos e justificados estão a encaminhar todos novos os clientes para o SAP Datasphere com SAP Analytics Cloud, sendo nesta combinação que de forma muito regular acontece a inovação com novas features lançadas com bastante regularidade.
A escolha entre ETL no SAP Data Services ou ELT no SAP Datasphere depende fundamentalmente da infraestrutura disponível (Cloud ou On-Premises) e da visão da companhia a médio-longo prazo.
O SAP Data Services, é ideal para organizações que possuam uma infraestrutura adequada, geralmente com SAP Business Objects também presente (para capacidades de reporting) e mantida in-house. Uma solução estável embora com atualizações regulares para a manutenção do suporte (SAP Data Services 2025 a caminho).
Por outro lado, o SAP Datasphere, é mais adequado para empresas com grandes volumes de dados, especialmente em ambientes de Big Data ou Cloud. A sua arquitetura na Cloud, onde os dados podem ser rapidamente carregados, transformados e apresentados bem como a presente inovação, com um ‘look & feel’ mais moderno e apelativo são os seus pontos fortes. Uma solução de futuro, cada mais solidificada e ainda com uma grande margem de progressão.