
Modernização de uma plataforma de ingestão de dados de viajantes com computação em nuvem avançada
Sobre a Empresa
Uma empresa líder em serviços de saúde e segurança que fornece soluções multiculturais de saúde, segurança e logística de mais de 1.000 locais em +80 países.
Desafio
Em sua jornada para desenvolver ainda mais produtos e serviços competitivos, a empresa queria projetar e construir uma capacidade moderna de ingestão de dados e remodelar suas plataformas legadas de transformação e carregamento de extrato, armazenamento de dados e consumo de dados. Um objetivo principal era implementar um motor de decisão, consolidando e agilizando ferramentas, processos e operações de ingestão de conteúdo, ao mesmo tempo em que ajudava a garantir a integridade e a qualidade dos dados. Os dados do cliente foram coletados usando múltiplos protocolos de entrada e ingeridos em um lago de dados empresarial nativo da nuvem. A empresa estava procurando projetar e integrar interfaces de programação de aplicações (APIs) de alto desempenho para a ingestão e consumo de ferramentas de análise e visualização, integrações de terceiros e aplicação web/móvel. Os principais aplicativos existentes incluíram aplicativos de gerenciamento de viajantes, um provedor de usuário personalizado para um sistema de login único (SSO) e uma plataforma baseada em API exposta para consumo.
Requisitos básicos:
- Fornecer mecanismos seguros de upload de dados para usuários finais usando um recurso de SSO
- Fornecer um mecanismo de criptografia multicamada seguro para que os clientes façam o upload de dados
- Implementar um mecanismo configurável baseado em regras para o padrão de ingestão de dados
- Processar diversos formatos de arquivo e estruturas de registro em diferentes tipos e tamanhos de dados
- Habilite a disponibilidade de dados para o consumo de aplicação existente com esforço mínimo
- Serve como uma plataforma empresarial e uma única fonte para o banco de dados de funcionários em toda a organização
- Ganhe escalabilidade para novos clientes e iniciativas planejadas pela organização durante e além da pandemia
- Habilite a disponibilidade de dados 24/7/365 com conformidade de privacidade e segurança
O que fazemos
- Serviço de banco de dados DynamoDB do Amazon Web Services (AWS)
- Migração de dados do AWS Lambda
- Arquitetura de dados e modelo de governança
- Mecanismo de entrada de dados
- Pipeline de ingestão de dados sem servidor
- Lago de dados corporativos
Solução
A empresa estava preparada para adotar a nuvem pública pela primeira vez com a ajuda dos especialistas da Unisys em soluções de nuvem, aplicação e infraestrutura. A AWS foi a plataforma de ingestão de dados recomendada por sua flexibilidade, confiabilidade e escalabilidade.
A arquitetura da solução fornecida foi categorizada nas seguintes seções:
- Integração e integração do cliente com SSO — API Gateway, AWS DynamoDB, Lambda
- Mecanismo de entrada: API Segura, Protocolo de Transferência Segura de Arquivos (SFTP), Lambda, DynamoDB
- Pipeline de ingestão de dados sem servidor: Lambda, DynamoDB, cola
- Memória de dados: Pesquisa elástica, lago de dados nativo da nuvem e consumo de banco de dados de aplicação
O AWS Lambda foi usado para construir amplamente vários subsistemas críticos da plataforma de ingestão de dados da empresa. As tecnologias sem servidor totalmente gerenciadas ofereceram capacidades inovadoras para requisitos não funcionais e permitiram que as equipes de engenharia da empresa aumentassem o foco em problemas de negócios urgentes.
O AWS DynamoDB foi aproveitado como um serviço de banco de dados multirregião altamente escalável, de alto desempenho, disponível e facilmente restaurável para múltiplas partes críticas da plataforma de ingestão de dados da empresa. Nossa equipe forneceu serviços de ciclo de vida de desenvolvimento de software, incluindo atividades de arquitetura, design, desenvolvimento, teste e implantação. Outros serviços incluem:
- Projetada e configurada uma infraestrutura multirregional (norte-este dos EUA e França) e de zona de multidisponibilidade para ajudar a garantir a segurança, disponibilidade e conformidade com o Regulamento Geral de Proteção de Dados (GDPR)
- Projetado e entregue um sistema de autorizador personalizado baseado no AWS Lambda para o serviço SFTP gerenciado do AWS para fornecer capacidade de transferência segura de arquivos; o autorizador personalizado pode ser integrado a um banco de dados de cliente SSO presente no Okta
- Forneceu um AWS API Gateway apoiado pelo AWS Lambda para criar APIs de Transferência de Estado Representativo (REST) necessárias para a solução; APIs REST seguras e escaláveis foram fornecidas para realizar várias atividades, incluindo integração e verificação de clientes
- Usou o AWS Lambda e o AWS Glue para criar capacidades de ingestão de dados no banco de dados do AWS Relational Database Service (RDS) e avaliou o proxy RDS
- Usou o AWS Lambda para adicionar segurança adicional no nível de aplicação com um mecanismo robusto de chave pública-privada e um sistema de decodificação no local dentro do mecanismo do canal de dados
- No centro da plataforma de ingestão de dados está uma máquina de estado complexa baseada em regras de negócios que estão mudando continuamente; a Unisys implementou um motor de regras de negócios complexo, assíncrono e configurável de várias etapas cuidadosamente orquestrado usando vários AWS Lambdas
- Forneceu um banco de dados de aplicação escalável e confiável para ser consumido por aplicações existentes através de plataformas de API migrando o servidor de linguagem de consulta estruturada legado
Consequência
Com a nova arquitetura, o cliente adotou a nuvem AWS, estabeleceu zonas de aterrissagem na nuvem multirregionais e desenvolveu e produziu uma solução para funcionários e clientes em menos de quatro meses.
98%
melhoria na qualidade dos dados ingeridos
45
milhões de pontos de dados de funcionários ingeridos para a integração de 4.500 clientes empresariais
HIPAA
conformidade para arquitetura e design
100%
conformidade com os requisitos de privacidade, segurança e conformidade de dados
Benefícios para a empresa
- Estabeleceu uma base de transformação digital nativa da nuvem para a empresa usando tecnologias sem servidor gerenciadas inovadoras
- Novas regras rapidamente introduzidas com base nas demandas do negócio por meio de um motor de regras de negócios modular
- Disponibilidade global 24/7/365 ativada pelas necessidades de conformidade geográfica, incluindo o GDPR, com backup automático
Especificações Técnicas
- Ativado múltiplas capacidades de ingestão de dados paralelas e protocolos de entrada com alta disponibilidade
- Implantação bem-sucedida de um banco de dados personalizado para integração e autenticação de clientes através do Okta para atender a aplicação
- Ferramentas, processos e operações de ingestão de conteúdo consolidados e simplificados
- Configurar mecanismo de criptografia multicamadas para clientes de alta segurança
- Integrado um mecanismo SFTP habilitado para SSO com o banco de dados Okta do cliente existente
- Forneceu a capacidade de projetar e integrar APIs de alto desempenho para ingestão e consumo
- Suporte geoespacial aprimorado através do PostgreSQL 11 e PostGIS