Engenharia de Dados AWS Sênior | Remota - 135667 (Alphaville - Barueri, BR, 06.4

O que buscamos: Profissional de nível Sênior que atue com (Dados/AWS). Responsabilidades: - Gerenciar schemas, backups, read replicas e parameter groups, além de desenvolver SQL eficiente. - Criar consultas em bancos SQL e NoSQL, definindo o paradigma adequado para cada necessidade. - Desenvolver Glue Jobs, configurar crawlers e executar Spark Jobs no EMR. - Criar transformações em Spark/PySpark para leitura e escrita em diversas fontes. - Criar e consultar tabelas Iceberg/Delta utilizando time travel e snapshots. - Otimizar consultas no Athena por meio de particionamento, formatos colunares e workgroups. - Administrar dados e permissões no Lake Formation. - Criar schemas, carregar dados (COPY), desenvolver consultas analíticas e administrar usuários no Redshift. - Desenvolver DAGs no Airflow, configurar connections e agendar workflows. - Implementar lineage, catalogação, classificação de dados, controles de acesso, validações de schema e versionamento. - Implementar clusters ElastiCache, cache-aside e TTLs. Requisitos Obrigatórios - Conhecimento em Redis e Memcached, conceitos de cache e critérios de utilização. - Experiência com bancos relacionais, RDS e paradigmas SQL e NoSQL. - Conhecimento de ETL, AWS Glue, EMR e processamento distribuído com Apache Spark. - Experiência com ACID em Data Lakes, formatos abertos, Athena, Lake Formation e governança de dados. - Conhecimento em Data Warehouse MPP e Redshift. - Familiaridade com Airflow, DAGs, linhagem de dados, rastreabilidade, segurança, compliance, Lakehouse e Data Contracts. Desejável: - Experiência em arquitetura e otimização de cache, connection pooling, failover Multi-AZ, performance tuning, IAM e criptografia. - Modelagem orientada a access patterns, estratégias de consistência e otimização de consultas. - Conhecimento avançado em Glue, EMR, Spark, Data Quality, schema evolution e formatos Iceberg, Delta e Hudi. - Experiência com Athena, Glue Catalog, Lake Formation, permissões granulares e compartilhamento cross-account. - Conhecimento avançado em Redshift, materialized views, workload management e data sharing. - Desenvolvimento de DAGs complexas, MWAA, operadores customizados, retries e observabilidade. - Experiência em governança de dados, lineage, metadados, métricas de qualidade, Data Contracts e schema registries. Descrição comportamental: Procuramos uma pessoa que: - Goste de trabalhar em equipe e seja colaborativa em suas atribuições; - Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento; - Transforme ideias em soluções criativas e busque qualidade em toda sua rotina; - Tenha habilidades de resolução de problemas; - Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo; - Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico. Big enough to deliver – small enough to care. #VempraGFT #VamosVoarJuntos #ProudToBeGFT Originally posted on Himalayas