JobMatch
← Back to jobs

Databricks Data Engineer | Senior

Compass UOL

RemoteBrazilseniorFull Time
Posted
today
Source
Himalayas
Field
Engineering, Data & Analytics

Skills

PostgreSQLMongoDBAirflowNoSQLCI/CDSparkUnitySQLAWSdbtGit

Description

. - Atuação na construção, migração e evolução de soluções de Engenharia de Dados em ambientes Databricks; - Desenvolvimento e manutenção de pipelines de dados escaláveis, confiáveis e performáticos; - Implementação de processos de ingestão, transformação e disponibilização de dados utilizando Spark e PySpark; - Atuação em arquiteturas Data Lake e Data Lakehouse, com implementação do modelo Medallion (Bronze, Silver e Gold); - Interpretação de regras de negócio e tradução em processos e soluções de dados; - Participação em projetos de migração e modernização de plataformas de dados; - Garantia de qualidade, performance, monitoramento e confiabilidade dos pipelines. - Domínio de PySpark, Apache Spark e SQL; - Experiência com Delta Lake, Delta Tables, Unity Catalog e Lakeflow Declarative Pipelines; - Conhecimento em Lakeflow Connect para ingestão de dados; - Experiência com Jobs, Workflows, orquestração e monitoramento de pipelines; - Vivência com arquitetura Lakehouse e modelo Medallion (Bronze, Silver e Gold); - Experiência com migração de plataformas ou desenvolvimento de projetos em Databricks; - Conhecimento de Git, CI/CD e boas práticas de desenvolvimento e deploy; - Conhecimento de ferramentas e tecnologias como Airflow, Kafka, dbt, AWS Glue e BigQuery; - Experiência com bancos SQL/NoSQL, como PostgreSQL, MongoDB ou Cassandra. - Diferencial: Experiência em projetos contábeis e financeiros, certificação Databricks Certified Data Engineer Associate. Originally posted on Himalayas

JobMatch aggregates public listings. Always apply through the original posting.

Databricks Data Engineer | Senior at Compass UOL · JobMatch