Apache Iceberg + data versionRecently, I faced a quite interesting data challenge. As a data engineer, I am responsible for updating the data pipeline to be used by…Feb 15Feb 15
Airflow as ServiceCurrently I am working as a data engineer, and in my day by day, I use the Apache Airflow to create as many possible pipelines.Nov 12, 2022Nov 12, 2022
AWS Local + SQS e SNSAWS facilita nosso trabalho, pois podemos criar serviços que escalam, são rápidos e eficientes. Mas, as vezes usar somente a nuvem para…Aug 9, 2022Aug 9, 2022
Utilizando Airflow LocalNo meu dia a dia utilizando airflow, eu gosto de instalar alguns pacotes específicos do python, como libs oracle, libs mssqlserver e algo…Jun 30, 2022Jun 30, 2022
Jupyter-notebook FacilidadesImportante variáveis de ambiente e libs Python, ao se inicializar um notebookApr 22, 2021Apr 22, 2021
Starbucks Capstone ChallengeThis project is a part of Udacity Data Science NanodegreeApr 3, 2021Apr 3, 2021
Airflow e Dags com DockerAtualmente o time de engenharia de dados em que atuo, consegue atuar em pipelines de dados com um ótimo desempenho, pois, nosso ambiente…Jan 18, 2021Jan 18, 2021
Categorial Data TipsWhenever I have to analyze a dataframe, and I come across categorical data, it makes me sad.Jan 5, 2021Jan 5, 2021
Categorial Data TipsSempre que tenho de analisar um dataframe, e me deparo com dados categóricos, me dá uma tristeza.Jan 4, 2021Jan 4, 2021
