Serviço de manipulação de dados e persistência em base de dados relacional.
- Criação das tabelas: antes de rodar a pipeline a aplicação cria as tabelas do banco usando o ORM SQLModel e SQLAlchemy.
- Extração: os dados são estraídos do documento base usando python.
- Transformação: os dados são validados e transformados usando pydantic.
- Carregamento: os dados são carregados usando o ORM SQLmodel em um banco PostgreSQL, que roda em um container docker.
Você pode rodar a aplicação com o docker, para isso é necessário clonar o repositório, entra em sua raiz e rodar o comando:
docker compose upo Docker irá então criar dois containers, um para rodar a aplicação e outro para rodar o banco de dados PostgreSQL.
- Made with ❤️ by Lucas Gasque