Icon

PRODES - Tratamento

1 — ETL PRODES / Desmatamento
Extração dos dados de desmatamento anual por município. Filtragem do período 2020–2024, padronização de códigos e nomes, remoção de duplicidades, tratamento de valores ausentes e validação estatística.

Column Filter
separar o código DATASUS do nome do município
String Manipulation
Unpivot
Column Renamer
separar o código DATASUS do nome do município
String Manipulation
Column Renamer
Missing Value
Statistics
String to Number
Column Auto Type Cast
String Manipulation
Column Filter
Duplicate Row Filter
Statistics
Joiner
Column Filter
GroupBy
Column Resorter
Joiner
Prodes - Incrementos do Desmatamento - Amazônia Legal - TerraBrasilis
CSV Reader
Row Filter
O motivo é simples: geocode_ibge é um código identificador, não um valor para cálculo. Então é melhor tratá-lo como texto para os joins depois.
Number to String
Column Renamer
Duplicate Row Filter
Missing Value
Column Filter
Joiner
Rule Engine
String Manipulation
Aqui ocorre a transformação principal do BDQueimadas: saímos de 722.989 registros individuais de focos para um registro por município + ano.
GroupBy
Duplicate Row Filter
Column Renamer
Rule Engine
Statistics
PostgreSQL Connector
Statistics
DB Table Structure Creator
CSV Reader
DB Table Structure Creator
DIM_MUNICIPIO2ª etapa da carga do DW. Insere a dimensão de municípios no banco PostgreSQL/Supabase, disponibilizando as chaves de município utilizadas pela tabela fato.
DB Writer
DIM_TEMPO1ª etapa da carga do DW. Insere a dimensão de tempo no banco PostgreSQL/Supabase, garantindo que as chaves temporais estejam disponíveis antes da carga das demais tabelas.
DB Writer
CSV Reader
CSV Reader
CSV Reader
CSV Reader
CSV Reader
String Manipulation
CSV Reader
DB SQL Executor
Statistics
Concatenate
DB Table Structure Creator
CSV Reader
CSV Reader
FATO_INDICADORES3ª etapa da carga do DW. Insere a tabela fato após as dimensões, preservando a integridade referencial das FKs id_municipio e id_tempo.
DB Writer
Column Renamer
Date&Time Range Creator
Row Filter
Column Renamer
Date&Time Part Extractor
Rule Engine
Date&Time Part Extractor
Duplicate Row Filter
Missing Value
Statistics
Rule Engine
Column Resorter
Rule Engine
BDQueimadas - Registros de focos de queimadas - 2020
CSV Reader
Rule Engine
GroupBy
Math Formula
String Manipulation
Sorter
BDQueimadas - Registros de focos de queimadas - 2023
CSV Reader
Row Filter
BDQueimadas - Registros de focos de queimadas - 2024
CSV Reader
Double to Integer
BDQueimadas - Registros de focos de queimadas - 2021
CSV Reader
Column Renamer
BDQueimadas - Registros de focos de queimadas - 2022
CSV Reader
Column Filter
Joiner
Reduziu a base de 1.075.841 para 744.333 focos nos 9 estados
Row Filter
String to Date&Time
FATO_INDICADORES
Column Renamer
Concatenate
Column Filter
Column Filter
Column Renamer
Date&Time Part Extractor
Duplicate Row Filter
String Manipulation
Rule Engine
GroupBy
Iniciando a dim municipio
Column Filter
Sorter
String Manipulation
Column Filter
A DIM_MUNICIPIO já estará pronta
Column Resorter
Agora vamos criar a DIM_TEMPO.
Table Creator
Math Formula
tirando dados duplicados caso existam
Duplicate Row Filter
Cross Joiner
Double to Integer
Joiner
Column Filter
Joiner
Column Filter
Joiner
Column Filter
GroupBy
Missing Value
Column Filter
Joiner
Row Filter
Column Renamer
Organizando as colunas
Column Resorter
Concatenate
IBGE - SIDRA - Bovinos 2020 2024
CSV Reader
String to Number
Column Filter
Unpivot
Column Renamer

Nodes

Extensions

Links