Python para Dados

O caso da aula

Três arquivos contam uma única história de vendas

Ao final

Você saberá escolher a ferramenta pela etapa do fluxo

Origem

Python nasceu simples e cresceu com a comunidade

Fonte: documentação oficial do Python, “History and License”.

Mercado

Python combina adoção ampla com uma carreira que exige contexto

Fontes: Stack Overflow Developer Survey 2025; Indeed Brasil, atualização de 12/07/2026, 1,6 mil salários informados.

Ecossistema

Uma linguagem conecta áreas que antes viviam separadas

Onde Python entra

Python pode participar de todas as etapas sem fazer tudo sozinho

Jupyter

Um notebook alterna explicação, código e resultado

# executa no kernel ativo
vendas.groupby("categoria")[
    "valor_total"
].sum()

Comparação

Escolha o ambiente pelo tipo de trabalho

Pandas · problema

CSV não responde perguntas até ganhar estrutura

Pandas · anatomia do código

Ler, selecionar e filtrar são três decisões diferentes

# importa a biblioteca
import pandas as pd

# lê o CSV e interpreta a data
vendas = pd.read_csv(
    "dados/vendas.csv",
    parse_dates=["data"]
)

# seleciona duas colunas
recorte = vendas[
    ["produto_id", "quantidade"]
]

# cria uma condição booleana
concluida = (
    vendas["status"] == "Concluida"
)

# filtra e cria uma cópia segura
resultado = vendas.loc[
    concluida
].copy()

# calcula o valor de cada linha
resultado["valor_total"] = (
    resultado["quantidade"]
    * resultado["preco_unitario"]
)

Pandas · pergunta de negócio

Qual categoria gera mais receita?

# agrupa linhas da mesma categoria
resumo = (
    base.groupby(
        "categoria",
        as_index=False
    )
    # calcula duas medidas
    .agg(
        receita=("valor_total", "sum"),
        itens=("quantidade", "sum")
    )
    # ordena pela maior receita
    .sort_values(
        "receita",
        ascending=False
    )
)

Pandas · enriquecimento

Merge conecta chaves para devolver contexto

# preserva todas as vendas e acrescenta dimensões
base = vendas.merge(clientes, on="cliente_id", how="left").merge(produtos, on="produto_id", how="left")

# exporta sem criar uma coluna de índice
base.to_csv("saida/vendas_tratadas.csv", index=False)

Pandas · demonstração

Leia o erro como uma pista sobre a etapa que falhou

Polars · problema

Quando o volume cresce, o motor do DataFrame importa

Polars · anatomia do código

Expressões descrevem o resultado; collect executa o plano

# importa o Polars
import polars as pl

# scan_csv cria um plano lazy sem carregar tudo imediatamente
resumo = (
    pl.scan_csv("dados/vendas.csv")
    # aplica o filtro o mais cedo possível
    .filter(pl.col("status") == "Concluida")
    # calcula a receita de cada linha
    .with_columns((pl.col("quantidade") * pl.col("preco_unitario")).alias("valor_total"))
    # agrega e ordena
    .group_by("produto_id").agg(pl.col("valor_total").sum().alias("receita"))
    .sort("receita", descending=True)
    # executa o plano otimizado
    .collect()
)

A API lazy pode aplicar predicate pushdown, projection pushdown e outras otimizações antes da materialização.

Polars · performance

Benchmark é medição, não slogan

# inicia o cronômetro
inicio = perf_counter()

# executa a transformação
resultado = consulta.collect()

# calcula o tempo decorrido
tempo = perf_counter() - inicio

dotenv · segurança

Senha no código vira incidente quando o arquivo é compartilhado

# arquivo .env — somente no computador
DATABASE_URL=postgresql://usuario:senha@servidor/vendas
API_TOKEN=segredo-local

# arquivo .env.example — pode ser compartilhado
DATABASE_URL=
API_TOKEN=

# carrega as variáveis do arquivo .env
from dotenv import load_dotenv
load_dotenv()

# lê a configuração sem expor o valor
import os
url = os.getenv("DATABASE_URL")

# falha cedo se estiver ausente
if not url:
    raise RuntimeError("DATABASE_URL ausente")

Pydantic · problema

Um arquivo pode abrir e ainda conter dados inválidos

SQLAlchemy · persistência

O DataFrame precisa de uma ponte segura até o banco

Requests · APIs

Nem toda fonte chega em CSV: muitas chegam por HTTP

Streamlit · evolução

O mesmo dado pode evoluir de saída técnica para interface

Comparação

Prefect e Airflow resolvem orquestração com experiências diferentes

PySpark · limite local

Quando um computador deixa de ser suficiente, distribua o trabalho

Scikit-learn · primeiro modelo

Machine learning aprende uma relação para estimar novos casos

Decisão

Escolha a biblioteca pelo problema observável

Projeto final

Do CSV ao dashboard com validação no meio

Projeto final

O esqueleto combina extração, qualidade e persistência

# 1. encontra as fontes do projeto
ROOT = Path(__file__).resolve().parent.parent
vendas = pd.read_csv(ROOT / "dados" / "vendas.csv")

# 2. valida cada registro antes do tratamento
validas = []
for registro in vendas.to_dict("records"):
    try:
        Venda.model_validate(registro)
        validas.append(registro)
    except ValidationError as erro:
        print("Registro rejeitado:", erro.error_count())

# 3. transforma e calcula a receita
base = pd.DataFrame(validas)
base = base.loc[base["status"] == "Concluida"].copy()
base["valor_total"] = base["quantidade"] * base["preco_unitario"]

# 4. grava a camada analítica no banco
engine = create_engine("sqlite:///saida/projeto_final.db")
base.to_sql("fato_vendas", engine, if_exists="replace", index=False)

Onde as demais ferramentas entram

O projeto cresce substituindo capacidades, não reescrevendo a história

Exercício

Construa uma análise de vendas reproduzível

Solução esperada

O código está pronto quando outra pessoa consegue reproduzir

Reprodução

Tudo que apareceu na aula está no pacote da Aula 06