DEV Community

renanpyd profile picture

renanpyd

Engenheiro Sênior de IA e Dados | 14+ anos em Data Platforms, LLMs, RAG e Agentes de IA | Escrevo sobre IA em produção, MLOps, multi-cloud, Quantum Computing e curiosidades

Location São Paulo/SP - Brasil Joined Joined on  Personal website https://renanpyd.github.io/ github website

Education

Uninter - Ciência de Dados

Pronouns

Renan de Lima Andrade

Work

Consultor em Ciência da Informação - Soluções com Dados e IA.

Como aprendi Apache Spark — Parte 17: Airflow, CI/CD e DataOps
renanpyd profile

Como aprendi Apache Spark — Parte 17: Airflow, CI/CD e DataOps

#python #sql #bigdata #spark
Comments
16 min read
Como aprendi Apache Spark — Parte 16: Apache Kafka, CDC e pipelines incrementais
renanpyd profile

Como aprendi Apache Spark — Parte 16: Apache Kafka, CDC e pipelines incrementais

#python #spark #bigdata #sql
Comments
19 min read
Como aprendi Apache Spark — Parte 15: Structured Streaming, Watermarks e Checkpoints
renanpyd profile

Como aprendi Apache Spark — Parte 15: Structured Streaming, Watermarks e Checkpoints

#bigdata #python #sql #apache
Comments
18 min read
Como aprendi Apache Spark — Parte 14: Data Quality, Data Contracts e Governança
renanpyd profile

Como aprendi Apache Spark — Parte 14: Data Quality, Data Contracts e Governança

#python #bigdata #spark #apache
Comments
17 min read
Como aprendi Apache Spark — Parte 13: Iceberg, Delta Lake e Hudi — a evolução para Lakehouse
renanpyd profile

Como aprendi Apache Spark — Parte 13: Iceberg, Delta Lake e Hudi — a evolução para Lakehouse

#data #lake #spark #python
Comments
16 min read
Como aprendi Apache Spark — Parte 12: CSV, JSON, Parquet e ORC — performance começa no armazenamento
renanpyd profile

Como aprendi Apache Spark — Parte 12: CSV, JSON, Parquet e ORC — performance começa no armazenamento

#python #apache #spark #bigdata
Comments
16 min read
Como aprendi Apache Spark — Parte 11: Dimensionamento de recursos, paralelismo e custos
renanpyd profile

Como aprendi Apache Spark — Parte 11: Dimensionamento de recursos, paralelismo e custos

#bigdata #apache #spark #python
Comments
17 min read
Como aprendi Apache Spark — Parte 10: Client Mode vs. Cluster Mode — onde o Spark realmente executa
renanpyd profile

Como aprendi Apache Spark — Parte 10: Client Mode vs. Cluster Mode — onde o Spark realmente executa

#bigdata #spark #apache #python
Comments
17 min read
Como aprendi Apache Spark — Parte 9: Broadcast, Accumulators e Closures
renanpyd profile

Como aprendi Apache Spark — Parte 9: Broadcast, Accumulators e Closures

#bigdata #pyspark #dataengineering #apache
Comments
16 min read
Como aprendi Apache Spark — Parte 8: RDD Lineage e tolerância a falhas — como o Spark se recupera
renanpyd profile

Como aprendi Apache Spark — Parte 8: RDD Lineage e tolerância a falhas — como o Spark se recupera

#spark #python #dataengineering #bigdata
Comments
16 min read
Como aprendi Apache Spark — Parte 7: Memória — Executors, Driver, Cache, Spill e OutOfMemory
renanpyd profile

Como aprendi Apache Spark — Parte 7: Memória — Executors, Driver, Cache, Spill e OutOfMemory

#cluster #spark #python #bigdata
1
Comments
16 min read
Como aprendi Apache Spark — Parte 6: Spark SQL e DataFrames — do código ao plano de execução
renanpyd profile

Como aprendi Apache Spark — Parte 6: Spark SQL e DataFrames — do código ao plano de execução

#pyspark #dataengineering #bigdata #cluster
1
Comments
15 min read
Como aprendi Apache Spark — Parte 5: Joins — Shuffle, Broadcast e estratégias de execução
renanpyd profile

Como aprendi Apache Spark — Parte 5: Joins — Shuffle, Broadcast e estratégias de execução

#dataengineering #bigdata #spark #cluster
Comments
14 min read
Como aprendi Apache Spark — Parte 4: Shuffle — onde a performance começa a ficar avançada
renanpyd profile

Como aprendi Apache Spark — Parte 4: Shuffle — onde a performance começa a ficar avançada

#dataengineering #bigdata #pyspark #spark
Comments
13 min read
Como aprendi Apache Spark — Parte 3: Partições, paralelismo e performance
renanpyd profile

Como aprendi Apache Spark — Parte 3: Partições, paralelismo e performance

#dataengineering #bigdata #pyspark #spark
Comments
13 min read
Próximo: Parte 2 — Por dentro da arquitetura do Apache Spark: Driver, Executors, Jobs, Stages e Tasks
renanpyd profile

Próximo: Parte 2 — Por dentro da arquitetura do Apache Spark: Driver, Executors, Jobs, Stages e Tasks

#pyspark #bigdata #dataengineering #spark
Comments
10 min read
Como aprendi Apache Spark — Parte 1: Por que o Spark mudou o processamento de Big Data
renanpyd profile

Como aprendi Apache Spark — Parte 1: Por que o Spark mudou o processamento de Big Data

#spark #dataengineering #bigdata #python
1
Comments
7 min read
Como aprendi Apache Spark: revisitando uma jornada pela Engenharia de Dados
renanpyd profile

Como aprendi Apache Spark: revisitando uma jornada pela Engenharia de Dados

#spark #bigdata #dataengineering #opensource
1
Comments
4 min read
loading...