Resumen ejecutivo

• Apache Kafka es una plataforma de event streaming: publicás, almacenás y procesás flujos de eventos de forma durable y escalable.

• Conceptos clave: topics, partitions, producers, consumers y consumer groups.

• Aparece en JDs de Data Engineer porque es el “sistema nervioso” de pipelines en tiempo real, CDC y desacople de sistemas.

• Casos típicos: pagos, tracking de actividad, IoT, logs operativos e integración entre microservicios.

Si estás mirando ofertas de Data Engineer y ves Kafka una y otra vez, no es moda: es la pieza que mueve eventos entre sistemas con replay y alto throughput. El ángulo de esta nota es entender qué es, para qué sirve y por qué te lo piden —sin ahogarte en la API. ¿Por qué ahora? Es whitespace editorial en stacks de datos modernos. Para contextualizar lenguajes del ecosistema data, mirá también qué es y para qué sirve Python.

Qué es Apache Kafka

Según la documentación oficial, Kafka es una plataforma de event streaming distribuida: combina publicación/suscripción de eventos, almacenamiento durable y procesamiento de streams. A diferencia de una cola clásica que borra el mensaje al consumirlo, Kafka retiene eventos por un tiempo configurable y permite que varios consumidores lean de forma independiente.

Productores, consumidores y topics

• Producer: escribe eventos a un topic.

• Topic: categoría del stream (ej. orders, pageviews); se parte en partitions para escalar.

• Consumer / consumer group: lee el stream; el group reparte partitions entre instancias.

• Broker / cluster: servidores que almacenan y replican los datos.

Para qué sirve en empresas

Casos de la comunidad y de la página de uses de Kafka: pagos en tiempo real, tracking de actividad de usuarios, métricas operativas, agregación de logs, CDC desde bases transaccionales hacia el warehouse, y arquitectura event-driven entre microservicios. En retail o fintech LATAM, suele ser el bus que alimenta fraude, recomendación o dashboards near-real-time.

Por qué figura en ofertas de Data Engineer

1. Los DE ya no solo hacen batch ETL nocturno: integran streams.

2. Kafka desacopla productores (apps) de consumidores (Spark, Flink, microservicios, lakehouse).

3. Permite reprocesar (replay) cuando cambia la lógica —clave en data.

4. Es skill transferible a Confluent, MSK, Event Hubs (conceptos similares).

Cómo empezar (ruta mínima)

• Leé la intro oficial y armá el quickstart local (o Docker).

• Publicá eventos JSON a un topic y consumilos con un script Python.

• Entendé offsets, consumer groups y retención.

• Después: Kafka Connect (CDC) y nociones de Kafka Streams / Flink.

Cursos recomendados de Coderhouse

Para llegar a Kafka con base sólida, primero consolidá datos con Data Analytics y el pensamiento de pipelines. La ruta hacia Data Engineer en Coderhouse te prepara para el ecosistema donde Kafka aparece en producción.

CTA: esta semana instalá Kafka en local (o usá un sandbox), creá un topic clicks y escribí un producer/consumer en Python. Anotá en tu CV “event streaming: Kafka basics + consumer groups”. Formate en datos con Coderhouse para cerrar el puente al rol.

Preguntas frecuentes

¿Kafka reemplaza a RabbitMQ? No siempre. RabbitMQ brilla en colas de trabajo punto a punto; Kafka en logs de eventos de alto volumen con retención y replay.

¿Necesito saber Java? Los clients existen en varios lenguajes; Python y Go son comunes. Java ayuda en el ecosistema nativo.

¿Es lo mismo que un data warehouse? No: Kafka mueve y retiene streams; el warehouse almacena para análisis. Suelen convivir.

¿Cuánto Kafka pide un DE junior? Conceptos + un lab suele alcanzar; mid/senior suman Connect, tuning y operación.