DEVKA2: Kafka Интеграция для разработчиков
2х-дневный курс для специалистов и разработчиков желающих получить и систематизировать знания по интеграции Apache Kafka с различными внешними системами в рамках распределенной потоковой обработки событий (Event Streaming Processing). Apache Kafka Connect — это общая платформа для producers и consumers Apache Kafka. Apache Kafka Connect предлагает API, Runtime и REST Service, которые позволяют разработчикам определять коннекторы, которые перемещают большие наборы данных в Apache Kafka и из него в режиме реального времени. В рамках курса научимся принимать и отдавать целые базы данных, собирать метрики, собирать журналы со всех ваших серверов приложений в разделы Apache Kafka, делая данные доступными для потоковой обработки с малой задержкой.
Программа курса Kafka Integration для разработчиков
1. Kafka интеграция
-
- Виды Kafka Connector-ов
Разберемся в том, какие Connector-ы есть в Kafka, а также мотивацию их
применения в разных случаях - Режимы работы Kafka — распределенный и standalone
Изучим отличия разных режимов работы Kafka, их преимущества и принципы
применения - Автоматическая работа с offset
Научимся работать со смещениями в процессах Kafka Integration - Group management protocol
Научимся управлять группами в процессах интеграции Kafka - Batching в Kafka
Сможем компоновать данные для отсылки их по каналам интеграции
- Виды Kafka Connector-ов
2. Интеграция с Apache Spark
Сможем работать с Apache Spark из Kafka, применять Spark трансформации в Kafka, а
также пересылать сообщения в формате Spark.
3. Интеграция со Apache Storm
Научимся взаимодействовать с распределенной вычислительной системой Apache Storm.
4. Интеграция с AWS
Сможем работать с любыми сервисами Amazon Web Services, использовать
дополнительные возможности AWS в работе с Kafka.
5. Msgpack в Java
Сможем компоновать необычные форматы данных в простые сообщения.
-
- Сериализация и десериализация
- Применение Msgpack в процессе messaging-а в рамках Kafka процесса
Регистрация