Узнаем, как внедрить в проект средство аналитики, на что способен ClickHouse в сочетании с Kafka и для чего нужны здесь материализованные представления. Построим небольшую аналитическую систему.

https://nuancesprog.ru/p/14609

@nuancesprog #ClickHouse #Kafka

Все эти брокеры успешно работают, но действуют при этом совершенно по-разному. Рассмотрим их главные особенности, отметим достоинства и недостатки.

https://nuancesprog.ru/p/15110/

@nuancesprog #Redis #RabbitMQ #Kafka

Все эти брокеры успешно работают, но действуют при этом совершенно по-разному. Рассмотрим их главные особенности, отметим достоинства и недостатки.

https://nuancesprog.ru/p/15110/

@nuancesprog #Redis #RabbitMQ #Kafka

Обработаем большой файл с данными о погоде и рассчитаем результаты, которые потом можно будет переиспользовать в другом проекте.

https://nuancesprog.ru/p/15733/

@nuancesprog #Kafka

Рассмотрим нюансы при запуске обработки на Python. Создадим скрипт для выдачи сообщений, настроим ClickHouse для их получения и обработки. Поэкспериментируем с представлением в реальном времени и удалением данных.

https://nuancesprog.ru/p/17175/

@nuancesprog #Kafka #Python #ClickHouse

Подробно разберем код для подключения Apache Kafka в Spring Boot. Подготовим приложение к отправке сообщений на сервер Kafka и их потреблению.

https://nuancesprog.ru/p/17290/

@nuancesprog #Kafka #SpringBoot

Представляем инструмент мониторинга кластеров KafkaCompass. Рассмотрим функционал этого приложения - со слов его разработчиков.

https://nuancesprog.ru/p/17539/

VK: https://vk.com/@nuancesprog-ne-zabludites-pri-rabote-s-klasterami-kafka-vozmite-kompas

Дзен: https://dzen.ru/media/nuancesprog.ru/647e4ebe619e325cd9cd2506

@nuancesprog #Kafka

Сделаем легко масштабируемую систему с ML-алгоритмами для определения предпочтений пользователей. Заполним временну́ю шкалу, создадим тему, заведем задачу для получения и сохранения твитов из темы, проанализируем их с помощью тегирования.

https://nsprg.ru/mDEnax

VK: https://nsprg.ru/vGknVv

Дзен: https://nsprg.ru/mn6jWm

@nuancesprog #Golang #Kafka #MachineLearning

Для создания управляемых событиями, надежных и масштабируемых приложений часто используют Apache Kafka совместно с Spring Boot. Рассмотрим особенности такой интеграции.

https://nsprg.ru/vGkAyv

VK: https://nsprg.ru/mp9Pgx

Дзен: https://nsprg.ru/vqa8nv

@nuancesprog #Kafka #SpringBoot

Создадим простой проект Spring Boot с темами и разделами Kafka для публикации событий отправителями и подписки получателей. Разберем стратегии реализации повторных попыток, масштабируем микросервисы.

https://nsprg.ru/v3B1gx

VK: https://nsprg.ru/OoAe4x

Дзен: https://nsprg.ru/ONkBJm

@nuancesprog #SpringBoot #Kafka

Kafka - это распределенная платформа потоковой передачи событий с открытым исходным кодом, обеспечивающая высокую пропускную способность. Платформа позволяет передавать большие объемы данных с минимальной задержкой - вот в чем ее секрет.

https://nsprg.ru/mDRD4v

VK: https://nsprg.ru/OVN05O

Дзен: https://nsprg.ru/vGoRyv

@nuancesprog #Kafka

Разберем ключевой функционал и настройку Kafka и узнаем, как он вписывается в Spring Boot. Научимся маршрутизировать и фильтровать сообщения, отправлять и получать их с помощью шаблонов и листенеров Kafka, а также преобразовывать форматы пользовательских данных.

https://nsprg.ru/O5KM7x

VK: https://nsprg.ru/v3pMgO

Дзен: https://nsprg.ru/Oo1L4x

@nuancesprog #Kafka #SpringBoot

Настроим отправку события в темы Kafka с группами получателей, запустим службы заказов, хранения и платежей. Отправим HTTP-запросы, получение события проверим в консольных журналах.

https://nsprg.ru/vGoJnv

VK: https://nsprg.ru/mpBG1v

Дзен: https://nsprg.ru/vqYA8v

@nuancesprog #Kafka #SpringBoot

В реальном проекте валидации электронной почты проиллюстрируем потоковую передачу данных с отправителем и получением сообщений в теме Kafka для Cassandra и MongoDB. Наличие почты и пароля определим с помощью получателя и проверки данных.

https://nsprg.ru/mzVwbm

VK: https://nsprg.ru/xJkZLv

Дзен: https://nsprg.ru/mDRawv

@nuancesprog #ApacheAirflow #Kafka #MongoDB #Cassandra

Проверим корректность данных, отправим письмо и сообщение в Slack с информацией об адресе почты и пароле. Объединим все части проекта, создадим и запустим DAG Airflow со всеми задачами.

https://nsprg.ru/OKwV6O

VK: https://nsprg.ru/mWNYPO

Дзен: https://nsprg.ru/O5KL4x

@nuancesprog #ApacheAirflow #Kafka #MongoDB #Cassandra

Обработка пакетных данных в режиме реального времени - одна из наиболее сложных задач. Каждый этап, от доставки и обработки данных до их анализа, занимает определенное время. К счастью, для устранения этих задержек есть такие инструменты, как Apache Kafka, Flink и Druid.

https://nsprg.ru/m00ELm

VK: https://nsprg.ru/ONLV0x

Дзен: https://nsprg.ru/mrpN8v

@nuancesprog #Apache #Kafka #Flink #Druid

Мгновенный обмен сообщениями необходим в приложениях социальных сетей, инструментах совместной работы и платформах прямых трансляций. При этом значительно улучшается взаимодействие между пользователями. Рассмотрим создание приложения для чата, используя Spring Boot, Kafka и WebSocket.

https://nsprg.ru/xR26Ex

VK: https://nsprg.ru/xe2jyv

@nuancesprog #SpringBoot #Kafka #WebSocket

Создадим простой, но функциональный конвейер, подробно рассмотрим каждый его компонент: от настройки Kafka для потоковой передачи данных и оркестрации задач с Airflow до обработки данных со Spark и их сохранения в PostgreSQL. Сделаем акцент на практическом применении инструментов с Docker.

https://nsprg.ru/vg9qWm

VK: https://nsprg.ru/v2KNqO

@nuancesprog #Kafka #Spark #Airflow #PostgreSQL #Docker