10 лет назад сотни серверов Яндекса работали на Apache Kafka®, но в этом продукте нам нравилось далеко не всё. Наши задачи требовали единой шины для передачи всех видов данных: от биллинговых до журналов приложений. Сегодня объёмы достигли уже десятков тысяч именованных наборов сообщений.

При таком количестве данных в Apache Kafka® становилось сложно управлять правами доступа, организовывать распределённую работу нескольких команд и многое другое. Проблемы роста и отсутствие подходящего решения в открытом доступе привели к тому, что команда Яндекса разработала своё решение YDB Topics и выложила его в опенсорс в составе платформы данных YDB. В этом посте рассказывается о предпосылках создания продукта, архитектуре передачи данных, возникающих задачах и возможностях, которые появились вместе с YDB Topics.