Несмотря на то что данные постоянно использовались во всех направлениях бизнеса, в компании обнаружили, что пакетная отчетность с использованием неактивных данных оказалась ненадежной, дорогостоящей и не обеспечивала эффективного отклика в реальном времени. В системах нередко формировались неактуальные отчеты о запасах, что негативно влияло на глобальную цепочку поставок, логистику и в конечном итоге на удовлетворенность клиентов.
Компания решила развернуть инфраструктуру Kafka непосредственно на предприятиях, чтобы использовать данные в реальном времени. Однако довольно быстро обнаружилось, что платформа Kafka, основанная на открытом исходном коде, не только сложна для внедрения, но и требует наличия штатных сотрудников для обслуживания и управления ее инфраструктурой. В результате компания столкнулась с трудностями при масштабировании, к тому же Kafka не поддерживала перенос данных в облако.
Специалист по ИТ-архитектуре и технический директор одного из центров обслуживания клиентов признался: «Одна из проблем платформы Kafka — сложность в эксплуатации. Нам приходилось привлекать ценных технических специалистов для ее обслуживания и поддержки работоспособности. Кроме того, это не облачная система данных, и она не может масштабироваться и обрабатывать массивы данных, которые нам требуются».