> Почему Kafka такая быстрая (Go)

Kafka достигает высокой производительности за счёт нескольких ключевых архитектурных решений, которые минимизируют задержки и максимизируют пропускную способность.

Во-первых, последовательная запись на диск. В отличие от традиционных очередей, Kafka пишет данные в конец файла (append-only), что позволяет использовать эффективные операции ввода-вывода без случайного доступа. Это даёт скорость, близкую к скорости оперативной памяти, особенно на SSD.

Во-вторых, нулевое копирование (zero-copy). При передаче данных потребителю Kafka использует системный вызов sendfile, который копирует данные напрямую из дискового кэша в сетевой сокет, минуя буферы приложения. В Go это можно реализовать через syscall.Sendfile или использовать библиотеки вроде github.com/Shopify/sarama, которые оптимизированы под этот механизм.

В-третьих, батчинг и сжатие. Kafka группирует сообщения в пакеты (batches) перед записью и передачей, что снижает количество операций ввода-вывода и сетевых вызовов. Сжатие (например, gzip, snappy) дополнительно уменьшает объём данных.

В-четвёртых, эффективное использование памяти. Kafka активно использует страничный кэш ОС (page cache), а не собственный кэш приложения. Это позволяет избежать двойного копирования данных и утилизировать всю доступную память системы.

В-пятых, асинхронная модель и неблокирующий ввод-вывод. Брокеры Kafka построены на NIO (non-blocking I/O), что позволяет обрабатывать тысячи соединений в одном потоке. В Go это эквивалентно использованию горутин и каналов для параллельной обработки запросов без блокировок.

Таким образом, скорость Kafka - это результат комбинации аппаратно-ориентированных оптимизаций (последовательная запись, zero-copy) и продуманной работы с памятью и сетью.