> Столкнулись ли вы с проблемами нагруженности таблиц и как их решали (Go)

Да, сталкивался. В проекте была таблица логов пользовательских действий, которая росла на 5–10 млн записей в день. Основные проблемы: замедление вставок из-за индексов и деградация запросов аналитики.

Решал так:

1. Партиционирование - разбил таблицу по дням (RANGE на timestamp). Старые партиции архивировал или удалял, что ускорило очистку и сканирование.

2. Индексы - пересмотрел: убрал редкие, заменил композитные на более узкие (например, (user_id, created_at) вместо (user_id)). Для аналитических запросов добавил покрывающие индексы.

3. Буферизация записи - в Go использовал паттерн worker pool: горутины складывают записи в буфер (chan []Log), а воркеры батчами (по 1000) пишут в БД через COPY (PostgreSQL). Это снизило нагрузку на транзакции.

4. Архивация - старые данные (старше 90 дней) выгружал в ClickHouse для быстрых агрегатов, а в основной таблице оставлял только горячие данные.

В итоге latency вставок упал с 200 мс до 5 мс, а запросы аналитики стали выполняться за секунды вместо минут.