> Что такое колоночные базы данных и почему они лучше для аналитики (Python)

Колоночные базы данных (columnar databases) хранят данные не по строкам, как традиционные реляционные СУБД (например, PostgreSQL или MySQL), а по столбцам. Вместо того чтобы записывать всю строку целиком на диск, каждый столбец таблицы хранится отдельным непрерывным блоком.

Почему это лучше для аналитики:

1. Эффективность чтения: Аналитические запросы (OLAP) обычно затрагивают только несколько столбцов из сотен. Колоночное хранение позволяет читать только нужные столбцы, экономя время и I/O. Например, запрос SELECT AVG(age) FROM users прочитает только блок столбца age, а не все строки целиком.
2. Высокая степень сжатия: Данные в одном столбце часто имеют одинаковый тип и повторяющиеся значения (например, город или статус). Это позволяет применять эффективные алгоритмы сжатия (RLE, dictionary encoding), уменьшая объем хранимых данных в 5-10 раз.
3. Векторизованная обработка: Современные процессоры могут обрабатывать большие блоки данных за одну инструкцию (SIMD). Колоночные СУБД (ClickHouse, Apache Parquet, Amazon Redshift) оптимизированы под такие операции, что ускоряет агрегации и фильтрацию.
4. Параллелизм: Каждый столбец можно обрабатывать независимо на разных ядрах или узлах кластера.

Пример на Python с библиотекой pandas (которая тоже использует колоночное хранение в памяти):

PYTHON
import pandas as pd

# Создаем DataFrame (колоночное представление)
df = pd.DataFrame({
    'user_id': range(1_000_000),
    'age': [25, 30, 35] * 333_334,
    'city': ['Moscow', 'SPb', 'Kazan'] * 333_334
})

# Аналитический запрос - читается только столбец age
avg_age = df['age'].mean()  # Быстро, так как age хранится непрерывно

Таким образом, колоночные БД идеальны для агрегаций, фильтрации и сканирования больших объемов данных, но не подходят для транзакционных нагрузок (OLTP), где нужны частые вставки/обновления отдельных строк.