> Как эффективно загрузить большое количество данных из файла в таблицу Django (Python)

Короткий ответ

Эффективная загрузка больших данных в Django требует отказа от стандартного Model.objects.create() в цикле. Основные подходы: bulk_create() с батчами, bulk_update() для обновлений, использование iterator() и only() при чтении, а также отключение индексов и constraints на время массовой загрузки. Для файлов большого объёма - потоковая обработка чанками через csv.DictReader или pandas с последующей вставкой пачками по 500-5000 записей. Также стоит рассмотреть django-import-export или raw SQL COPY для экстремальных объёмов.

Подробное объяснение

Основная проблема - каждый вызов save() выполняет отдельный INSERT, что при тысячах записей даёт огромный overhead на round-trip к БД и построение ORM-объектов. bulk_create() отправляет один многострочный INSERT, сокращая время в 10-100 раз.

Ключевые trade-off:

• bulk_create() не вызывает save(), сигналы и pre_save/post_save не срабатывают.
• Не заполняет auto_now_add поля автоматически - нужно задавать вручную.
• Не возвращает primary key для PostgreSQL (для MySQL - возвращает).
• При конфликтах по unique constraint - вся пачка падает, если не использовать ignore_conflicts=True.

Для обновления существующих записей - bulk_update() с указанием списка полей. Это один UPDATE с CASE-условиями.

При чтении больших файлов для сопоставления с существующими данными - QuerySet.iterator(chunk_size=1000) позволяет не держать весь результат в памяти. only() ограничивает загружаемые поля.

Для файлов с миллионами строк - потоковое чтение чанками, чтобы не загружать весь файл в RAM. Каждый чанк обрабатывается и вставляется отдельным батчем.

Транзакции: оборачивать всю загрузку в transaction.atomic() - тогда при ошибке откатывается всё, но для очень больших объёмов лучше разбивать на несколько транзакций по батчам, чтобы не блокировать таблицу надолго.

На практике

• Определить оптимальный размер батча: 1000-5000 записей обычно хорошо, но зависит от ширины таблицы и БД. Тестировать на реальных данных.
• Отключить индексы и foreign key constraints на время загрузки (через RunSQL в миграции или raw SQL), затем пересоздать.
• Для PostgreSQL использовать COPY через cursor.copy_expert() - самый быстрый способ, но требует ручного маппинга и не использует ORM.
• Если данные нужно сопоставлять с существующими записями - строить словарь {natural_key: id} один раз, а не делать запросы в цикле.
• Для CSV - csv.DictReader читает строку за строкой, не загружая файл целиком.
• Мониторить память: не собирать все объекты в список, а обрабатывать и освобождать.

Пример кода

PYTHON
import csv
from django.db import transaction
from myapp.models import Product

BATCH_SIZE = 2000

def load_products_from_csv(file_path):
    with open(file_path, newline='', encoding='utf-8') as f:
        reader = csv.DictReader(f)
        batch = []
        
        for row in reader:
            batch.append(Product(
                sku=row['sku'],
                name=row['name'],
                price=Decimal(row['price']),
            ))
            
            if len(batch) >= BATCH_SIZE:
                with transaction.atomic():
                    Product.objects.bulk_create(batch, batch_size=BATCH_SIZE)
                batch.clear()
        
        # остаток
        if batch:
            with transaction.atomic():
                Product.objects.bulk_create(batch, batch_size=BATCH_SIZE)

Для обновления:

PYTHON
def update_prices(file_path):
    with open(file_path) as f:
        reader = csv.DictReader(f)
        batch = []
        
        for row in reader:
            product = Product.objects.get(sku=row['sku'])
            product.price = Decimal(row['price'])
            batch.append(product)
            
            if len(batch) >= BATCH_SIZE:
                Product.objects.bulk_update(batch, ['price'], batch_size=BATCH_SIZE)
                batch.clear()

Для PostgreSQL через COPY:

PYTHON
from django.db import connection

def load_via_copy(file_path):
    with connection.cursor() as cursor:
        with open(file_path, 'r') as f:
            cursor.copy_expert(
                "COPY myapp_product (sku, name, price) FROM STDIN WITH (FORMAT CSV, HEADER true)",
                f
            )

Как отвечать на собеседовании

Начни с главного - bulk_create() вместо цикла с save(). Затем упомяни батчи и почему они важны (память, транзакции). Покажи понимание ограничений: сигналы, auto_now, конфликты. Добавь про потоковое чтение файла и сопоставление данных через словари. Если спросят про экстремальные объёмы - упомяни COPY и отключение индексов. Заверши практическим примером с csv.DictReader и transaction.atomic().

Что проверяет интервьюер

• Понимание того, как ORM генерирует SQL и почему цикл с save() неэффективен.
• Знание bulk_create() и bulk_update() и их ограничений.
• Умение работать с большими файлами без переполнения памяти.
• Понимание транзакций и их влияния на производительность.
• Знание альтернативных подходов (raw SQL, COPY) и когда их применять.

Типичные ошибки

• Использование bulk_create() без батчей - при миллионе записей один гигантский INSERT может упасть по размеру запроса.
• Забывают про auto_now_add - поле не заполнится автоматически, нужно передавать явно.
• Оборачивают всю загрузку в одну транзакцию - при ошибке откатывается всё, а при больших объёмах растёт время блокировки.
• Делают запросы к БД внутри цикла для сопоставления данных - вместо этого строят словарь заранее.
• Игнорируют ignore_conflicts - при наличии дубликатов падает вся пачка.
• Читают файл целиком в память через readlines() - нужно потоковое чтение.