> Как работает ключевое слово yield в Python (Python)

Короткий ответ

yield превращает функцию в генератор: при вызове она не выполняет тело, а возвращает итератор. Каждый next() или итерация в цикле выполняет код до ближайшего yield, приостанавливает выполнение, сохраняя состояние (локальные переменные, позиция в коде), и возвращает значение. При следующем вызове выполнение продолжается с точки остановки. Это позволяет лениво генерировать последовательности, не храня их в памяти целиком, и организовывать потоковую обработку данных.

Подробное объяснение

Ключевое слово yield - основа генераторов в Python. Когда функция содержит yield, она становится генераторной функцией. При вызове такой функции тело не выполняется - вместо этого возвращается объект-генератор, который реализует протокол итератора (методы __iter__ и __next__).

Механика работы:

1. Приостановка и возобновление: при первом next() выполнение начинается с начала функции и доходит до первого yield. Значение после yield возвращается как результат next(), а состояние функции (стек вызовов, локальные переменные, счётчик инструкций) сохраняется.

2. Сохранение состояния: генератор запоминает не только значения переменных, но и точное место в коде, включая состояние циклов, try/except блоков и вложенных вызовов.

3. Завершение: когда выполнение доходит до конца функции или до return (без значения), генератор выбрасывает StopIteration. В Python 3.3+ return value внутри генератора эквивалентен raise StopIteration(value).

4. Отличие от return: return завершает функцию и освобождает всё состояние; yield приостанавливает, сохраняя контекст для последующего продолжения.

5. Генераторные выражения: (x*x for x in range(10)) - синтаксический сахар, создающий анонимный генератор без явного yield.

6. yield from (Python 3.3+): делегирует выполнение другому итератору или генератору, упрощая вложенные генераторы и позволяя писать "плоские" корутины.

7. Двусторонняя связь: через send(value) можно передавать значение внутрь генератора - оно станет результатом выражения yield. Это основа для корутин и сопрограмм.

8. throw() и close(): позволяют пробросить исключение внутрь генератора или принудительно завершить его, вызывая GeneratorExit.

Генераторы - ключевой механизм для ленивых вычислений, работы с большими данными, потоковой обработки и реализации итераторов без написания класса с __iter__/__next__.

На практике

В backend-разработке генераторы применяются для:

• Обработки больших файлов: чтение построчно без загрузки всего файла в память.
• Потоковой передачи данных: генерация чанков из API или БД (например, fetchmany с курсором).
• Реализации пайплайнов: цепочки генераторов, где каждый преобразует данные от предыдущего.
• Ленивой загрузки: отложенное выполнение дорогих операций до момента реальной необходимости.
• Бесконечных последовательностей: например, генерация ID или чисел Фибоначчи без ограничения по памяти.
• Корутин: использование yield в асинхронном контексте (хотя в современном Python для этого есть async def и await, понимание yield важно для работы с asyncio на низком уровне).

Важные практические моменты:

• Генератор одноразовый: после исчерпания его нельзя переиспользовать, нужно создавать заново.
• Проверка на исчерпание - через StopIteration, а не через проверку длины (у генератора нет len).
• Если нужно получить список из генератора - list(gen), но это убивает ленивость.
• Вложенные генераторы без yield from требуют ручного проброса значений.
• При работе с исключениями внутри генератора важно помнить, что try/finally выполнится при close() или сборке мусора.

Пример кода

PYTHON
# Базовый генератор
def countdown(n):
    while n > 0:
        yield n
        n -= 1

for x in countdown(3):
    print(x)  # 3, 2, 1


# Обработка большого файла построчно
def read_large_file(file_path):
    with open(file_path, 'r') as f:
        for line in f:
            yield line.strip()


# Пайплайн: цепочка генераторов
def numbers():
    for i in range(10):
        yield i

def squared(gen):
    for x in gen:
        yield x * x

def even(gen):
    for x in gen:
        if x % 2 == 0:
            yield x

result = even(squared(numbers()))
print(list(result))  # [0, 4, 16, 36, 64]


# Двусторонняя связь через send()
def accumulator():
    total = 0
    while True:
        value = yield total
        if value is None:
            continue
        total += value

acc = accumulator()
next(acc)  # запуск до первого yield
print(acc.send(10))  # 10
print(acc.send(5))   # 15


# yield from для делегирования
def chain(*iterables):
    for it in iterables:
        yield from it

print(list(chain([1, 2], [3, 4])))  # [1, 2, 3, 4]


# Бесконечный генератор
def fibonacci():
    a, b = 0, 1
    while True:
        yield a
        a, b = b, a + b

fib = fibonacci()
first_10 = [next(fib) for _ in range(10)]
print(first_10)  # [0, 1, 1, 2, 3, 5, 8, 13, 21, 34]

Как отвечать на собеседовании

Начните с короткого определения: yield превращает функцию в генератор, который лениво возвращает значения, сохраняя состояние между вызовами. Затем покажите понимание механики: приостановка выполнения, сохранение стека, StopIteration при завершении.

Подчеркните разницу между return и yield: return завершает функцию, yield приостанавливает. Упомяните, что генератор - это итератор, но не все итераторы - генераторы.

Продемонстрируйте практическое применение: обработка больших данных, пайплайны, ленивые вычисления. Если спросят про send() и yield from - покажите понимание корутин и делегирования.

Хорошо, если вы упомянете ограничения: одноразовость генератора, отсутствие len, необходимость явного создания нового генератора для повторного использования.

Для уровня senior важно показать, что вы понимаете внутреннее устройство: генератор хранит не только значения, но и состояние выполнения, включая позицию в коде и локальные переменные. Можно упомянуть, что в CPython генераторы реализованы через специальный фрейм с сохранением состояния интерпретатора.

Что проверяет интервьюер

Интервьюер оценивает:

• Понимание ленивых вычислений: почему генераторы экономят память и когда это критично.
• Умение объяснить механику приостановки/возобновления: не просто заученное определение, а понимание, что происходит под капотом.
• Знание практических сценариев: потоковая обработка, пайплайны, работа с большими данными.
• Понимание ограничений: одноразовость, невозможность индексации, особенности с исключениями.
• Глубину знаний: send(), throw(), close(), yield from - для senior это ожидаемый уровень.
• Способность сравнить с альтернативами: списки, итераторы, itertools, асинхронные генераторы (async yield).

Для senior-позиции важно, чтобы вы не просто знали синтаксис, а могли объяснить, когда генераторы - правильный выбор, а когда - нет (например, если нужен случайный доступ к элементам или многократное прохождение).

Типичные ошибки

• Путаница между генератором и обычной функцией: утверждение, что yield просто "возвращает значение несколько раз" без понимания ленивости.
• Незнание, что генератор одноразовый: попытка повторно итерировать один и тот же генератор и получение пустого результата.
• Игнорирование StopIteration: ручная обработка вместо использования цикла for.
• Попытка использовать len() или индексацию на генераторе.
• Неправильное понимание yield from: думать, что это просто синтаксический сахар для цикла, не понимая передачи управления и исключений.
• Забывание про send(): незнание, что yield - это выражение, а не только оператор.
• Смешение генераторов и корутин: в современном Python корутины - это async def, а не генераторы, хотя исторически они были реализованы через yield.
• Ошибка с return value в генераторе: до Python 3.3 это вызывало SyntaxError, после - значение доступно только через StopIteration.value.
• Непонимание, что генератор не выполняет код до первого next(): попытка поймать исключение внутри тела генератора при его создании - исключение возникнет только при итерации.
• Создание бесконечного генератора без условия выхода в коде, где это не предполагается.