当前位置：首页 > news >正文

Python生成器实战：yield深度解析

news 2026/6/3 18:34:32

Python生成器实战：yield深度解析

引言

在Python开发中，生成器是实现惰性计算的核心技术。作为一名从Rust转向Python的后端开发者，我深刻体会到生成器在内存效率方面的优势。生成器是Python中用于创建迭代器的强大工具，通过yield语句实现惰性求值。

生成器核心概念

什么是生成器

生成器是Python中用于创建迭代器的函数，具有以下特点：

惰性求值：按需生成元素，节省内存
内存效率：不需要一次性生成所有数据
代码简洁：使用yield语句简化迭代器创建
状态保持：自动保存执行状态
可组合性：支持生成器表达式和管道操作

架构设计

┌─────────────────────────────────────────────────────────────┐ │ 生成器架构 │ │ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ │ │ 生成器函数 │───▶│ yield语句 │───▶│ 迭代器 │ │ │ │ (Generator) │ │ (Yield) │ │ (Iterator) │ │ │ └──────────────┘ └──────────────┘ └──────────────┘ │ │ │ │ │ │ ▼ ▼ │ │ ┌──────────────────────────────────────────────────────┐ │ │ │ 状态保存与惰性求值 │ │ │ └──────────────────────────────────────────────────────┘ │ └─────────────────────────────────────────────────────────────┘

环境搭建与基础配置

基本生成器

def count_up_to(n): for i in range(1, n+1): yield i for number in count_up_to(5): print(number)

生成器表达式

numbers = (x * 2 for x in range(10)) for num in numbers: print(num)

高级特性实战

无限生成器

def infinite_counter(): count = 0 while True: count += 1 yield count for i, num in enumerate(infinite_counter()): if i >= 5: break print(num)

生成器管道

def generate_numbers(): for i in range(10): yield i def filter_even(numbers): for num in numbers: if num % 2 == 0: yield num def double(numbers): for num in numbers: yield num * 2 pipeline = double(filter_even(generate_numbers())) for num in pipeline: print(num)

带返回值的生成器

def generator_with_return(): yield 1 yield 2 yield 3 return "Done" gen = generator_with_return() try: while True: print(next(gen)) except StopIteration as e: print(f"Return value: {e.value}")

实际业务场景

场景一：大数据处理

def read_large_file(file_path): with open(file_path, 'r') as f: for line in f: yield line.strip() for line in read_large_file('large_file.txt'): process_line(line)

场景二：数据生成

def generate_fibonacci(): a, b = 0, 1 while True: yield a a, b = b, a + b for i, num in enumerate(generate_fibonacci()): if i >= 10: break print(num)

性能优化

使用itertools

import itertools def pipeline(): numbers = itertools.count(0) evens = itertools.filterfalse(lambda x: x % 2, numbers) doubled = itertools.starmap(lambda x: x * 2, zip(evens)) return doubled for i, num in enumerate(pipeline()): if i >= 10: break print(num)

使用yield from

def chain(*generators): for gen in generators: yield from gen gen1 = (x for x in range(5)) gen2 = (x for x in range(5, 10)) gen3 = (x for x in range(10, 15)) for num in chain(gen1, gen2, gen3): print(num)