异常教程

Python 文件 IO（长文解析）

更新时间:

💡一则或许对你有用的小广告

欢迎加入小哈的星球 ，你将获得：专属的项目实战 / 1v1 提问 / Java 学习路线 / 学习打卡 / 每月赠书 / 社群讨论

截止目前， 星球 内专栏累计输出 90w+ 字，讲解图 3441+ 张，还在持续爆肝中.. 后续还会上新更多项目，目标是将 Java 领域典型的项目都整一波，如秒杀系统, 在线商城, IM 即时通讯，权限管理，Spring Cloud Alibaba 微服务等等，已有 3100+ 小伙伴加入学习 ，欢迎点击围观

在编程世界中，文件输入输出（File I/O）如同一座桥梁，连接着程序与外部数据。无论是保存用户配置、记录运行日志，还是处理海量数据，文件 I/O 都是开发者不可或缺的技能。Python 作为一门简洁高效的语言，其文件 I/O 模块设计得既直观又灵活，能够满足从简单文本操作到复杂二进制处理的多样化需求。本文将从基础到进阶，逐步解析 Python 文件 I/O 的核心概念与实践技巧，并通过真实案例帮助读者掌握其实战应用能力。

一、文件 I/O 的基础操作：打开与关闭

1.1 文件打开与模式选择

在 Python 中，一切文件操作都始于 open() 函数。它的语法结构为：

file = open(file_path, mode='r', encoding=None, ...)

其中，mode 参数决定了文件的打开方式，常见的模式包括：

模式含义示例场景
r读取模式（默认）读取日志文件
w覆盖写入模式生成新的配置文件
a追加写入模式记录程序运行日志
rb二进制读取模式处理图片或可执行文件
w+读写模式（覆盖文件内容）修改现有文本文件的内容

形象比喻：
可以将这些模式理解为进入图书馆的不同权限：

  • r 是“只读权限”，只能查看书籍内容；
  • w 是“清空重写权限”，进入时会清空书架；
  • a 是“追加写作权限”，像在日记本末尾添加新条目；
  • rb 是“原始数据权限”，直接搬运书籍而不改变其格式。

1.2 文件读取：逐行与一次性加载

示例 1：逐行读取文本文件

with open('data.txt', 'r', encoding='utf-8') as file:  
    for line in file:  
        print(line.strip())  # 去除行末换行符

关键点：

  • 使用 for line in file 可以逐行处理文件，适合大文件避免内存溢出；
  • strip() 方法用于清理每行的空白字符。

示例 2：一次性读取全部内容

with open('data.txt', 'r') as file:  
    content = file.read()  # 返回文件的完整字符串  
    lines = file.readlines()  # 返回包含每行的列表

注意：read() 和 readlines() 都会读取当前指针位置后的内容，若之前已读取过部分数据，后续调用可能返回空值。

1.3 文件写入：覆盖与追加模式对比

with open('log.txt', 'w') as file:  
    file.write("程序启动时间：2023-09-20 10:00\n")  

with open('log.txt', 'a') as file:  
    file.write("任务完成：成功处理 1000 条数据\n")

关键区别：

  • w 模式会清空原文件内容，适合新建或完全重写文件；
  • a 模式保留原有内容，在末尾添加新数据，适合日志记录。

二、进阶技巧：上下文管理与二进制操作

2.1 上下文管理器 with：安全的文件操作

Python 的 with 语句能自动管理文件的打开与关闭，即使发生异常也能确保资源释放。

with open('example.txt', 'r') as file:  
    data = file.read()  

file = open('example.txt', 'r')  
try:  
    data = file.read()  
finally:  
    file.close()

优势对比：

  • with 语法更简洁，避免忘记关闭文件导致资源泄漏；
  • 异常处理更优雅，无需手动编写 try-finally 块。

2.2 二进制文件操作：处理非文本数据

对于图片、音频或压缩包等二进制文件，需使用 rb（读）或 wb（写）模式：

with open('photo.jpg', 'rb') as source:  
    image_data = source.read()  

with open('copy.jpg', 'wb') as target:  
    target.write(image_data)

注意事项：

  • 二进制模式下，数据以字节（bytes）形式存储，不可直接进行文本操作；
  • 处理大文件时建议分块读写（如每次读取 1024 字节），避免内存占用过高。

三、CSV 文件处理：结构化数据的读写

3.1 使用 csv 模块解析表格数据

Python 标准库的 csv 模块提供了便捷的 CSV 文件操作接口：

import csv  

with open('sales.csv', 'w', newline='') as file:  
    writer = csv.writer(file)  
    writer.writerow(['日期', '销售额'])  
    writer.writerows([  
        ['2023-01', 15000],  
        ['2023-02', 18000]  
    ])  

with open('sales.csv', 'r') as file:  
    reader = csv.reader(file)  
    headers = next(reader)  # 跳过表头  
    for row in reader:  
        print(f"月份：{row[0]}, 销售额：{row[1]}")

关键细节：

  • newline='' 参数避免 Windows 系统下写入时产生额外空行；
  • csv.DictReader/DictWriter 支持通过列名操作数据，适合复杂表结构。

3.2 实战案例：合并多个 CSV 文件

import glob  

with open('combined.csv', 'w', newline='') as target:  
    writer = csv.writer(target)  
    # 写入表头  
    with open('sales_01.csv', 'r') as first_file:  
        writer.writerow(next(csv.reader(first_file)))  
    # 合并所有数据行  
    for file_path in glob.glob('sales_*.csv'):  
        with open(file_path, 'r') as source:  
            reader = csv.reader(source)  
            next(reader)  # 跳过每个文件的表头  
            for row in reader:  
                writer.writerow(row)

此案例展示了如何通过 glob 模块批量处理文件，并利用嵌套 with 语句实现资源安全释放。

四、异常处理与性能优化

4.1 文件操作的常见异常及应对

文件 I/O 可能引发的异常包括：

  • FileNotFoundError：文件路径错误或文件不存在；
  • PermissionError：无权限读写指定文件；
  • IOError：底层 I/O 操作失败（如磁盘空间不足）。

推荐的异常处理模式：

try:  
    with open('missing.txt', 'r') as file:  
        content = file.read()  
except FileNotFoundError:  
    print("错误：文件未找到，请检查路径是否正确。")  
except PermissionError:  
    print("错误：无权限访问该文件。")  
except Exception as e:  
    print(f"未知错误：{str(e)}")

4.2 性能优化：批量操作与缓存机制

对于大规模文件（如日志文件），可采用以下策略提升效率：

buffer_size = 1024 * 1024  # 1MB 缓冲区  
with open('large_file.txt', 'r') as file:  
    while chunk := file.read(buffer_size):  
        process(chunk)  # 自定义数据处理函数  

import io  
buffer = io.StringIO()  
for data in generate_data():  
    buffer.write(data)  
final_content = buffer.getvalue()  # 一次性写入磁盘

通过分块读写和内存缓冲，可显著降低频繁磁盘操作带来的性能损耗。

五、实战案例：日志分析工具开发

5.1 需求场景

假设需要统计某日志文件中不同 HTTP 状态码的出现次数，日志格式示例：

INFO 2023-09-20 12:34:56 - Status Code: 200
ERROR 2023-09-20 12:35:01 - Status Code: 500

5.2 代码实现

def count_status_codes(log_file_path):  
    status_counts = {}  
    with open(log_file_path, 'r') as file:  
        for line in file:  
            if "Status Code:" in line:  
                code = line.split(':')[-1].strip()  
                status_counts[code] = status_counts.get(code, 0) + 1  
    return status_counts  

result = count_status_codes('access.log')  
for code, count in result.items():  
    print(f"状态码 {code} 出现次数：{count}")

5.3 扩展功能：导出统计结果到 CSV

def export_to_csv(result, output_path):  
    with open(output_path, 'w', newline='') as file:  
        writer = csv.writer(file)  
        writer.writerow(['Status Code', 'Count'])  
        for code, count in result.items():  
            writer.writerow([code, count])  

export_to_csv(result, 'status_report.csv')

结论

Python 文件 I/O 是连接程序逻辑与外部数据的核心纽带。从基础的读写操作到高级的二进制处理与异常管理，开发者需根据实际需求选择合适的技术方案。本文通过代码示例与实战案例，系统性地展示了如何高效、安全地实现文件操作，同时强调了 with 上下文管理器、异常捕获等最佳实践的重要性。建议读者通过实际项目反复演练，逐步掌握从简单文本处理到复杂数据流操作的技能，最终成为文件 I/O 领域的熟练开发者。

关键词布局检查：

  • "Python 文件 IO" 在标题、前言、结论中自然出现；
  • 段落中通过代码注释、模式对比等场景隐式覆盖关键词。

最新发布

查看更多文章