异常教程

C 库函数 – strtok()（长文讲解）

更新时间:

💡一则或许对你有用的小广告

欢迎加入小哈的星球 ，你将获得：专属的项目实战 / 1v1 提问 / Java 学习路线 / 学习打卡 / 每月赠书 / 社群讨论

截止目前， 星球 内专栏累计输出 90w+ 字，讲解图 3441+ 张，还在持续爆肝中.. 后续还会上新更多项目，目标是将 Java 领域典型的项目都整一波，如秒杀系统, 在线商城, IM 即时通讯，权限管理，Spring Cloud Alibaba 微服务等等，已有 3100+ 小伙伴加入学习 ，欢迎点击围观

一、前言：为什么学习 C 库函数 – strtok()？

在 C 语言开发中，字符串处理是一个高频需求场景。无论是解析配置文件、处理用户输入，还是实现命令行参数解析，开发者都需要高效地将字符串按特定规则拆分成多个子字符串。而 strtok() 函数作为标准 C 库中专为字符串分割设计的核心工具，能够帮助开发者轻松完成这一任务。本文将通过循序渐进的方式，结合实际案例，深入解析 strtok() 的原理、用法及常见陷阱，帮助读者掌握这一实用工具。

二、函数原型与参数解析：揭开 strtok() 的工作原理

1. 函数原型

char *strtok(char *str, const char *delim);

  • 参数说明：

    • str：待分割的原始字符串指针。
    • delim：分隔符字符串，其中每个字符都会被当作一个独立的分隔符使用。

  • 返回值：返回指向下一个令牌的指针，当没有更多令牌时返回 NULL。

2. 核心机制比喻

可以将 strtok() 想象为一把智能切水果刀：

  • 第一次使用：将原始字符串（如“apple,banana orange”）像切水果一样，根据分隔符（如逗号和空格）找到切割点，并将切割后的第一个“果块”（如“apple”）返回给你。
  • 后续使用：只需将 str 参数设为 NULL，函数会自动记住上次切割的位置，继续从剩余部分继续切割（如“banana”和“orange”）。

三、基础用法：如何用 strtok() 拆分字符串？

1. 简单示例：按单一分隔符分割

#include <stdio.h>
#include <string.h>

int main() {
    char str[] = "hello,world,c";
    char *token;
    token = strtok(str, ",");
    while (token != NULL) {
        printf("%s\n", token);
        token = strtok(NULL, ",");
    }
    return 0;
}

输出结果：

hello
world
c

关键点解析：

  • 函数首次调用 strtok(str, ",") 会直接处理原始字符串 str。
  • 后续调用 strtok(NULL, ",") 通过内部静态变量记录进度，无需再次传递原始字符串。

2. 多分隔符处理：同时使用逗号和空格

char str[] = "one two,three four";
char *token = strtok(str, " ,");
while (token != NULL) {
    printf("[%s]\n", token);
    token = strtok(NULL, " ,");
}

输出结果：

[one]
[two]
[three]
[four]

注意：分隔符字符串 " ," 中的空格和逗号会被视为独立分隔符，遇到任意一个都会触发切割。

四、进阶技巧：掌握 strtok() 的高级用法

1. 保留分隔符：结合其他函数实现

虽然 strtok() 会直接移除分隔符，但可以通过 strpbrk() 函数结合指针操作保留分隔符：

#include <string.h>

void split_with_delimiters(const char *str, const char *delim) {
    const char *start = str;
    const char *end;
    while ((end = strpbrk(start, delim)) != NULL) {
        printf("[%.*s]\n", (int)(end - start), start);
        start = end + 1;
    }
    printf("[%s]\n", start);
}

此方法通过逐个查找分隔符位置，保留了原始分隔符的定位信息。

2. 动态字符串处理：避免修改原字符串

由于 strtok() 会直接修改原始字符串（将分隔符替换为 '\0'），当需要保留原字符串时，可采用拷贝策略：

char original[] = "keep me intact";
char copy[256];
strcpy(copy, original);
// 对 copy 使用 strtok()
printf("Original remains: %s\n", original); // 输出不受影响

五、常见陷阱与注意事项：避开开发中的“坑”

1. 原字符串被修改

const char *str = "immutable string";
strtok((char *)str, " "); // 编译器警告，运行时可能崩溃

解决方案：确保传入的 str 是可修改的数组或动态内存，而非字符串字面量。

2. 线程不安全问题

由于 strtok() 使用静态内部变量记录状态，多线程环境下可能导致数据竞争。此时可改用线程安全版本 strtok_r()：

#include <string.h>
char *save_ptr;
char *token = strtok_r(str, delim, &save_ptr);

3. 空字符串与连续分隔符

char str[] = "a,,b";
// 输出结果为：a (空) b ?

实际运行时，连续分隔符会生成空字符串令牌，需根据业务逻辑判断是否需要过滤。

六、实战案例：解析 CSV 格式文件

1. 案例场景

假设需要解析如下 CSV 内容：

name,age,email
Alice,30,Alice@example.com
Bob,25,Bob@example.com

2. 实现代码

#include <stdio.h>
#include <string.h>

void parse_csv_line(const char *line) {
    char *copy = strdup(line); // 复制字符串以避免修改原数据
    char *token = strtok(copy, ",");
    int field_count = 0;
    while (token != NULL) {
        switch (field_count) {
            case 0:
                printf("Name: %s\n", token);
                break;
            case 1:
                printf("Age: %d\n", atoi(token));
                break;
            case 2:
                printf("Email: %s\n", token);
                break;
        }
        token = strtok(NULL, ",");
        field_count++;
    }
    free(copy); // 释放动态内存
}

int main() {
    const char *line = "Bob,25,Bob@example.com";
    parse_csv_line(line);
    return 0;
}

3. 输出结果

Name: Bob
Age: 25
Email: Bob@example.com

七、扩展思考：strtok() 的替代方案

1. 手动遍历实现

对于需要更复杂逻辑（如保留分隔符）的场景，可改用指针遍历：

void custom_split(const char *str, const char *delim) {
    const char *start = str;
    const char *current = str;
    while (*current) {
        if (strchr(delim, *current)) {
            if (current > start) {
                printf("[%.*s]\n", (int)(current - start), start);
            }
            start = current + 1;
        }
        current++;
    }
    if (current > start) printf("[%s]\n", start);
}

2. 标准库其他工具

  • strsep()：BSD 系统提供的线程安全版本，参数顺序不同。
  • 正则表达式：使用 regexec() 等处理复杂模式，但学习成本较高。

八、结论：合理使用 strtok() 的关键要点

通过本文的深入解析，我们掌握了以下核心内容：

  1. 基础用法：通过示例理解 strtok() 的分隔符处理机制。
  2. 进阶技巧：保留分隔符、动态内存管理等场景的解决方案。
  3. 陷阱规避：避免原字符串污染、线程安全问题等常见错误。
  4. 实战应用：通过 CSV 解析案例看到函数的实际价值。

对于初学者，建议从简单案例入手，逐步尝试处理复杂场景；中级开发者则可结合项目需求，探索更高效的字符串处理方案。记住，strtok() 是一把强大的工具，但合理使用才能发挥其最大效用。

通过持续练习与实践，你将能够熟练运用 C 库函数 – strtok() 完成各类字符串分割任务，为开发高效率、可维护的程序奠定坚实基础。

最新发布

查看更多文章