C++ Token使用全解析：从基础概念到高效实践

1次阅读

没有评论

共计 1891 个字符，预计需要花费 5 分钟才能阅读完成。

在 C ++ 编程中，Token 可以理解为源代码中最小的有意义的单元。编译器在编译过程中，首先会将源代码分解成一系列的 Token，然后再进行后续的语法分析和代码生成。

Token 的类型 ：主要包括关键字(如 if、for)、标识符(变量名)、运算符(如 +、-)、分隔符(如{}、;) 和字面量 (如数字、字符串) 等。
Token 的作用 ：作为编译过程的第一步，Token 化(词法分析) 将原始字符串转换为更有结构的数据，便于后续处理。

在 C ++ 中实现 Token 解析有多种方法，各有优缺点：

手动解析
优点：完全可控，性能最优
缺点：开发复杂度高，维护成本大
适用场景：对性能要求极高的情况
正则表达式
优点：开发速度快，代码简洁
缺点：性能较差，难以处理复杂语法
适用场景：简单的文本解析需求
lex/flex 工具
优点：自动化程度高，专业性强
缺点：学习曲线陡峭，灵活性较低
适用场景：编译器开发等专业领域

下面我们用一个完整的例子展示如何手动实现一个高效的 Token 解析器：

#include <vector>
#include <string>
#include <cctype>

// Token 类型枚举
enum class TokenType {
    NUMBER,     // 数字字面量
    IDENTIFIER, // 标识符
    OPERATOR,   // 运算符
    DELIMITER   // 分隔符
};

// Token 数据结构
struct Token {
    TokenType type;
    std::string value;
    int line; // 所在行号，用于错误定位
};

// 核心词法分析函数
std::vector<Token> tokenize(const std::string& source) {
    std::vector<Token> tokens;
    size_t pos = 0;
    int line = 1;

    while (pos < source.length()) {char current = source[pos];

        // 跳过空白字符
        if (isspace(current)) {if (current == '\n') line++;
            pos++;
            continue;
        }

        // 处理数字
        if (isdigit(current)) {
            std::string num;
            while (pos < source.length() && isdigit(source[pos])) {num += source[pos++];
            }
            tokens.push_back({TokenType::NUMBER, num, line});
            continue;
        }

        // 处理标识符和关键字
        if (isalpha(current)) {
            std::string ident;
            while (pos < source.length() && (isalnum(source[pos]) || source[pos] == '_')) {ident += source[pos++];
            }
            tokens.push_back({TokenType::IDENTIFIER, ident, line});
            continue;
        }

        // 处理运算符和分隔符
        if (ispunct(current)) {tokens.push_back({TokenType::OPERATOR, std::string(1, current), line});
            pos++;
            continue;
        }
    }

    return tokens;
}