C++ Token使用全解析：从基础概念到高效实践

1次阅读

共计 2100 个字符，预计需要花费 6 分钟才能阅读完成。

Token 是编程语言中最小的有意义的单元，可以理解为源代码的 ” 词汇 ”。在 C ++ 编译过程中，Token 的识别是词法分析阶段（Lexical Analysis）的核心任务。编译器通过识别 Token，将源代码转换成一系列有意义的标记，为后续的语法分析做准备。

常见的 C ++ Token 类型包括：

关键字（如if, for, class）
标识符（变量名、函数名等）
字面量（数字、字符串等）
操作符（+, -, =等）
分隔符（;, ,, {}等）

在 C ++ 中实现 Token 解析主要有以下几种方式，各有优缺点：

这是最基础的方式，通过逐个字符读取源代码并判断 Token 类型。

优点：

完全可控，可以处理任何特殊语法
不需要额外依赖

缺点：

实现复杂，容易出错
维护成本高

使用 C ++11 引入的 <regex> 库进行模式匹配。

优点：

实现相对简单
模式匹配能力强

缺点：

性能开销较大
复杂的语法难以用正则表达

使用专门的词法分析生成器。

优点：

自动生成高效的词法分析器
维护简单

缺点：

需要学习专用语法
构建流程复杂

下面展示一个简单但完整的手动解析实现，符合 Clean Code 原则：

#include <iostream>
#include <vector>
#include <string>
#include <cctype>

// Token 类型枚举
enum class TokenType {
    KEYWORD,
    IDENTIFIER,
    NUMBER,
    OPERATOR,
    DELIMITER,
    STRING,
    END_OF_FILE
};

// Token 结构体
struct Token {
    TokenType type;
    std::string value;
    int line;

    Token(TokenType t, const std::string& v, int l) 
        : type(t), value(v), line(l) {}};

// 简单的词法分析器类
class Lexer {
public:
    Lexer(const std::string& source) 
        : source(source), position(0), line(1) {}

    // 获取下一个 Token
    Token getNextToken() {skipWhitespace();

        if (position >= source.length()) {return Token(TokenType::END_OF_FILE, "", line);
        }

        char current = source[position];

        // 识别数字
        if (isdigit(current)) {return parseNumber();
        }

        // 识别标识符或关键字
        if (isalpha(current) || current == '_') {return parseIdentifierOrKeyword();
        }

        // 识别字符串
        if (current == '"') {return parseString();
        }

        // 识别操作符
        if (isOperator(current)) {return parseOperator();
        }

        // 识别分隔符
        if (isDelimiter(current)) {return parseDelimiter();
        }

        // 未知字符
        position++;
        return Token(TokenType::OPERATOR, std::string(1, current), line);
    }

private:
    // 辅助方法实现...
    // (实际实现中应包含 skipWhitespace, parseNumber 等方法)
};