C++ Token使用指南：从基础概念到实战避坑

1次阅读

没有评论

共计 1452 个字符，预计需要花费 4 分钟才能阅读完成。

在开发 Web 服务时，我们经常需要验证用户身份。假设你正在开发一个在线支付系统，当用户登录后，服务器需要一种方式来识别后续请求来自同一个用户。直接传递用户名和密码显然不安全，这时候 Token 就派上用场了。

另一个场景是编译器开发。当解析 C ++ 源代码时，编译器需要把代码拆分成一个个有意义的单元（如关键字、标识符、运算符等），这些单元就是 Token。比如 int x = 42; 会被拆解为：

int（关键字）
x（标识符）
=（运算符）
42（字面量）

在 C ++ 中，我们主要有三种方式来实现 Token：

C 风格字符串
优点：内存占用最小，兼容 C 接口
缺点：需要手动管理内存，容易造成泄漏
std::string
优点：自动管理内存，使用方便
缺点：拷贝开销较大
智能指针
优点：支持移动语义，线程安全
缺点：实现稍复杂

下面是一个线程安全的 Token 类实现：

/**
 * @brief 线程安全的 Token 类
 * @note 使用 RAII 管理资源，支持移动语义
 */
class Token {std::unique_ptr<char[]> data_;
    size_t length_;
    mutable std::mutex mutex_;

public:
    // 禁止拷贝构造
    Token(const Token&) = delete;
    Token& operator=(const Token&) = delete;

    // 移动构造
    Token(Token&& other) noexcept {std::lock_guard<std::mutex> lock(other.mutex_);
        data_ = std::move(other.data_);
        length_ = other.length_;
    }

    // 从字符串构造
    explicit Token(const char* str) {length_ = strlen(str);
        data_ = std::make_unique<char[]>(length_ + 1);
        std::copy(str, str + length_, data_.get());
        data_[length_] = '\0';
    }

    // 获取 Token 内容（线程安全）std::string str() const {std::lock_guard<std::mutex> lock(mutex_);
        return std::string(data_.get(), length_);
    }
};

我们对三种实现进行了基准测试（测试环境：Intel i7-9700K, 32GB RAM）：