1TOPS算力性能入门指南：从理论到实践的性能优化

1次阅读

共计 1804 个字符，预计需要花费 5 分钟才能阅读完成。

1TOPS（Tera Operations Per Second）代表每秒一万亿次运算能力，是边缘计算设备的典型算力水平。在智能摄像头、工业质检设备等场景中，1TOPS 算力常面临以下挑战：

帧率下降：1080P 视频处理可能从 25FPS 降至 15FPS 以下
延迟增加：端到端推理延迟超过 200ms 会影响实时性
功耗限制：移动设备通常要求功耗≤5W

TOPS 是理论峰值算力，实际性能受三大因素影响：

MAC 利用率（Multiply–Accumulate Utilization）
理想值 70% 以上，实际常低于 50%
受内存带宽制约（如 LPDDR4X 带宽仅 51.2GB/s）
数据精度
FP32→FP16 可提升 2 倍算力
FP16→INT8 再提升 2 - 3 倍
架构差异
GPU（CUDA Core/ 计算统一设备架构核心）适合并行计算
DLA（Deep Learning Accelerator）专用核心效率更高

import tensorrt as trt

# 创建 Builder 配置
logger = trt.Logger(trt.Logger.INFO)
builder = trt.Builder(logger)
config = builder.create_builder_config()

# 设置 INT8 量化
config.set_flag(trt.BuilderFlag.INT8)

# 动态范围校准
class Calibrator(trt.IInt8EntropyCalibrator2):
    def __init__(self):
        super().__init__()
        self.cache_file = "calibration.cache"

    def get_batch(self, names):
        # 返回校准数据 batch
        return [np.random.randn(1,3,224,224).astype(np.float32)]

config.int8_calibrator = Calibrator()

# 转换 ONNX 模型
parser = trt.OnnxParser(network, logger)
with open("model.onnx", "rb") as f:
    parser.parse(f.read())

# 构建引擎
engine = builder.build_engine(network, config)

修改模型结构实现 Conv+ReLU 融合：

import onnx
from onnx import helper

# 加载原始模型
model = onnx.load("model.onnx")

# 创建新节点
fused_node = helper.make_node(
    "ConvRelu",
    inputs=["input"],
    outputs=["output"],
    kernel_shape=[3, 3],
    strides=[1, 1]
)

# 替换原有节点
model.graph.node.remove(conv_node)
model.graph.node.remove(relu_node)
model.graph.node.extend([fused_node])