本项目演示如何基于 D:\test_gpu\humanparsing 数据集,使用自实现的 SimpleUNet 模型在不同硬件平台(CPU/GPU)下进行 FP32、INT4(权重缓存)、INT8(静态量化/GPU 权重量化)与 bf16 推理评估,并输出精度随时间变化的对比图。
-
确认 Python 环境:
D:\torch\Scripts\python -
安装依赖:
D:\torch\Scripts\python -m pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 D:\torch\Scripts\python -m pip install matplotlib numpy pillow tqdm
- INT8 静态量化基于 torch.ao.fx,仅支持 CPU 后端(FBGEMM/QNNPACK),会自动在 CPU 上运行。
- INT8 GPU 权重量化支持在 GPU 上运行,使用权重缓存方案。
- 脚本支持通过
--devices参数指定需要对比的硬件平台(如cpu,cuda),默认会自动检测可用设备。 matplotlib用于绘制“不同精度方式随时间变化”图,脚本会自动配置中文字体。tqdm提供推理进度条,可随时观察不同精度模型的耗时进度。
humanparsing/
JPEGImages/ # 训练图片 (*.jpg)
SegmentationClassAug/ # 对应 mask (*.png)
脚本默认在 JPEGImages 与 SegmentationClassAug 中查找同名文件,并以最多 128 张图片进行评估;可通过参数将样本数调大或设为 -1 以覆盖全量数据。
D:\torch\Scripts\python .\quantize_humanparsing_demo.py `
--root D:\test_gpu\humanparsing `
--checkpoint .\checkpoints\simple_unet.pth `
--num-classes 20 `
--max-samples 128 `
--batch-size 2 `
--int8-calib-batches 64 `
--devices cpu,cuda `
--plot-path .\quantization_metrics.png如需进一步控制统一环境,可追加 --seed、--torch-threads、--allow-tf32、--cudnn-benchmark、--no-deterministic-algorithms 等参数。
若在 Windows 环境下遇到 DataLoader 多进程问题,可补充 --num-workers 0 退回单进程加载。
- 控制台打印:
- FP32、INT4(权重量化)、INT8(静态量化/GPU 权重量化)、bf16 在每个设备上的像素准确率、平均延迟与 FPS(结果会带上设备标签,便于横向对比)。
- INT8 静态量化固定在 CPU 上执行(使用 FBGEMM/QNNPACK 后端)。
- INT8 GPU 权重量化在 GPU 上执行(如果检测到 CUDA 设备)。
- INT4 为权量化+缓存方式,在 CPU/GPU 上皆可运行。
- 指定路径生成
quantization_metrics.png,展示“累计推理时间(秒) vs. 累积像素准确率”曲线,便于在统一时间预算下比较不同量化方法的效率。
- 新增
environment.py统一控制随机种子、线程数、cuDNN/TF32 选项,保证所有量化方法在完全一致的测试配置下运行。 - 可通过命令行参数配置:
--seed:控制 Python / NumPy / PyTorch 的随机种子(默认 2024)。--torch-threads:固定 PyTorch 使用的 CPU 线程数,避免不同方法的线程竞争。--allow-tf32:在支持的 GPU 上启用 TF32 以提升吞吐;--cudnn-benchmark:开启 cuDNN benchmark(可能提升速度但降低可重复性);--no-deterministic-algorithms:关闭确定性算法,更侧重速度测试。
- DataLoader 支持
--num-workers参数,可在 Windows 上出现多进程问题时设置为0以退回单进程加载。 - DataLoader 自动继承相同的随机种子、worker 初始化逻辑,保证每种量化方式读取完全相同的样本顺序。
- INT4 量化默认关闭
torch.compile加速,如已安装合适的编译器可通过--int4-use-compile启用。 - INT8 GPU 权重量化同样默认关闭
torch.compile(需 Triton/编译器支持),可通过--int8-use-compile手动开启。
- INT8 静态量化(CPU):基于 torch.ao.fx 的 FBGEMM/QNNPACK 内核,支持高效 CPU 推理,提供真实加速效果。注意:仅支持 CPU,因为 PyTorch 的静态量化后端(FBGEMM/QNNPACK)是专为 CPU 优化的。
- INT8 权重量化(GPU):将模型权重量化到 INT8 并缓存反量化结果,支持在 GPU 上运行,提供 GPU 加速能力。使用对称量化(-128 到 127)和权重缓存方案,可在任何设备上运行。
- INT4 权重量化(高效优化版):将模型权重压缩到 4bit 并缓存反量化结果,采用向量化操作、直接设备操作、批量处理和可选的 torch.compile 图优化,提供接近原生 INT4 的推理效率;支持 CPU/GPU 运行,用于无法直接使用专用 4bit 内核时的高效替代方案。
- 多设备对比:通过
--devices参数可灵活指定需要评估的硬件平台,脚本会自动为每种量化方式采集对应设备的性能指标并进行统一可视化。 - bf16 推理:在支持 bf16 的 GPU 上直接加载对应 dtype,同时自动回退 CPU/不支持平台。
- dtype 自动对齐:推理时根据模型配置自动推断输入 dtype,避免
float与bfloat16类型不匹配的运行时错误。 - 可视化增强:自动配置中文字体,消除 matplotlib 缺字警告,并绘制精度随时间的对比曲线。
| 问题 | 解决方案 |
|---|---|
为什么 INT8 静态量化不能在 GPU 上运行? |
PyTorch 的静态量化使用 FBGEMM/QNNPACK 后端,这些后端是专为 CPU 优化的量化内核,不支持 GPU。如需 GPU 上的 INT8,请使用 INT8-GPU(权重量化版本),它使用权重缓存方案,可在 GPU 上运行。 |
如何只评估特定设备? |
使用 --devices 参数,例如 --devices cpu 仅对比 CPU,--devices cuda 仅对比 GPU;也可指定多个设备,如 --devices cpu,cuda。 |
为什么 INT4 不能在 GPU 上运行? |
INT4 实际上可以在 GPU 上运行。如果遇到问题,请检查 CUDA 是否可用(torch.cuda.is_available()),以及模型是否正确移动到 GPU 设备。 |
INT8 量化失败 |
检查 PyTorch 版本是否 ≥1.13 且为 CPU 构建;若仍有问题可尝试降低 --int8-calib-batches 或更换 Python 环境。对于 GPU 版本,确保 CUDA 可用。 |
INT4 推理较慢 |
当前实现已优化(向量化操作、设备直接操作、批量处理、torch.compile),提供接近原生 INT4 的效率;若需真正的硬件加速,请根据硬件集成 TensorRT、bitsandbytes 等专用内核。 |
Input type (float) and bias type (bfloat16) |
脚本已内置 dtype 自动对齐逻辑,更新代码后重新运行。 |
| Matplotlib 中文显示方块或警告 | Windows 平台已自动加载微软雅黑/黑体等字体;若仍缺失,可安装 Noto Sans CJK。 |
- 使用
--max-samples -1评估全量数据集(耗时会显著增加)。 - 可通过
--checkpoint指定本地训练好的 SimpleUNet 权重;如未提供将使用随机初始化。 - 若需保存量化后的模型权重,可在
quantization/int4_weight_only.py或quantization/int8_static.py中添加序列化逻辑。
祝实验顺利!如需进一步集成到国产加速器或扩展训练流程,可继续在本仓库基础上完善。