transformer 量化

量化概念 - Hugging Face 文档

量化通过使用低精度数据类型（如 8 位整数或 int8）而非标准 32 位浮点数 (float32) 来表示模型权重和/或激活，从而减少大型机器学习模型（例如 Transformers 库中的模型）的内存占用和计 …

IBert：让Transformer实现全量化推理 - 知乎

概览 Transformer量化推理的难点 非线性函数的全量化推理 LayerNorm全量化推理 实验精度 总结 之前介绍过 Google 提出的神经网络量化技术 这些技术基本都是针对常见的卷积网络设计的，并且只适用于 ReLU 这种分段线性的激活函数。 但到了 Transformer 这类模型中，情况就有点变化了。 由于 Transformer 都是由一个个基础的 block 组成的，因此我们看一下一个 Transformer ...

探秘Transformer系列之（34）--- 量化基础 - 罗 …

量化 Transformers 模型 - Hugging Face

量化 Transformers 模型 - GitHub

大模型轻量化秘籍：Transformer架构量化技术入门指南

2025年10月26日 · 量化是将神经网络中高精度的浮点数（如32位浮点数FP32）转换为低精度的整数（如8位整数INT8）的过程。 就像很大的石头无法运输，将大石头切成小块的方式，既可以 …

Transformers框架中的模型量化类型 - 知乎

2025年3月13日 · 本文系统论述了Transformer框架中模型量化的六大技术路线及其实现细节。 实验表明，合理的量化策略可使模型尺寸缩小4倍、推理速度提升2-3倍，同时保持98%以上的原始 …

五年，终于等来Transformers v5-36氪

2025年12月2日 · 紧跟技术前沿， v5 将量化作为 Transformers 的核心能力之一，确保它能够与主要功能完全兼容，并为训练与推理提供一个可靠的量化框架。

实战PyTorch：Transformer模型的量化与优化

2024年8月14日 · 简介： 本文将带您深入了解如何在PyTorch中对Transformer模型进行量化，通过减少模型大小和加快推理速度，提升实际应用中的性能。

量化 - Hugging Face 文档

Transformers 支持 AWQ 和 GPTQ 量化算法，并且支持使用 bitsandbytes 进行 8 位和 4 位量化。 Transformers 中不支持的量化技术可以通过 HfQuantizer 类添加。