INT v.s. FP: A Comprehensive Study of Fine-GrainedLow-bit Quantization Formats 논문 Gemini 3.0 Pro Preview 요약

https://arxiv.org/pdf/2510.25602

 

내 분야는 아니지만 Gemini 3.0 Pro Preview 일단 그냥 한 번 써보고 싶어서, 그리고 요새 핫한 분야로 보여서 한 번 요약만해봄

 

1. Key Terms & Definitions (핵심 용어 및 정의)

• Quantization Granularity: 텐서 내에서 Scale Factor를 적용하는 범위를 의미합니다. 본 논문에서는 Per-tensor나 Per-channel과 같은 Coarse-grained 방식과 대비되는 Block-wise (세밀한 블록 단위) 방식을 중점적으로 다룹니다.
• MX Format (Microscaling): OCP(Open Compute Project)에서 제안한 데이터 포맷으로, 32개 요소(Element)마다 하나의 공유 Scale(UE8M0)을 사용하는 Fine-grained Quantization 방식입니다 (예: MXINT8, MXFP8).
• NV Format: NVIDIA Blackwell 아키텍처 등에서 지원하는 포맷으로, Block size가 16이며 2단계 Scaling을 사용하여 정밀도를 높인 방식입니다 (예: NVFP4).
• Crest Factor ($\kappa$): 신호의 RMS(Root Mean Square) 대비 Peak 값의 비율입니다. Activation Outlier의 심각도를 나타내는 지표로, 이 값이 클수록 FP(Floating-Point) 포맷이 유리하고 작을수록 INT(Integer)가 경쟁력을 가집니다.
• QSNR (Quantization Signal-to-Noise Ratio): 양자화로 인한 노이즈 대비 원본 신호의 비율(dB)로, Quantization의 수치적 정확도(Numerical Fidelity)를 측정하는 주요 Metric입니다.
• Hadamard Rotation: 행렬 곱셈 전에 텐서의 좌표계를 회전시켜 Outlier를 억제하고 Crest Factor를 낮추는 전처리 기법입니다.
• Symmetric Clipping: INT 포맷의 표현 범위를 0을 중심으로 대칭(예: $[-127, 127]$)으로 강제하는 기법입니다. 통상적인 2의 보수 표현($[-128, 127]$)에서 발생하는 Zero-point 편향과 Gradient Bias를 제거하여 Training 안정성을 높입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

• Low-bit Quantization Trend: LLM(Large Language Models)의 막대한 연산량을 처리하기 위해 NVIDIA Blackwell과 같은 최신 AI Hardware는 FP8, FP4와 같은 Low-precision Floating-Point (FP) 포맷을 채택하는 추세입니다. 이는 LLM Activation에 존재하는 극단적인 Outlier를 FP의 넓은 Dynamic Range로 처리하기 위함입니다.
• Research Gap: 기존 연구들은 주로 Per-channel 수준의 Coarse-grained 환경에서 FP와 INT를 비교했기 때문에, FP가 무조건적으로 우수하다는 인식이 지배적이었습니다. 하지만 최근 표준이 되고 있는 Fine-grained (Block-wise) Quantization 환경에서도 이러한 우위가 유지되는지에 대한 체계적인 분석이 부재했습니다.
• Problem Definition: 본 논문은 "Block size가 작아지는 Fine-grained 환경에서도 여전히 FP가 INT보다 우수한가?"라는 질문을 던지며, 현재의 FP 중심 하드웨어 설계 트렌드가 최적의 선택인지 재평가하고자 합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 이론적 분석(QSNR Modeling)과 대규모 실험(Inference & Training)을 통해 INT와 FP 포맷을 다각도로 비교했습니다.

• Theoretical Framework (Crest Factor Analysis):
  • Crest Factor($\kappa$) 기반의 QSNR 이론 모델을 수립했습니다. 분석 결과, $\kappa$가 높을 때는 FP가 유리하지만, Block-wise Quantization으로 블록 크기가 줄어들면 로컬 영역의 $\kappa$가 감소하여 INT 포맷의 성능이 급격히 향상되는 Crossover Point가 존재함을 증명했습니다.
• 8-bit Comparison (MXINT8 vs. MXFP8):
  • Block size 32인 MX 포맷에서 MXINT8은 MXFP8 대비 일관되게 더 높은 QSNR과 Model Accuracy(Llama-3, Qwen 등 12개 모델 대상)를 기록했습니다.
  • FP8은 Mantissa bit의 한계로 인해 정밀도에 상한선(Bound)이 있는 반면, INT8은 $\kappa$가 낮아질수록 정밀도가 지속적으로 개선되었습니다.
• 4-bit Comparison (NVINT4 vs. NVFP4):
  • 기본적인 데이터 분포에서는 FP4가 유리했으나, Hadamard Rotation을 적용하여 Outlier를 억제(Crest Factor 감소)할 경우 NVINT4가 NVFP4의 성능을 역전하거나 대등한 수준을 보였습니다.
• Low-bit Training & Symmetric Clipping:
  • 기존 INT8 Training의 실패 원인이 비대칭 범위($-128$)로 인한 Gradient의 지속적인 음수 편향(Negative Bias)임을 밝혀냈습니다.
  • 이를 해결하기 위해 Symmetric Clipping을 제안하였고, 이를 적용한 MXINT8 Training은 BF16 대비 거의 손실 없는(Lossless) 성능을 달성했습니다.
• Hardware Efficiency:
  • 동일한 Throughput 기준으로 하드웨어 비용을 모델링한 결과, INT 포맷(MXINT8, NVINT4)이 FP 포맷 대비 Energy와 Area 효율성이 약 34%~38% 더 우수함을 확인했습니다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 현재 산업계가 맹목적으로 따르고 있는 "FP 중심의 하드웨어 설계"가 Fine-grained Quantization 시대에는 Suboptimal할 수 있음을 강력하게 시사합니다. 결론적으로 MXINT8은 정확도와 하드웨어 효율성 모든 측면에서 MXFP8보다 우수하며, 4-bit 영역에서도 적절한 Outlier Mitigation(Hadamard Rotation)과 결합된 INT4가 더 나은 대안이 될 수 있습니다. 이는 차세대 AI Accelerator가 복잡한 FP 연산기 대신, Fine-grained INT 포맷을 중심으로 설계되어야 함을 제안하며 Algorithm-Hardware Co-design의 새로운 방향성을 제시합니다.