공부/양자화

ONNX, TensorRT, 양자화(Quantization) 정리

ha2yong 2025. 11. 5. 14:04

딥러닝 모델을 실제 환경(특히 Edge AI, GPU 환경)에서 빠르게 실행하기 위해서는 단순히 학습만 잘한다고 끝이 아니다.
현장에서 어떤 방식으로 모델을 배포하고 최적화해야 하는지 이해하는 과정에서 ONNX, TensorRT, 그리고 양자화 개념을 정리했다.

목차

  1. 왜 최적화가 필요한가
  2. ONNX란 무엇인가
    • 개념
    • 왜 사용하는가
    • 비유
  3. TensorRT란 무엇인가
    • 개념
    • 동작 원리
    • 비유
  4. 양자화(Quantization)란 무엇인가
    • 개념
    • FP32, FP16, INT8, INT4 비교
    • 비유
  5. ONNX → TensorRT → Edge 실행 흐름
  6. 실제 적용 시 주의점
  7. 정리 및 느낀점

1. 왜 최적화가 필요한가

딥러닝 모델은 연구용 환경에서는 GPU가 빠르게 처리해주지만, 실제 현장에서는 다음 문제들이 발생할 수 있다.

  • GPU가 없거나 리소스가 제한된 환경
  • 전력 소비 제한(드론, 로봇, 스마트 카메라 등)
  • 실시간 응답 지연 문제(예: 1초 이내 반응 필요)
  • 네트워크 환경이 불안정하여 클라우드 의존이 어려운 경우

따라서 모델을 가볍게, 빠르게, 안정적으로 만드는 과정이 필요하다.

2. ONNX란 무엇인가

개념

ONNX(Open Neural Network Exchange)란 서로 다른 AI 프레임워크(PyTorch, TensorFlow 등)를
공통 포맷으로 변환하는 모델 교환 표준이다.

즉, 모델을 특정 프레임워크에 묶어두지 않고
다양한 플랫폼에서 동작하게 하기 위한 통합 파일 형식이다.

왜 사용하는가

  • PyTorch에서 만든 모델을 다른 환경(예: C++, TensorRT)에서 사용할 수 있다
  • 모델을 동일한 포맷으로 변환함으로써, 호환성과 재사용성이 높아진다
  • Edge AI 보드나 NPU 칩들이 ONNX 포맷을 입력으로 받는 경우가 많다

비유

  • PyTorch 모델이 한국어라면, ONNX는 전 세계 어디서나 읽히는 번역 문서이다
  • 즉, ONNX는 “딥러닝 모델의 PDF 파일”이라고 볼 수 있다

3. TensorRT란 무엇인가

개념

TensorRT는 NVIDIA가 제공하는 딥러닝 추론 최적화 엔진이다.
ONNX 모델을 입력받아, GPU에서 가장 빠르게 실행되도록 변환해준다.

동작 방식

TensorRT는 다음과 같은 작업을 수행한다:

  • 연산 최적화 및 그래프 변환
  • FP16/INT8 기반 정밀도 조정
  • 커널 선택 및 실행 경로 최적화
  • 불필요 계산 제거 및 레이어 병합

비유

  • 원본 모델은 기본 자동차
  • TensorRT로 변환하면 엔진 튜닝을 거친 스포츠카가 된다
  • 같은 모델이지만 더 빠르고 더 적은 연료로 달린다

4. 양자화(Quantization)란 무엇인가

개념

딥러닝 모델이 사용하는 숫자의 정밀도를 낮춰
연산량과 메모리 사용을 줄이고 속도를 높이는 기술이다.

FP32(32비트) 대신 FP16, INT8, INT4 같은 형식을 사용한다.

정밀도 비교

형식 설명 특징
FP32 32비트 실수 가장 정확하지만 무거움
FP16 16비트 실수 절반 크기, 속도 향상
INT8 8비트 정수 속도와 효율이 매우 뛰어남
INT4 4비트 정수 매우 빠르지만 정확도 손실 위험

양자화의 효과

  • 모델 메모리 사용 감소
  • 연산량 감소 및 배터리 절약
  • 실시간 처리 지연 감소

비유

  • 고해상도 원본 사진을 압축하는 것과 유사
  • 너무 많이 줄이면 화질이 깨지듯, 양자화도 과하면 정확도가 떨어진다

5. 배포 흐름 정리

일반적인 학습 및 배포 흐름은 아래와 같이 정리된다.

PyTorch 모델 (.pt)
→ ONNX 변환 (.onnx)
→ TensorRT 엔진 최적화 (.plan)
→ GPU / Edge 디바이스에서 초고속 실행

6. 적용 시 주의점

  • 모든 연산이 ONNX로 완벽 변환되지는 않는다
  • TensorRT가 지원하지 않는 연산이 있을 수 있다(플러그인 필요)
  • 과도한 양자화는 정확도 저하를 유발할 수 있다
  • 테스트 데이터를 이용하여 캘리브레이션이 필요하다
  • 입력 사이즈 고정 모델이 더 빠르다 (동적 입력은 성능 저하 가능)

7. 정리 및 느낀점

이번 내용을 공부하며 느낀 점:

  • 연구용 모델과 실제 서비스용 모델은 완전히 다른 영역이다
  • ONNX는 플랫폼 독립성 확보에 필수적인 구조
  • TensorRT는 NVIDIA 환경에서 필수적인 최적화 도구
  • 양자화는 속도와 정확도의 균형을 맞추는 기술
  • 결국 실제 제품 수준의 AI는
    "정확도 + 속도 + 전력 효율 + 안정성" 이 4개를 모두 고려해야 한다

이제 목표는
직접 ONNX로 변환하고 TensorRT 엔진을 만들어보며
FP16, INT8 등 다양한 정밀도 설정을 실험하는 것이다.

필요하면 아래도 같이 만들어줄 수 있다:

  • TensorRT 설치 및 환경 구성 가이드(윈도우/리눅스/Jetson)
  • PyTorch → ONNX 변환 코드
  • ONNX → TensorRT 엔진 변환 코드 예제
  • 속도 비교 실험 템플릿
  • 실제 블로그용 이미지/도식 제작

'공부/양자화'의 다른글

  • 현재글ONNX, TensorRT, 양자화(Quantization) 정리

티스토리툴바