LoRA: Low-Rank Adaptation

 

현대 AI 개발의 패러다임은 거대언어모델(LLM)을 특정 도메인에 최적화하는 '파인튜닝(Fine-Tuning)'을 중심으로 재편되었습니다. 하지만 모델의 체급이 커질수록 엔지니어가 마주하는 현실적인 벽은 가혹합니다. 1,750억 개의 파라미터를 가진 GPT-3를 예로 들어보겠습니다. 이 모델을 전체 파인튜닝(Full Fine-Tuning)하려면 350GB 이상의 체크포인트 저장 공간은 물론, 천문학적인 GPU 연산 자원이 필요합니다.

많은 개발자에게 이는 '불가능한 미션'처럼 보였습니다. 인프라의 한계로 인해 거대 모델이라는 '거인의 어깨'에 올라타는 것조차 허락되지 않았던 것이죠. 하지만 여기, 모델의 핵심 가중치는 고정하면서도 0.01% 수준의 파라미터만으로 거대 모델을 길들일 수 있는 기술적 돌파구가 등장했습니다. 바로 저차원 적응(LoRA: Low-Rank Adaptation)입니다.

--------------------------------------------------------------------------------

"효율의 극치": 전체 파라미터의 0.8%만 학습해도 충분하다

LoRA의 철학은 **매개변수 효율적 파인튜닝(PEFT: Parameter-Efficient Fine-Tuning)**에 뿌리를 두고 있습니다. 모든 가중치를 수정하는 대신, 기존 가중치(W_0)는 동결(Freeze)하고 업데이트가 필요한 변화량(\Delta W)만을 저차원 행렬의 곱으로 근사하여 학습하는 방식입니다.

특히 시니어 엔지니어 입장에서 주목할 점은 LoRA가 주로 셀프 어텐션(Self-Attention) 모듈의 가중치(W_q, W_v)에 집중한다는 것입니다. MLP 레이어를 고정하고 어텐션 가중치만 튜닝함으로써 효율을 극대화합니다.

구체적인 수치로 증명해 보겠습니다. 입력 차원(d)이 4096인 행렬 W를 학습한다고 가정할 때:

• 기존 전체 파인튜닝: 4096 \times 4096 = 16,777,216 (약 1,600만 개)의 파라미터를 모두 업데이트해야 합니다.
• LoRA 방식 (Rank r=16): 두 개의 저차원 행렬 A(r \times d)와 B(d \times r)만 학습합니다. 파라미터 수는 2 \times 16 \times 4096 = 131,072개로 줄어듭니다.

결과적으로 전체 파라미터의 약 0.8%만 학습하고도 동일한, 혹은 그 이상의 성능을 낼 수 있습니다.

"0.8%의 패러미터만 학습을 하면되기 때문에 학습 효율이 뛰어나다" — 조대협 블로그 중

이러한 마법이 가능한 이유는 학습된 거대 모델이 실제로는 매우 낮은 내재적 차원(Intrinsic Dimension)을 가지고 있기 때문입니다. 즉, 모델의 복잡도에 비해 실제 작업을 수행하는 핵심 하위 공간(Subspace)은 생각보다 작다는 원리입니다. 이를 통해 전체 파인튜닝 대비 학습 속도를 약 25% 향상시킬 수 있습니다.

--------------------------------------------------------------------------------

"속도의 마법": 인퍼런스 지연(Latency)이 전혀 없는 구조적 설계

이전의 효율적 튜닝 기법인 어댑터(Adapter) 방식은 치명적인 약점이 있었습니다. 기존 트랜스포머 레이어 사이에 새로운 계층을 삽입하는 구조였기에, 추론 시 하드웨어의 병렬 처리를 방해하고 순차적 처리(Sequential Processing) 오버헤드를 발생시켜 추론 지연(Inference Latency)을 유발했습니다.

반면 LoRA는 프로덕션 환경의 실시간 서비스(Online Inference)를 완벽하게 배려한 설계를 갖추고 있습니다.

• 가중치 병합(Weight Merging): 학습이 완료된 후, 저차원 행렬의 곱(BA)을 기존 가중치(W_0)에 직접 더해 (W = W_0 + BA) 하나의 행렬로 통합할 수 있습니다.
• Zero-Overhead Inference: 추론 시점에는 추가적인 연산이나 레이어가 존재하지 않습니다. 모델 샤딩(Sharding)이나 동기적 GPU 연산(Synchronous GPU operations) 환경에서도 전체 파인튜닝 모델과 완전히 동일한 속도를 보장합니다.

엔지니어링 측면에서 이는 배포 운영 효율성을 압도적으로 높여주는 LoRA만의 핵심 경쟁력입니다.

--------------------------------------------------------------------------------

"낮은 Rank의 반전": 왜 Rank 1이나 2로도 충분한가?

LoRA의 핵심 하이퍼파라미터는 Rank(r)입니다. 이론적으로는 Rank가 높을수록 복잡한 학습이 가능할 것 같지만, 실제 실험 결과는 흥미로운 '역설'을 보여줍니다.

• Rank Paradox: GPT-3와 같은 거대 모델에서도 Rank를 1이나 2 정도로 매우 낮게 설정해도 충분한 성능이 나옵니다.
• 하위 공간 유사도(Subspace Similarity): 분석 결과, r=1과 r=64에서 학습된 업데이트 행렬은 서로 0.5 이상의 높은 유사도를 공유하는 핵심 하위 공간을 가집니다. 즉, 낮은 Rank에서도 이미 모델 최적화에 필요한 핵심 방향성을 충분히 잡아낸다는 뜻입니다.
• 기술적 통찰: LoRA는 W의 주요 성분을 반복하는 것이 아니라, 기존 가중치에서 강조되지 않았던 무시된 방향(Neglected directions)을 찾아내어 증폭하는 역할을 합니다.

또한, LoRA는 업데이트 시 \alpha/r 스케일링 요소를 도입합니다. 이는 Rank(r)를 변경하더라도 매번 하이퍼파라미터를 재튜닝할 필요 없이 안정적인 학습을 가능하게 하는 시니어 엔지니어들의 숨은 디테일입니다.

--------------------------------------------------------------------------------

"유연한 변신": USB 메모리를 갈아끼우듯 교체하는 모델

LoRA의 가장 강력한 비즈니스 가치는 배포의 유연성에 있습니다. 모델 전체를 저장하는 대신, 학습된 소규모 행렬(A, B)만 따로 저장하면 되기 때문입니다. 여기서 저장 공간(Storage)과 학습 중 메모리(VRAM)의 드라마틱한 감소를 확인해야 합니다.

• 체크포인트 용량 혁명: GPT-3 175B 기준, 전체 파인튜닝 시 350GB에 달하던 체크포인트가 LoRA를 적용하면 35MB로 줄어듭니다. 약 10,000배의 공간 절약입니다.
• VRAM 점유율 감소:

이러한 특징 덕분에 엔지니어는 하나의 거대한 'Base Model'을 VRAM에 상주시켜 두고, 사용자의 요청에 따라 요약용 LoRA, 코딩용 LoRA, 챗봇용 LoRA 모듈을 마치 USB 메모리를 교체하듯 즉석에서 갈아끼우며 다중 작업(Multi-task) 서비스를 운영할 수 있습니다.