KBR's Stacked Thoughts

지난 게시물에서는 오픈소스 LLM 생태계를 정리하면서, 최근 공개된 다양한 모델이 어떤 특징을 갖고 있는지 살펴봤다.

하지만 강력한 파운데이션 모델(foundation models)도 실제로 어떤 작업에 쓰려면 그에 맞게 조정해줄 필요가 있다.

These foundation models are powerful, but they need to be tailored for specific tasks— and that’s where fine-tuning comes in exactly.

그래서 이번 게시물에서는, LLM을 특정 태스크에 맞케 커스터마이징하는 법, 바로 파인튜닝(fine-tuning)의 전체 흐름을 정리해보겠다.

Pretraining → SFT → RLHF → PEFT까지 이어지는 기술 흐름을 따라가면서, 요즘 많이 쓰인다는 LoRA, QLoRA, Soft Prompting 같은 방식들도 함께 정리해볼 예정!

👉 팟캐스트 원본 링크 바로가기

📚 Pre-training: 언어를 처음 배우는 단계

파운데이션 모델의 첫 단계는 pre-training이다. 말 그대로 모델에게 엄청나게 많은 텍스트 데이터를 주는 과정! (팟캐스트에서는 ‘feed’라는 표현을 썼다.)
레이블 없이 그냥 raw 데이터만 주면서 학습시키는 방식이다.

like learning the grammar and vocabulary of a language.

이 과정을 통해 모델은 단어와 문장이 어떻게 연결되는지, 언어의 기본 패턴을 익히게 된다.
하지만 이 작업은 계산 자원을 굉장히굉장히 많이 요구한다. (super resource intensive)

like giving the model a general education in language.

🔌 Fine-tuning: 모델을 “전문가”로 만드는 과정

Pre-training을 통해 모델이 언어에 대한 일반적인 감각을 갖게 되었다면, fine-tuning은 그 모델을 특정 작업에 맞게 다듬는 과정이다.

번역, 질문응답, 창의적인 글쓰기처럼 특정한 작업(task)에 모델을 맞추고 싶을 때, 그에 맞는 작은 규모의 데이터셋으로 추가 학습을 시키는 것!
이 과정을 통해 모델은 일반적인 언어 감각을 가진 ‘학생’에서 특정 분야에 능숙한 ‘전문가’로 바뀌게 된다.

so you’re specializing the model, making it an expert in a particular area.

그리고 이때 자주 쓰이는 방법 중 하나가 바로 Supervised Fine-tuning(SFT)이다.

🧠 Supervised Fine-tuning (SFT): “무엇을” + “어떻게” 가르치기

SFT는 아주 흔하게 쓰이는 파인튜닝 방식이다.
모델에게 프롬프트와 정답이 함께 주어진 데이터셋을 통해 학습시키는 방식.

예를 들어,
“질문을 하면 답을 하게 만들고 싶다”면 → “질문 + 올바른 답변” 쌍이 여러 개 있는 데이터셋으로 모델을 학습시키는 것이다.

이런식으로 SFT는 모델이
✔️ 무엇을 해야 하는지뿐만 아니라 (not just teaching it what to do)
✔️ 어떻게 행동해야 하는지까지 학습하도록 도와준다. (also teaching it how to behave)

→ 도움이 되고(helpful), 안전하고(safe), 지시를 잘 따르는 모델(good at following instructions)로 만드는 데 중요한 역할을 한다.

🎯 RLHF (Reinforcement Learning from Human Feedback)

SFT로는 부족한 부분을 더 보완해주는 게 RLHF이다.

how do teach these models to be more human-like in their responses?

RLHF는 모델의 출력을 사람이 선호하는 방향으로 정렬(alignment)시키는 방법이다.

• 사람이 직접 여러 응답을 보고, 더 나은 응답에 점수를 매기거나 순위를 매기고,
• 그 피드백으로 보상 모델(Reward Model)을 만든 뒤,
• 그 보상 모델을 기준으로 LLM을 강화학습 방식으로 다시 학습시키는 방식.

🧪 RLAIF & DPO: 최신 Alignment 기법들

최근엔 사람 피드백 없이 더 효율적으로 정렬하는 방법도 연구되고 있다.

RLAIF (Reinforcement Learning from AI Feedback)

: 사람 대신 다른 AI 모델이 피드백을 주는 방식

DPO (Direct Preference Optimization)

: 보상 모델 없이도, 선호도를 바로 최적화하는 새로운 접근법

→ 이런 기술들은 정렬 과정(alignment)을 더 빠르고 안정적으로 만드는 시도들이다.

🧩 PEFT (Parameter-Efficient Fine-Tuning): 작은 변화로 큰 효과 내기

LLM을 전부 파인튜닝하는 건 사실 비용과 자원이 엄청나게 많이 드는 작업이다.
그래서 최근에는, 모델 전체를 바꾸지 않고도 원하는 태스크에 적응시키는 새로운 방식인 PEFT(Parameter-Efficient Fine-Tuning) 기법들이 등장하고 있다.

즉, 모델 전체를 손대는 게 아니라, 작은 부분만 조정해서 전체 성능을 끌어올리는 전략이라고 보면 된다.

so it’s like just making small adjustments instead of overhauling the entire system.

아래는 PEFT 기법들의 예시 몇 가지이다:

1️⃣ Adapter-based Fine-tuning

모델 안에 작은 모듈(Adapter)을 추가하고, 그 안의 파라미터만 학습시키는 방식이다. 기존 모델은 유지하면서 일종의 확장팩을 붙여서 새로운 능력을 부여하는 느낌!

2️⃣ LoRA (Low-Rank Adaptation)

전체 weight를 바꾸는 대신, 변화를 저차원 행렬(Low-Rank Matrices)로 근사해서 학습시키는 기법이다. 아주 적은 수의 파라미터만 바꾸면서도, 전체 모델을 파인튜닝한 것처럼 효과를 낼 수 있다.

3️⃣ QLoRA (Quantized LoRA)

LoRA를 더 가볍교 효율적으로 만든 버전이다.
모델의 weight를 양자화(Quantization) 해서 메모리 사용량을 대폭 줄이면서, 훨씬 적은 비용으로 LoRA를 적용할 수 있게 해준다.

4️⃣ Soft Prompting

모델 자체는 건드리지 않고, 입력 앞에 “학습된 벡터”(Soft Prompt)를 붙이는 방식이다. 이 벡터는 모델에게 주는 가이드라인처럼 작동해서, 원하는 태스크에 모델이 더 잘 반응하도록 도와준다.

💭오늘 챙겨간 것들

이번 게시물에서는 LLM을 태스크에 맞게 조정하는 전체 과정을 살펴봤다. Pretraining부터 시작해서 SFT, RLHF, 그리고 최신 Alignment 기법인 DPO까지, 그 흐름 속에서 LoRA, QLoRA, SoftPrompting처럼 비용은 낮추고 효율을 높이는 PEFT 기법이 어떻게 등장했는지도 이해할 수 있었다!

다음 게시물에서는 LLM을 잘 다루기 위한 핵심 기술 중 하나인 프롬프트 엔지니어링을 간단히 살펴볼 예정이다. (프롬프트 엔지니어링은 이번 팟캐스트의 첫 번째 유닛의 메인 주제이기 때문에 이번 인트로 유닛에서는 핵심만 간단하게 설명하고 넘어감!)