LLM 학습 용어 정리: “AI를 학습시킨다”는 말, 실제로 무엇을 바꾸는 걸까?

• 

목차

1. LLM 학습 용어 정리
2. 언어 생성 딥러닝 모델 학습
3. LLM 학습
4. 학습 단계에 따른 LLM 학습
5. 학습 데이터를 만드는 방법에 따른 LLM 학습
6. Context engineering
7. 제니퍼의 AI 기능을 이 관점에서 보면
8. 자주 묻는 질문 (FAQ)

LLM 학습 용어 정리

LLM을 제품에 적용하는 과정에서 “AI를 학습시킨다”는 표현이 자주 사용됩니다. 여기서 LLM의 학습이라는 말은 여러 의미를 가질 수 있습니다.

각각의 관점과 특징을 알아 두는 것이 LLM을 활용한 제품을 만드는 과정에서 유용하다고 생각해 정리해 보았습니다. 가장 먼저 LLM이란 무엇인지, LLM 학습이란 무엇인지 그 기저에 깔린 기본 개념을 먼저 소개합니다.

그다음으로 LLM 학습을 학습 단계에 따라 3단계로 나눠 설명합니다.

• pre-training
• post-training
• 학습이 완료된 이후 context engineering으로 지식 주입

어느 단계에서 학습했는지와 별개로 어떻게 학습 데이터를 만드는가도 중요합니다. LLM 학습 관련 용어로 자주 언급되는 키워드들이라 함께 정리했습니다.

• Supervised fine-tuning(혹은 SFT)
• Reinforcement learning
• Distillation

언어 생성 딥러닝 모델 학습

GPT는 “Generative Pre-Trained deep learning model”입니다. 이 이름은 GPT가 하고자 하는 일과 그 일을 해내는 방식을 구체적으로 드러냅니다. GPT가 하고자 하는 일은 language generation, 즉 자연어 문장 생성입니다.

그러한 작업이 pre-trained model로 가능하다고 전제합니다. 즉, 주어진 텍스트로부터 다음 단어를 예측하는 고정된 확률 분포 함수가 존재한다고 가정합니다.

그러한 확률 분포 함수를 deep learning model로 표현합니다. 즉, LLM 학습은 딥러닝 학습이며, 딥러닝 학습의 특징이 LLM 학습에서도 고스란히 드러납니다.

딥러닝 모델은 거의 모든 종류의 확률 분포를 근사할 수 있습니다. 우리는 주어진 텍스트로부터 다음 단어를 예측하는 확률 분포 함수가 실제로 존재하는지 알지 못하지만, 어쨌든 딥러닝 모델로 이러한 확률 분포 함수를 데이터로부터 도출해 내는 데 성공했습니다.

딥러닝 모델은 모델의 내용(가중치 혹은 파라미터)을 바꾸는 학습 단계(training phase)와 모델을 사용하는 추론 단계(inference phase)가 엄격하게 구분되어 있습니다. 자연스럽게 pre-trained model이라는 개념이 생기고, LLM으로 표현되는 자연어 전반에 대한 확률 분포 함수는 고정됩니다. 예를 들어, 오늘날의 GPT-5.5는 100년 후 사람과 이야기(inference)를 아무리 많이 해도 100년 뒤의 언어를 익히지 못합니다.

딥러닝 모델은 주어진 정답에 조금씩 가까워지는 gradient descent 방식으로 학습됩니다. LLM의 경우 주어진 텍스트를 입력으로 받아 다음 단어를 정답으로 학습합니다.

입력: “동해물과 백두산이” / 정답: “마르고”, 오답: “높다” → α × (마르고 − 높다) 만큼 학습

다음번에 동일한 입력이 들어오면 정답과 더 가까운 답을 할 가능성이 높습니다. 샘플 하나를 완벽히 기억하는 게 아니라 조금씩만 정답에 가까워지도록 학습하므로 “백두산이” 다음엔 항상 “마르고”가 오도록 보장할 수는 없습니다. 자연어라는 정답이 없는 분야를 학습하기 위해 사용하는 방식이므로 이러한 모호성이 합리적입니다.

딥러닝은 하나의 모델로 하나의 확률 분포 함수를 표현하고, 학습 데이터 하나는 확률 분포 함수 전체에 영향을 미칩니다. 특정 작업에 대해 LLM을 파인튜닝할 때 LLM은 알고 있는 모든 언어와 모든 지식을 재조정하므로 LLM 모델을 학습할 때는 예상치 못한 부작용이 필연적으로 발생합니다.

LLM 학습

“LLM 학습”이라는 표현은 엄밀히는 모델의 파라미터를 업데이트하는 작업을 의미합니다. 이 안에서도 기반 모델을 만드는 pre-training, 사용 목적에 맞게 모델의 행동을 다듬는 post-training으로 나뉘고, 모델 자체를 수정하는 일반적인 방법과 LoRA처럼 기존 모델은 고정한 채 보조 파라미터를 추가해 학습하는 방식으로 다시 나눌 수 있습니다.

어떤 경우에는 모델을 그대로 두고, 외부 문서, 도구 호출 결과 등을 LLM이 읽을 수 있는 문맥으로 구성하는 일을 “LLM 학습”이라고 표현하기도 합니다. “LLM이 무언가를 알게 했다”라는 의미에서 “학습”이라고 표현되는 것입니다. RAG는 이 중 외부 지식을 검색해 실행 문맥에 넣는 대표적인 형태입니다.

다만 모든 context engineering을 “학습”이라고 부르기는 어렵습니다. 외부 지식을 검색해 모델이 참고하게 하는 경우에는 넓은 의미에서 “알게 했다”고 말할 수 있지만, 출력 형식이나 도구 설명을 정리하는 등 학습보다 실행 문맥 설계에 가까운 작업도 있습니다.

특정 모델에 맞춰 전용 프롬프트를 추가하거나 tool description을 조정하고, 반복 문구를 제거하는 후처리를 넣는 작업은 모델 파라미터를 바꾼 학습이 아니며, “LLM 자체를 최적화했다”기보다 LLM을 둘러싼 입력, 도구, 출력 제어를 다듬는 일입니다. 이를 “특정 모델에 맞춰 파인튜닝했다”고 표현해 LLM 학습 방법 중 하나인 fine-tuning과 혼동하는 상황이 있을 수 있습니다.

모델의 기존 파라미터를 바꾸었는지, adapter 같은 보조 파라미터를 학습했는지, 검색 결과와 운영 데이터를 문맥으로 구성했는지, 모델 주변의 기능 통합부를 조정했는지에 따라 기술의 성격과 적합한 사용처가 달라집니다.

학습 단계에 따른 LLM 학습

Pre-training

Pre-training은 언어 능력의 기반을 다지는 단계입니다. 대량의 텍스트와 코드(혹은 이미지, 음성 등 멀티모달 데이터까지)를 사용해 모델이 자연어의 패턴과 일반적인 지식을 익히도록 합니다. 이 단계에서 만들어진 모델을 foundation model, base model, pre-trained model 등으로 부릅니다.

현대의 LLM pre-training은 규모가 굉장히 큽니다. 공개 기술 보고서 중 Qwen3.6은 약 36T token 규모의 pre-training corpus를, DeepSeek-V3는 14.8T token pre-training과 전체 학습 2.788M H800 GPU hours를 사용했다고 보고합니다. (한국 독파모에서 Upstage Solar Open은 19.7T, SK T A.X K1은 10T 규모 학습 데이터 사용) 대형 foundation model의 pre-training은 제품 팀이 고객사 문서를 추가하고 싶을 때 선택하는 작업이라기보다, 기반 모델을 만드는 빅테크의 영역에 가깝습니다.

이렇게 쉽게 접근할 수 없는 기술인 만큼 pre-training은 미국이나 중국의 빅테크나 한국의 “독자 파운데이션 모델 사업” 등 제한된 맥락에서만 이야기되고는 합니다. 제니퍼 또한 범용 LLM을 처음부터 만드는 시도를 하고 있지 않습니다. Pre-training은 진행한 적도, 진행할 계획도 없습니다.

Post-training

Post-training은 pre-training이 끝난 모델을 실제 사용 목적에 맞게 다듬는 넓은 단계입니다. 인간의 언어를 두루 익힌 LLM에 특화된 학습 데이터셋으로 추가 학습을 진행하면 그 구체적인 일감을 더 잘 처리할 수 있습니다.

Pre-training이 기본 언어 능력과 일반적인 배경 지식을 만드는 과정이라면, post-training은 그 기반 모델이 사용자의 지시를 따르고, 안전하지 않은 요청을 거절하고, 정해진 형식으로 답하고, 사람이 선호하는 방식에 더 가깝게 행동하도록 다듬는 과정입니다. “Alignment” 혹은 “정렬”이라는 표현도 이 맥락에서 이해할 수 있습니다.

기업에서 각자의 서비스와 제품에 맞춰 특화 LLM을 만들기 위해 post-training을 하기도 합니다. 네이버 웹툰에서 자사 데이터를 활용해 웹툰, 웹소설 집필용 LLM을 만들거나, 제니퍼에서 제니퍼 인사이트라는 환경에 맞추어 LLM을 post-training하는 것이 대표적인 예입니다. Post-training은 모델의 동작을 전반적으로 수정하므로 모델이 기존에 갖고 있던 능력이 훼손된다는 부작용이 있습니다. 따라서 범용성을 목표로 LLM을 학습한 big tech의 LLM 팀보다, 우리 제품의 뾰족한 수요를 잘 파악한 사내 AI 팀이 더 나은 LLM을 만들 수 있을 때 활용하게 됩니다.

LLM 학습과 관련해 이야기되는 키워드들은 대부분 이 post-training 단계에 위치합니다.

모델을 목적에 맞춰 개조한다: Fine-tuning

Post-training과 fine-tuning은 쉽게 혼용되는 표현입니다. Post-training이 fine-tuning 과정을 포함하기 때문입니다. Fine-tuning은 pre-training된 모델의 파라미터나 LoRA adapter 같은 학습 가능한 보조 파라미터를 업데이트하는 동작을 가리킵니다. 뒤에 소개될 SFT로 정답 예시를 따라가게 하는 일, DPO처럼 선호 데이터를 반영하는 일, LoRA adapter를 덧붙여 학습하는 일 모두 fine-tuning 과정을 거칩니다.

Fine-tuning을 이야기할 때는 수정하는 파라미터의 위치를 구분하는 것이 유용합니다. 전체 모델 또는 주요 가중치를 직접 업데이트하는 full fine-tuning이 있고, 기존 모델은 고정한 채 외부 가중치인 adapter나 LoRA weight처럼 보조 파라미터만 학습하는 parameter-efficient fine-tuning이 있습니다.

LLM 학습, 우리가 더 잘 할 수 있다: Full Fine-tuning

Full fine-tuning은 맞춤 데이터로 전체 모델 또는 주요 가중치를 업데이트합니다. 모델 본체의 가중치를 수정하므로 모델을 제한 없이 깊게 조정하는 접근에 해당합니다. Full fine-tuning은 pre-training보다는 비용이 저렴한 편이지만, 모델의 가중치를 업데이트하므로 GPU, 메모리, 학습 안정성, 회귀 검증 부담이 큽니다. 학습 데이터 규모는 상대적으로 작을 수 있어도, 어떤 입력과 출력을 학습시킬지, 어떤 objective를 둘지, 기존 능력이 손상되지 않았는지 어떻게 평가할지 등을 충분히 고려해야 합니다.

InstructGPT 논문은 SFT, reward model, PPO 흐름을 나누어 설명하며, 총 7만 7천여 건의 학습 데이터를 만들어 학습했다고 보고합니다. (SFT 약 13k prompts, reward model 약 33k prompts, PPO 약 31k prompts) Stanford Alpaca는 52K instruction-following demonstrations로 7B LLaMA를 fine-tuning한 사례를 소개하며, 초기 학습 실행이 8개 80GB A100에서 3시간 걸렸다고 설명합니다.

이렇게 고품질 소량 데이터로 LLM을 fine-tuning해 성능을 개선할 수 있다는 사실이 증명되었습니다. 위 사례들은 수만 건 수준의 예시도 의미 있는 행동 변화를 만들 수 있음을 보여주며, 동시에 저자들은 데이터 품질과 실제 입력 분포가 중요하다는 점을 강조합니다.

잘 학습된 모델을 수정하기 무섭다: LoRA, QLoRA Fine-tuning

LLM이 커질수록 전체 파라미터를 모두 fine-tuning하는 방식은 비용과 자원 부담이 큽니다. LoRA(Low-Rank Adaptation of LLM)는 pre-trained model의 기존 가중치는 고정하고, 일부 계층에 학습 가능한 작은 보조 행렬(Low-Rank Adapter)을 추가해 조정하는 방식입니다. Parameter-efficient fine-tuning의 대표적인 방법으로도 소개됩니다.

QLoRA(Quantized LoRA)는 여기에 quantization을 결합한 접근입니다. 모델을 더 낮은 정밀도로 다루면서 LoRA adapter를 학습해, 더 적은 메모리로 LoRA와 유사한 fine-tuning을 시도할 수 있게 합니다.

LoRA 논문은 GPT-3 175B 기준으로 학습의 대상이 되는 가중치의 숫자를 크게 줄여 GPU와 메모리 사용량을 낮출 수 있다고 설명합니다. QLoRA 논문은 65B 모델을 single 48GB GPU에서 fine-tuning할 수 있도록 메모리 사용을 줄여 학습한 사례를 제시합니다. 65B 모델은 일반적인 방법으로 학습하려면 1TB가 넘는 메모리가 필요하니 대략 1/20 수준으로 메모리 요구량을 줄인 것입니다.

필요한 학습 데이터의 양은 수천~수백만 건 정도로 일반적인 fine-tuning과 비슷한 수준입니다. 그러므로 컴퓨팅 자원의 장벽이 낮아진다는 말이 학습 데이터, 평가 데이터, 과적합 점검, 회귀 검증이 사라진다는 뜻은 아닙니다.

제니퍼 fine-tuning 모델은 이 QLoRA 방식으로 시도되었습니다. 하드웨어 자원을 효율적으로 사용한다는 점이 중요했고, 쉽게 제거할 수 있는 외부 어댑터를 사용하는 방식이라 리스크가 적습니다. 시장에서 LLM을 fine-tuning한다고 하면 LoRA를 사용하는 경우가 많았습니다. (LoRA와 QLoRA를 엄밀히 구분해 이야기하는 경우는 드물었습니다.)

학습 데이터를 만드는 방법에 따른 LLM 학습

Post-training의 실제 품질은 알고리즘 이름보다 데이터와 신호의 품질에 크게 좌우됩니다. 그래서 LLM 학습을 이야기할 때는 데이터 구성을 함께 보는 것이 유용합니다.

저렴하게 확보하는 대규모 데이터: Unsupervised learning(혹은 Self-supervised learning)

“supervise”는 “감독하다”라는 뜻이 있습니다. Supervised learning이라고 하면 학습 과정에서 정답이 존재하는 데이터를 사용하는 학습 방식을 이릅니다. 모델에게 “이게 정답입니다”라고 알려주니 “supervised”인 것입니다.

Unsupervised learning은 정답이 존재하지 않는 데이터로부터 학습하는 방식을 이릅니다. 유사한 데이터를 묶는 clustering이나 경향성을 파악하는 regression 계열 문제를 풀 때 흔히 사용하는 방식입니다.

Supervised learning은 데이터에 “정답”을 표기하는 labeling 작업이 필요합니다. 따라서 unsupervised learning에 비해 데이터 확보 비용이 높습니다. LLM은 복잡한 패턴인 자연어를 표현해야 하므로 표현력이 좋은 딥러닝 방식을 포기할 수 없습니다. 동시에 커다란 모델을 학습하기 위해 대량의 데이터가 필요하므로 supervised learning을 적용할 수 없습니다. 하지만 딥러닝은 대표적인 supervised learning 기법입니다. 이 사이에서 찾은 방법이 self-supervised learning입니다.

LLM은 다음 단어를 예측하는 방식으로 학습됩니다. 따라서 별도의 labeling 없이 이미 작성된 어떤 텍스트라도 학습 데이터로 사용할 수 있습니다. 이렇게 unlabeled 데이터로부터 학습 파이프라인이 자동으로 label을 달 수 있는 형태의 학습을 self-supervised learning이라고 부릅니다.

LLM은 가능한 모든 텍스트 데이터를 활용해 self-supervised learning으로 pre-train되며, post-training 단계에서 소용량, 고품질의 supervised data로 추가 학습을 거쳐 동작을 다듬는 식으로 만들어집니다.

하지만 요즘에는 “저렴한 데이터”라는 점에 초점을 맞춰 unsupervised learning이라는 표현이 더 자주 쓰이는 것 같습니다. 개인적으로 self-supervised learning이라는 표현을 선호하는데, “LLM을 unsupervised learning으로 pre-train한다”는 표현이 지배적이라 아쉽습니다.

소용량 고품질 데이터: SFT(Supervised Fine-Tuning)

SFT는 입력과 바람직한 출력 예시를 데이터셋으로 만들어, 모델이 그 형식을 따라가도록 추가 학습하는 방식입니다. SFT의 대표적인 예로, 지시문과 그에 대한 모범 응답을 학습시켜 모델이 instruction-following 형식에 익숙해지도록 만드는 instruction tuning이 있습니다.

사용자가 “응답 시간이 갑자기 증가하면 무엇을 확인해야 하나요?”라고 입력했을 때, instruction tuning이 되어 있지 않은 모델은 질문의 의도를 따라 답하기보다 “그리고 어떤 지표를 함께 보면 좋을까요?”처럼 질문을 이어 쓰는 방향으로 반응합니다. 다음 단어를 예측하는 언어 모델로서 자연스러운 동작이기 때문입니다.

Instruction tuning은 “질문: 응답 시간이 갑자기 증가하면 무엇을 확인해야 하나요? / 답변: 먼저 응답 시간 증가가 특정 애플리케이션, 트랜잭션, 시간대에 집중되는지 확인하고, 같은 시점의 CPU, DB 지연, 외부 호출, 에러 증가 여부를 함께 살펴봅니다.”처럼 질문과 답변의 쌍을 학습시켜, instruction이라는 입력에 대해 answer라는 출력 형식으로 반응하도록 유도합니다.

SFT는 특정 응답 형식이나 도메인별 말투를 맞추는 데 유용합니다. 그러나 SFT를 했다고 해서 모델이 모든 사실을 안정적으로 기억하거나, 항상 정확한 판단을 내린다고 말할 수는 없습니다.

제니퍼의 경우 정확한 형식, 정확한 언어를 따르도록 유도하기 위한 목적으로 SFT를 사용하고 있습니다. “이런 형식으로 인사이트 분석 요청이 들어오면 이런 식으로 원인 후보와 확인 방법을 설명한다”는 샘플을 많이 만들고, 모델이 그 응답 방식을 따르도록 학습시키는 식입니다.

Reinforcement learning

Reinforcement learning은 모델이 만든 출력에 보상(reward)을 책정하는 시스템을 만들어 더 높은 보상을 받는 방향으로 모델의 행동을 조정하는 방법론입니다. SFT는 주어진 입력에 대한 정답 출력을 모델에 학습시키는 데 반해, reinforcement learning은 어떤 응답이 더 좋은지에 대한 선호, 보상, grader 점수 같은 평가 체계를 이용해 모델을 학습한다는 차이가 있습니다. 이런 평가 체계를 만드는 방법도 여러 가지가 있습니다.

요즘에는 코드 생성이나 수학 문제 풀이를 reinforcement learning에 활용하는 사례가 많습니다. 예를 들어, 모델이 생성한 코드를 실행해, compile 성공 여부, unit test 통과 여부, runtime error 여부 등을 보상 신호로 활용할 수 있습니다.

RLHF(reinforcement learning from human feedback)는 사람이 만든 선호 비교나 평가를 이용해 reward model을 만들고, 그 보상 신호를 기준으로 모델을 조정하는 접근입니다. 사람의 “취향”을 학습한다는 의미에서 Direct Preference Optimization(DPO)라는 용어가 사용되기도 합니다. 주어진 입력에 대해 LLM이 4~5가지 정도 답을 생성하고, 사람이 그 선호 순서를 채점하는 식으로 피드백 데이터를 만듭니다. 이런 채점을 사람이 아닌 AI가 하는 접근도 있습니다.

Distillation

Distillation은 크고 고성능인 모델의 응답을 수집해 더 작고 가벼운 모델을 학습시키는 접근입니다. 큰 모델을 teacher model, 작은 student model이라고 칭하기도 합니다. 목적은 대개 비용, 속도, 배포 제약을 줄이는 데 있습니다.

Distillation은 큰 모델의 모든 능력을 그대로 복제한다는 뜻이 아닙니다. 특정 작업 범위에서 필요한 응답 패턴을 더 작은 모델이 따라가도록 만드는 것에 가깝습니다. “큰 모델의 능력을 작은 모델에 그대로 옮겼다”보다 “저렴하게 학습 데이터를 확보하는 접근”이라고 이해할 수 있습니다.

제니퍼 파인튜닝 모델은 GPT-4.1의 응답을 Gemma3 1B의 학습 데이터로 사용했으므로 distillation 기법을 활용했다고 할 수 있습니다.

Context engineering

Fine-tuning으로 입력한 데이터는 모델이 정확히 재현할 가능성도 있지만, 그러지 않을 가능성도 큽니다. 매뉴얼, 장애 이력, 대시보드 상태처럼 내용이 계속 바뀌거나 최신성이 중요한 정보는 애시당초 모델이 외우게 해서도 안 됩니다. 이런 경우는 외부 데이터 주입, 즉 context engineering으로 다뤄야 합니다.

Context engineering은 LLM이 작업을 수행할 수 있도록 올바른 정보와 도구를 올바른 형식으로 제공하는 작업입니다. 여기에는 사용자 질문, 시스템 지시, 검색 결과, 화면 상태, 도구 설명, 이전 대화, 출력 형식, 안전 제약 등이 포함됩니다.

LLM을 활용하는 대부분의 기능/제품을 만들 때는 이 context engineering에 집중합니다. LLM에게 이 데이터를 그대로 던지는 것만으로는 좋은 분석이 나오기 어렵습니다. 제니퍼에서는 먼저 문제 후보를 좁히고, 운영자가 보는 화면과 데이터의 관계를 정리하고, LLM이 읽을 수 있는 텍스트 구조로 재구성합니다. 이런 작업은 모델을 수정하지는 않지만, 결과 품질에 큰 영향을 줍니다.

Context engineering은 기술적인 용어로는 “학습”이라고 부르지 않습니다. 다만, 외부 지식을 활용해 모델이 “알게 했다”는 맥락에서 사전적인 의미의 “학습”으로 생각할 수는 있습니다.

RAG

RAG는 retrieval augmented generation의 약자로 context engineering의 대표적인 형태 중 하나입니다. 모델이 응답을 생성하기 전에 외부 지식 기반에서 관련 정보를 검색하고, 그 결과를 실행 문맥에 포함해 답변하게 하는 구조를 뜻합니다.

특히 고객사 문서처럼 자주 바뀌고 원문 근거와 권한 관리가 중요한 정보는, 모델 파라미터에 녹이는 것보다 검색 인덱스와 문맥 구성 계층에서 관리하는 편이 자연스러운 경우가 많습니다.

제니퍼 도움말 챗봇처럼 매뉴얼을 기반으로 답하는 서비스는 RAG의 전형적인 용례입니다. 이 경우 “매뉴얼을 학습시켰다”보다 “매뉴얼에서 관련 내용을 검색해 LLM이 참고하도록 했다”는 표현이 더 엄밀합니다.

제니퍼의 AI 기능을 이 관점에서 보면

이러한 개념들과 각각의 특징을 알아 두는 것이 제품을 만들고 운영하는 데 도움이 될 것이라 생각해 이 글을 작성했습니다. AI는 블랙박스처럼 보이기 쉬운 기술인데, 그 장막을 들추는 계기가 되면 좋겠습니다.

제니퍼는 브라우저 LLM에 한해 제한적으로 fine-tuning을 진행하고 있고, 그 외 대부분의 LLM 기능은 모니터링 맥락을 LLM이 읽을 수 있게 정리해 전달하는 RAG와 context engineering으로 구성합니다. 제니퍼 도움말 챗봇이 매뉴얼을 검색해 답하도록 만들고, 제니퍼 인사이트가 메트릭과 트랜잭션 데이터를 정리해 LLM에 넘기는 일이 모두 이 범주에 들어갑니다.

고객사 환경에서 LLM을 학습시키는 일은 그 현실성이 낮습니다. 성능 데이터는 실시간성과 정확성이 중요한데, 위에서 살펴본 것처럼 LLM은 학습 시점에 고정된 확률 분포 함수이므로 매 순간 새로 들어오는 데이터를 모델 안에 기억시키는 데 적합하지 않습니다. 학습에 필요한 양질의 데이터와 GPU 자원을 고객사 환경에서 확보하기 어렵고, 학습 결과가 기존보다 못한 회귀를 일으키더라도 on-premise 환경에서는 이를 안정적으로 평가하고 대처하기 어렵습니다.

같은 이유로 제니퍼도 fine-tuning을 공격적으로 활용하지는 않습니다. Fine-tuning은 모델의 응답 전반에 영향을 미치므로 기존에 잘 답하던 요청에서 회귀 문제가 발생하기 쉽고, 학습 데이터 구성과 결과 평가 자체가 만만치 않은 작업입니다. 그동안 외부 범용 LLM의 개선 속도가 빠르게 유지되고 있고, 고객사가 제니퍼 fine-tuning 모델 전용으로 GPU 인프라를 별도 할당하기도 쉽지 않다는 점도 있습니다.

반대로 context engineering은 실시간 데이터를 매 요청마다 새로 구성해 넘길 수 있고, 외부 LLM이 좋아질수록 같은 작업이 함께 좋아진다는 장점이 있습니다. 고객사마다 도입하는 LLM이 다른 환경에서도 같은 방식으로 대응할 수 있고, 어떤 LLM을 쓰더라도 입력, 도구, 출력을 설계하는 context engineering 작업이 결국 필요합니다. 제니퍼 제품 개발이 지금 context engineering에 무게를 두고 있는 것은 LLM의 특징을 고려한 선택입니다.

자주 묻는 질문 (FAQ)

Q. “LLM 학습”과 “Fine-tuning”은 같은 말인가요?

아닙니다. “LLM 학습”은 엄밀히는 모델 파라미터를 업데이트하는 작업 전체(pre-training + post-training)를 가리키고, fine-tuning은 그중 pre-training된 모델의 파라미터나 보조 파라미터(adapter)를 업데이트하는 동작입니다. 프롬프트 추가나 tool description 조정 같은 작업을 “파인튜닝했다”고 표현하면 혼동이 생길 수 있습니다.

Q. RAG를 쓰면 “AI를 학습시켰다”고 말할 수 있나요?

기술적인 의미의 “학습”은 아닙니다. RAG는 모델 파라미터를 바꾸지 않고 외부 지식을 검색해 실행 문맥에 넣는 context engineering의 한 형태입니다. “매뉴얼을 학습시켰다”보다 “매뉴얼에서 관련 내용을 검색해 LLM이 참고하도록 했다”가 더 엄밀한 표현입니다.

Q. Full fine-tuning과 LoRA/QLoRA의 차이는 무엇인가요?

Full fine-tuning은 전체 모델 또는 주요 가중치를 직접 업데이트하고, LoRA는 기존 가중치를 고정한 채 작은 보조 행렬(adapter)만 학습합니다. QLoRA는 여기에 quantization을 결합해 65B 모델을 single 48GB GPU에서 학습할 수 있을 정도로 메모리 요구량을 줄입니다. 다만 필요한 학습 데이터 양과 평가·검증 부담은 비슷합니다.

Q. SFT와 Reinforcement learning은 어떻게 다른가요?

SFT는 주어진 입력에 대한 정답 출력을 모델에 학습시키는 반면, reinforcement learning은 어떤 응답이 더 좋은지에 대한 선호, 보상, grader 점수 같은 평가 체계를 이용해 학습합니다. RLHF는 사람의 선호 비교로 reward model을 만들어 활용하는 대표적 접근입니다.

Q. 자주 바뀌는 고객사 데이터는 fine-tuning으로 넣으면 안 되나요?

권장되지 않습니다. LLM은 학습 시점에 고정된 확률 분포 함수라 매 순간 새로 들어오는 데이터를 모델 안에 기억시키는 데 적합하지 않습니다. 매뉴얼, 장애 이력, 대시보드 상태처럼 최신성이 중요한 정보는 RAG·context engineering으로 다루는 것이 적합합니다.

Q. Distillation을 하면 큰 모델의 능력이 작은 모델로 그대로 옮겨지나요?

아닙니다. Distillation은 큰 모델의 모든 능력을 복제하는 것이 아니라, 특정 작업 범위에서 필요한 응답 패턴을 작은 모델이 따라가도록 만드는 것에 가깝습니다. “저렴하게 학습 데이터를 확보하는 접근”으로 이해하는 것이 정확합니다.