[AI] 실무 중심 LLM 활용의 핵심

[AI] Peterica의 AI공부와 비젼 정리

ㅁ 들어가며

AI 모델의 스케일링 한계, Test-Time Revolution, 그리고 강화학습의 재해석

최근 생성형 AI가 빠르게 발전하면서 LLM의 활용이 실무 전반에 깊숙이 들어오고 있다.
하지만 이 과정에서 우리가 당연하게 믿고 있던 몇 가지 전제가 무너지고 있다.

• 모델 성능은 Compute(연산량)에 비례한다
• 모델을 키우면 성능도 계속 상승한다
• LLM 능력 향상의 핵심은 Training-time 에 있다
• 강화학습(RL)은 LLM을 획기적으로 똑똑하게 만든다

이번 세미나는 이 믿음들을 다시 들여다보고,
AI 모델을 실무에서 실제로 “잘” 활용하기 위해 이해해야 할 핵심 변화들을 짚어준다.

 

ㅁ Train-Time Scaling의 시대는 끝나가고 있다

LLM 발전의 첫 번째 시대는 Train-Time Scaling이었다.
즉, 데이터를 더 모으고, 모델 크기를 키우고, GPU를 더 때려 넣으면 성능이 올라갔다.

하지만 최근에는 완전히 다른 현상이 나타난다.

 

✔ 더 많은 Compute가 더 좋은 성능을 보장하지 않는다

특히 최상위 모델에서는 모델 크기 증가 대비 성능 향상이 정체되는 지점이 확인되고 있다.
Compute 비용은 급상승하는데 성능 상승은 미미해지는 “포화 구간”에 진입한 것이다.

 

✔ 데이터의 질이 Compute보다 더 중요해졌다

인터넷 데이터는 이미 대부분 활용되었고,
새로운 고품질 데이터의 확보는 비용과 시간이 기하급수적으로 늘어난다.

즉, “더 크게 학습하면 된다”라는 방식은 더 이상 유효하지 않다.

 

ㅁ 새로운 패러다임: Test-Time Scaling

이 흐름 속에서 등장한 새로운 접근이 Test-Time Scaling이다.

“모델을 학습할 때가 아니라, 답변을 생성하는 순간 더 깊이 생각하게 하자.”

 

기존 LLM은 입력을 받으면 즉시 답변을 뱉는 방식이었다.
하지만 새로운 LLM은 “생각하는 과정” 자체를 늘려 성능을 끌어올린다.

 

✔ 추가 연산을 투입해 더 깊게 추론

• 더 많은 sampling
• 더 긴 chain-of-thought
• 더 복잡한 reasoning 구조
• 여러 후보 해를 만들고 비교하는 방식

특히 난이도 높은 문제일수록 이 방식의 성능 향상 폭이 크다.

 

✔ 대표 사례: DeepSeek-R1

모델이 결과만 맞추면 되는 구조에서 벗어나
왜 그렇게 생각했는지 “추론 과정” 자체를 강화학습으로 최적화한다.
이는 기존 LLM 발전 방식과 완전히 다른 접근이다.

 

 

ㅁ LLM의 실제 능력은 얼마나 올라왔는가?

세미나에서 다룬 고난도 수학 문제 평가 사례는 매우 인상적이었다.

• 인간 전문가(IMO 출전 경력 팀): 평균적 성능
• 최신 LLM: 일부 모델은 인간 전문가의 2~3배 문제를 해결
• 특정 모델은 1시간 이상 “생각”하도록 허용하면 정답률이 더 올라감
• 이것은 단순 암기나 패턴 생성이 아닌 실제 reasoning 능력의 향상을 보여준다

즉, 모델 크기보다도 ‘생각하는 시간’이 성능을 결정하는 시대가 된 것이다.

 

ㅁ 강화학습(RL)은 만능이 아니다

세미나에서 반복적으로 강조된 내용 중 하나는 이것이었다.

 

✔ RL로 LLM을 무조건 똑똑하게 만들 수 있다는 믿음은 잘못이다

• RL이 잘 작동하려면 모델이 이미 어느 정도 똑똑해야 한다
• 정답 여부가 명확해야 학습 시그널이 의미가 있다
• 찍어서 맞추는 확률이 낮아야 reward가 의미 있게 작동
• task 구조가 너무 복잡하면 RL이 효과를 내기 어렵다

특히 작은 모델에서는 RL보다 SFT(지도학습) 기반의 정제된 데이터가 훨씬 효과적이다.

 

✔ RL이 잘 작동하는 분야와 그렇지 않은 분야

• ▲ 수학, 논리, 코드 등 정답이 명확한 분야 → RL 효과 크다
• ▼ 주식 예측, 감성 분석, 창작 등 정답이 모호한 분야 → RL 효과 거의 없음

즉, RL은 “특정 조건에서 강력하지만, 범용 솔루션은 아니다”.

 

ㅁ 모델 구조는 대형화보다 “효율화”가 핵심

연구자들이 공통적으로 강조하는 트렌드는 다음과 같다.

 

1) MOE(Mixture of Experts) 구조 확대

• 전체 파라미터는 많지만,
• 토큰당 사용하는 파라미터는 극히 일부
• 속도와 비용을 낮추면서도 성능 유지 가능

최신 모델 대부분이 이 구조를 채택하는 이유다.

 

2) 양자화(Quantization) 기술의 고도화

예전의 4bit 양자화는 성능 손실이 컸다.
하지만 지금은 QAT(Quantization-Aware Training) 덕분에
INT4 기반 모델도 이유 있는 고성능을 보이고 있다.

 

3) 모델 사이즈보다 “구조적 혁신”이 중요

LLM은 이미 모델 크기 경쟁에서 벗어나고 있다.
이제는 효율적인 구조, 프롬프트 전략, reasoning 강화가 핵심이다.

 

 

ㅁ  파인튜닝은 여전히 중요하지만 목적이 달라졌다

✔ 파인튜닝의 목표는 “지식 강화”가 아니다

 

LLM은 이미 광범위한 지식을 갖고 있기 때문에,
이제 파인튜닝의 초점은 다음과 같다.

• 도메인 특화 워크플로우 학습
• 조직의 규칙·정책·절차 반영
• 언어 혼선(Language Confusion) 해결
• Tool-Use, API 호출 방식 정교화
• 안전성 강화·일관성 개선

즉, 파인튜닝은 “모델을 더 똑똑하게 만드는 과정”이 아니라
“우리 조직에 맞게 교정하는 과정”이 되었다.

 

ㅁ 실무자가 꼭 기억해야 할 핵심 메시지

ㅇ Train-Time Scaling → Test-Time Scaling으로 시대가 이동

  더 많은 GPU보다 더 많은 “생각 시간”이 성능을 만든다.

 

ㅇ RL은 강력하지만 제한적

  모델이 충분히 똑똑하고, 정답이 명확한 경우에만 효과적이다.

 

ㅇ 모델 대형화 경쟁은 끝났다

  MOE·양자화·구조적 최적화가 실질적인 차이를 만든다.

 

ㅇ작은 모델도 충분히 강해지고 있다

  SFT + Test-time reasoning만으로 대규모 모델에 근접한 성능을 달성하는 사례가 늘고 있다.

 

ㅇ 실무에서 중요한 것은 모델 크기가 아니라 “적합한 전략”

• 올바른 데이터
• 적절한 파인튜닝
• Test-time reasoning 구성
• 툴 연동이 네 요소가 실제 서비스 품질을 결정한다.

 

ㅁ 마무리

이번 세미나는 LLM의 발전 방향을 “더 크고 비싼 모델”에서
“더 효율적이고, 더 깊이 생각하는 모델”로 이동하고 있다는 점을 명확히 보여줬다.

기업이나 팀이 앞으로 LLM을 실무에 도입할 때
가장 중요한 키워드는 효율성, reasoning, 그리고 적응성이다.