--- title: "DeepSeek에 관한 포괄적인 분석" id: "17644" type: "post" slug: "insight-about-deepseek" published_at: "2025-07-01T14:30:02+00:00" modified_at: "2025-07-01T14:47:06+00:00" url: "https://hblabgroup.com/ko/insight-about-deepseek/" markdown_url: "https://hblabgroup.com/ko/insight-about-deepseek.md" excerpt: "DeepSeek 모델은 DeepSeekMoE를 시작으로 DeepSeek-V2, DeepSeek-V3를 거쳐 현재는 DeepSeek-R1 버전까지 발전하였으며 특히 DeepSeek-R1은 추론(reasoning) 성능에서 뛰어난 결과를 보이고 있습니다. DeepSeek […]" taxonomy_category: - "AI/AR" - "IT 아웃소싱" - "IT 컨설팅" --- # DeepSeek에 관한 포괄적인 분석 - [01/07/2025](https://hblabgroup.com/ko/2025/07/01/) ![Image](https://hblabgroup.com/wp-content/uploads/2025/07/Deepseek-thumb-1024x576.webp) DeepSeek 모델은 DeepSeekMoE를 시작으로 DeepSeek-V2, DeepSeek-V3를 거쳐 현재는 DeepSeek-R1 버전까지 발전하였으며 특히 DeepSeek-R1은 추론(reasoning) 성능에서 뛰어난 결과를 보이고 있습니다. DeepSeek 시리즈의 모든 모델 아키텍처 MoE (Mixture of Experts)를 기반으로 설계되었습니다. 그렇다면 DeepSeek-R1은 어떤 방식으로 학습되었을까요? DeepSeek-V3 버전에서는 모델이 기본적인 질문에 답변할 수 있는 능력을 갖추기 위해 감독 학습(Supervised Fine-Tuning, SFT) 단계를 필요로 하였습니다. 이 과정에서는 추론 데이터와 비추론 데이터를 모두 포함한 대규모 감독 데이터셋이 사용되었으며 이는 모델의 성능 향상을 위한 핵심 요소로 작용하였습니다. 반면, DeepSeek-R1-Zero는 이러한 SFT 단계를 생략하고, 강화 학습(Reinforcement Learning, RL) 을 직접 적용함으로써 모델이 외부 감독 없이 스스로 진화할 수 있도록 설계되었습니다. 이 방식은 지속 학습(continuous learning) 을 가능하게 하며 결과적으로 모델이 추론 능력을 자율적으로 습득할 수 있도록 합니다. DeepSeek-R1-Zero에서 사용된 보상 모델(Reward Model)은 기존의 학습 알고리즘에서 흔히 사용되는 응답 점수 기반의 reward model이 아닌, 규칙 기반(rule-based) 접근 방식을 통해 보상이 주어졌습니다. 이 보상은 크게 두 가지 기준으로 구성되었는데, 하나는 정확한 답변에 대한 보상, 다른 하나는 정해진 형식(format)에 부합하는 응답에 대한 보상이었습니다. GRPO(Grounded Policy Optimization) 학습이 완료된 후, DeepSeek-R1-Zero는 사실성(Verifiability), 자기 반성(Self-reflection), 긴 연쇄적 사고(CoT, Chain-of-Thought) 생성 능력 등을 갖추고 있음이 확인되었습니다. 해당 모델은 감독 데이터 없이도, 오직 강화 학습(RL)만으로 추론 능력을 스스로 학습할 수 있었으며, 정답을 유도하기 위한 주석이 있는 데이터 없이도 의미 있는 reasoning 능력을 습득할 수 있었습니다. 또한 RL 반복 학습이 진행됨에 따라, 모델은 점차 자신의 답변을 재검토하고, 반성하며, 대안적 해결책을 탐색하는 행동을 스스로 보이기 시작하였습니다. 이 과정은 추론 능력의 강화를 효과적으로 유도하였습니다. 그럼에도 불구하고 DeepSeek-R1-Zero는 읽기 능력 부족(reading weakness)과 언어 혼합(language mixing) 등의 한계점을 나타냈습니다. 이를 개선하기 위해 DeepSeek-R1이 새롭게 도입되었으며, 보다 정제된 RL 및 SFT 학습이 적용되었습니다. DeepSeek-R1의 RL 학습 과정은 두 번으로 나뉘며, 첫 번째는 모델의 추론 능력을 향상시키기 위한 것이고, 두 번째는 인간의 선호도에 맞게 조정하기 위한 것입니다. 또한, 두 번의 SFT 학습도 함께 진행되었으며, 첫 번째는 기본 모델의 추론 능력을 훈련시키기 위한 것이고, 두 번째는 비추론 능력을 훈련시키기 위한 것입니다. ### **강화** **학습** **알고리즘** DeepSeek에서는 강화 학습 방법으로 Group Relative Policy Optimization (GRPO) 알고리즘을 제안하였습니다. GRPO는 서로 다른 행동을 비교하고, 다양한 관측 집단을 통해 작고 통제된 방식의 업데이트를 수행함으로써 모델이 더 효과적으로 학습할 수 있도록 돕습니다. 이 방식은 정책(policy)을 최적화할 때 그룹의 점수를 기반으로 우도(advantage)를 추정하므로, 별도의 critic 모델이 필요하지 않다는 장점이 있습니다. - GRPO는 하나의 그룹 내에서 행동들을 비교함으로써 정책(policy)의 업데이트 변화 폭을 줄여, 학습의 안정성을 높입니다. - 제어된 업데이트는 KL 제약 조건을 통해 정책이 불안정해질 수 있는 큰 변화를 방지합니다. - GRPO는 가능한 모든 행동을 평가할 필요가 없기 때문에, 계산 효율성을 높이는 데 기여합니다. - GRPO는 PPO(Proximal Policy Optimization)와 유사하지만, PPO와 달리 critic 모델이 없으며, 각 입력에 대해 그룹 기반 샘플링을 수행하여 절대적 성능이 아닌 상대적 성능에 초점을 맞춥니다. ### 콜드 스타트 (Cold Start) ![Deepseek](https://hblabgroup.com/wp-content/uploads/2025/07/Deepseek.webp "DeepSeek에 관한 포괄적인 분석 2") DeepSeek-R1의 학습 파이프라인에서 첫 번째 단계는 DeepSeek-R1-Zero가 직면한 문제들을 해결하는 데 핵심적인 역할을 합니다. 이 단계에서는 SFT 감독 학습 모델을 훈련시켜 읽기 능력(reading ability)과 출력 품질(output performance)을 향상시키며, 이후 진행될 첫 번째 RL 학습 과정에 대비합니다. 콜드 스타트 학습을 위한 데이터셋을 생성하기 위해, 연구진은 다양한 접근 방식을 시도하였습니다: - **Few-shot****방식****활용**: 베이스 모델에 긴 Chain-of-Thought(CoT)가 포함된 프롬프트를 제공합니다. 예를 들어, 수학과 같은 복잡한 문제에 대해 여러 단계를 포함한 해결 과정을 제시합니다. - **모델****프롬프트를****직접****사용**: 베이스 모델이 프롬프트를 바탕으로 자신의 해결 과정을 반성(reflection)하고 검증(verification)하는 자세한 답변을 생성하도록 유도합니다. - **DeepSeek-R1-Zero****의****출력****재사용**: DeepSeek-R1-Zero에서 읽을 수 있는 출력을 선별하여 가공 및 정제하여 사용합니다. - **출력****형식****설계**: 가독성을 향상시키기 위해, 구조화된 출력 포맷을 새롭게 설계합니다. 이러한 방법이 DeepSeek-R1-Zero에 비해 갖는 장점은 다음과 같습니다: - 지정된 포맷에 따라 출력함으로써 가독성을 향상시킵니다. - 복잡한 추론 과제에서 모델의 일반화 능력을 향상시킵니다. - 구조화된 데이터와 인간의 경험을 통해 모델의 성능을 강화합니다. ### **추론** **중심의** **강화** **학습****(RL)****훈련** 콜드 스타트(Cold Start) 단계를 마친 후, 모델은 콜드 스타트 데이터를 기반으로 강화 학습(RL)을 계속 수행하게 됩니다. 이 훈련은 특히 코딩, 수학, 과학, 논리적 추론과 같은 과제에 중점을 두고 이루어집니다. 이 과정에서 모델이 언어를 혼동하는 현상이 관찰되었으며, 이를 해결하기 위해 언어 혼용 문제를 완화하는 특정한 보상 모델(reward model)이 설계되어 도입되었습니다. **훈련 과정** - **정확성에 대한 보상**: 보상 시스템은 모델이 명확하게 정의된 문제에 대해 올바른 정답을 생성할 수 있도록 설계되었습니다. - **언어 혼용 최소화**: RL 학습 중 자주 발생하는 문제 중 하나는 프롬프트에 여러 언어가 포함될 경우, CoT 출력에서 언어가 일관되지 않게 혼합되는 현상입니다. 이를 해결하기 위해, 저자들은 CoT 내 목표 언어 단어의 비율을 기준으로 언어 일관성에 대한 보상 항목을 도입하였습니다. - **학습 수렴:** 학습은 모델이 수렴할 때까지 지속되며, 그 결과 안정적이고 신뢰할 수 있는 성능을 다양한 과제에서 보여주게 됩니다. **학습 결과** 강화 학습(RL) 이후 모델은 MATH-500이나 AIME 2024와 같은 데이터셋에서 우수한 성능을 달성하였습니다. 또한 모델은 논리적이고 일관된 추론 능력을 바탕으로 정확하고 명료한 결과를 생성하는 데에 성공하였습니다. ### **리젝션** **샘플링****(Rejection Sampling)****과****SFT** 이 과정의 목표는 다음과 같습니다: 모델의 추론 능력을 향상시키기 위해, 우수한 추론 출력을 선별하고 정제하여 학습에 활용합니다. 글쓰기, 롤플레잉, 번역 등 비추론적 일반 능력의 범위를 확장합니다. 마지막으로, 논리적으로 일관된 응답을 생성하기 위해 혼란스러운 출력은 필터링하고, 가독성이 높고 일관성 있는 응답만을 남김으로써 모델의 응답 품질을 개선합니다. **추론** **데이터** **처리** - 리젝션 샘플링 (Rejection Sampling): RL 학습 이후, 모델의 출력에는 부적절한 내용이 포함될 수 있습니다. 이를 해결하기 위해 리젝션 샘플링 기법을 활용하여, 훈련된 모델로부터 유효한 출력만 선별하고, 이 데이터를 SFT(지도 학습) 모델 훈련에 활용하였습니다. - 이 단계에서, 다양한 도메인의 데이터를 포함시켜 데이터셋을 확장하였습니다. - 모델의 출력이 혼란스럽거나 이해하기 어려운 경우가 존재하기 때문에 연구진은 언어가 일관되지 않은 출력, 지나치게 긴 단, 코드가 포함된 CoT 등을 필터링하여 데이터 정제(cleaning)를 수행하였습니다. 각 추론 과제에 대해 다양한 응답을 샘플링한 후, 정답인 응답만 선별하였습니다. 그 결과, 약 60만 개(600K)의 추론 관련 학습 샘플을 수집하는 데 성공하였습니다. **비추론** **데이터** 이 데이터는 글쓰기, 질문응답(QA), 번역 등과 같은 비추론 과제를 포함합니다. 이러한 과제에 대해서는 DeepSeek-V3의 파이프라인을 활용하였으며, DeepSeek-V3에서 이미 수집된 일부 SFT 데이터셋을 재사용하였습니다. 또한, 특정 비추론 과제의 경우, DeepSeek-V3를 호출하여 잠재적인 Chain-of-Thought(CoT)를 생성함으로써, 질문에 대한 더 나은 추론 과정을 제공하고자 하였습니다. 그 결과, 약 20만 개(200K)의 비추론 학습 샘플이 생성되어 모델 훈련에 활용되었습니다. ### **문맥****(context)****을** **위한** **강화** **학습****(RL)** 이 단계는 DeepSeek-R1을 미세 조정하여, 모든 추론(task reasoning) 및 범용 목적(general-purpose) 과제를 인간의 선호도에 맞게 처리할 수 있도록 하는 데 중점을 둡니다. 이를 통해 모델이 유용하고, 해가 없으며, 효율적인 응답을 제공하도록 보장합니다. 주요 목표는 DeepSeek-R1을 더 유연하고 강력한 모델로 개선하는 것입니다. 이 모델은 수학, 논리, 프로그래밍 등 높은 수준의 사고를 요구하는 작업을 수행할 수 있어야 하며, 동시에 창의적인 글쓰기나 사용자 선호에 맞는 질문 응답과 같은 작업도 효과적으로 처리해야 합니다. 훈련 과정은 다음과 같이 수행되었습니다. - **추론 데이터**: 논리 과제에 대해서는 규칙 기반 보상 모델을 사용하였습니다. 이 보상은 문제 해결의 정확성과 논리적 일관성에 중점을 둡니다. - **일반 데이터**: 일반적인 과제에 대해서는 인간의 선호를 모방한 보상 모델을 활용하였습니다. 이 모델은 응답의 유용성, 가독성, 무해성을 기준으로 평가합니다. 이 과정을 거친 후, 모델은 다양한 벤치마크에서 업무 성능이 향상되었으며, 사용자 기대에 부합하는 결과를 생성하고 더 친화적인 인터페이스를 제공하게 되었습니다. ### **지식** **증류****(Distillation)** DeepSeek-R1과 같은 대규모 모델은 추론(inference) 시 많은 연산 자원을 필요로 하며, 실행에 높은 비용이 든다는 단점이 있습니다. 따라서, 이러한 대형 모델의 지식을 더 작은 모델에 증류(distill)함으로써 더 빠르고 가벼운 모델을 만들 수 있으며, 이는 제한된 하드웨어 환경에서도 쉽게 배포 및 실행할 수 있다는 이점을 제공합니다. - DeepSeek-R1에서는, DeepSeek-R1의 추론 능력을 더 작은 모델에 지식 증류(distillation)하였습니다.예를 들어, Qwen 7B32B, LLaMA 7B13B와 같은 소형 모델들이 이에 해당합니다. - 소형 모델의 학습에는 약 80만 개(800K)의 다양한 추론 및 비추론 샘플 데이터가 사용되었습니다. - DeepSeek-R1의 지식은 지도학습(supervised learning)과 보상 유도 증류(reward-guided distillation)를 통해 이전되었습니다. 훈련을 마친 이러한 모델들은, 기존의 base 모델들보다 우수한 추론 능력을 보여주었으며, OpenAI의 o1-mini 모델보다 더 높은 성능을 발휘하였습니다. ## **마무리** DeepSeek는 여러 벤치마크 지표와 모델의 추론 능력 측면에서 높은 성과를 거두었습니다. 이는 OpenAI와 경쟁할 수 있는 가능성을 열어주며, 작은 모델로도 품질을 저하시키지 않으면서 확장 가능한 AI 솔루션을 제공할 수 있는 기반이 되었습니다. 하지만, DeepSeek는 여전히 언어적 한계를 가지고 있으며, 영어와 중국어 중심의 데이터에 편중되어 있다는 점이 한계로 남아 있습니다. #### 카테고리 [https://hblabgroup.com/ko/](https://hblabgroup.com/ko/) [Envelope](http://contact@hblab.vn) [Facebook](https://www.facebook.com/hblabvn) [Youtube](https://www.linkedin.com/company/hblab/) [Linkedin](https://www.linkedin.com/company/hblab/) #### [HBLAB GROUP](http://HBLAB%20GROUP) ![Image](https://secure.gravatar.com/avatar/c0aaa8ba1fbfe9c25bb87f98d17ecac4fca17ba7db46f3482116b9792e870cdf?s=96&d=mm&r=g) ## 관련 게시물 ![Image](https://hblabgroup.com/wp-content/uploads/2024/11/CQZ_5692.jpg) ## Your Growth, Our Commitment HBLAB operates with a customer-centric approach, focusing on continuous improvement to deliver the best solutions.