DeepSeek이 저렴한 연산 비용으로 큰 성능을 내는 방식은 무엇인가요?
DeepSeek이 연산 비용은 낮은데 성능은 높다고 평가받는 이유는 단순히 파라미터 수가 많거나 모델이 크기 때문이 아니에요. 어떻게 학습시키고, 어디에 연산을 집중하느냐를 정말 전략적으로 설계했기 때문입니다. 겉으로 보면 그냥 또 하나의 LLM처럼 보일 수도 있지만, 안을 들여다보면 똑똑하게 아껴 쓰는 구조라는 걸 알 수 있어요. 먼저 핵심은 MoE 구조입니다. Mixture of Experts라는 건 여러 개의 ‘전문가 … 더 읽기