Grok 4.8은 2.5T 모델 - 하지만 더 큰 이야기는 새로운 C++ 스택이다

Grok 4.8은 아직 공개 출시되지 않았지만, 일론 머스크는 이미 이 모델이 2.5조 개 매개변수를 갖췄고 xAI가 새로운 C++ 소프트웨어 스택으로 학습시켰다는 매우 중요한 정보 두 가지를 밝혔습니다. 그는 또한 현재 학습 단계가 끝난 뒤 이 모델이 강화 학습 단계로 넘어갈 것이라고 말했습니다.

2.5T라는 수치가 대부분의 헤드라인을 장식할 것입니다. 하지만 C++ 스택은 최첨단 AI가 어디로 향하는지 더 많은 것을 알려줄 수 있습니다. 이 규모에서는 더 나은 모델을 만들려면 아키텍처와 학습 데이터뿐 아니라 수천 개의 가속기가 얼마나 효율적으로 통신하고, 장애를 복구하고, 데이터를 옮기고, 체크포인트를 저장하며, 몇 주 또는 몇 달 동안 계속 작동하는지도 중요합니다.

Grok 4.8에 대해 실제로 알려진 것은 무엇일까요?

공개된 정보가 여전히 제한적이므로, 확인된 내용과 추측을 구분하는 것이 중요합니다.

2026년 9월 20일 기준, xAI의 공개 모델 문서에는 여전히 Grok 4.6이 주력 범용 모델로 기재되어 있습니다. Grok 4.8의 공개 API 모델 페이지나 기술 보고서는 아직 없습니다.

이 차이가 중요한 이유는 대규모 학습 단계를 마치는 것과 완성된 모델을 출시하는 것은 다르기 때문입니다.

새로운 C++ 학습 스택이 2.5조 개 매개변수보다 더 중요할 수 있는 이유

xAI는 처음부터 인프라를 모델 개발의 일부로 다뤄 왔습니다. 회사의 Grok 엔지니어링 원문 게시물에서는 JAX, Rust, Kubernetes 기반의 맞춤형 학습 및 추론 스택을 소개하고, 하드웨어 장애에도 대규모 GPU 클러스터의 생산성을 유지하는 일이 얼마나 어려운지 강조했습니다.

최첨단 규모에서는 학습 소프트웨어가 신경망 자체보다 훨씬 많은 것을 관리해야 합니다.

• GPU 활용률 및 스케줄링
• 가속기 간 통신
• 매개변수 및 활성값 샤딩
• 메모리 할당
• 데이터 로딩
• 체크포인트 저장
• 장애 감지 및 복구
• 분산 동기화
• 커널 실행
• 모니터링 및 텔레메트리

클러스터에는 이론적으로 막대한 연산 능력이 있어도, 가속기가 통신, 데이터, 동기화 또는 복구를 기다리는 데 너무 많은 시간을 쓰면 그중 상당 부분이 낭비될 수 있습니다.

이것이 Grok 4.8의 새로운 C++ 스택이 흥미로운 진짜 이유입니다. 잠재적 이점은 단순히 “C++가 Python보다 빠르다”는 것이 아닙니다. 저수준 맞춤형 스택을 사용하면 xAI가 분산 학습에서 비용이 많이 드는 부분을 더욱 세밀하게 제어할 수 있다는 점입니다.

같은 병목 원리는 훨씬 작은 규모의 로컬 AI에서도 나타납니다. 강력한 GPU를 갖춘 시스템도 메모리, 저장 장치 또는 네트워크에 접근하느라 대기할 수 있습니다. 모든 성능 문제에 더 큰 GPU가 필요하다고 가정하기보다, 제약 요소가 연산, 메모리, 저장 장치 또는 네트워크 중 무엇인지 파악하는 편이 더 유용합니다.

C++를 사용하면 AI 학습 속도가 자동으로 빨라지나요?

아니요.

최신 AI 프레임워크는 대부분의 무거운 텐서 연산을 이미 컴파일된 GPU 커널, 가속기 라이브러리 및 그래프 컴파일러를 통해 실행합니다. Python은 실제 행렬 곱셈을 수행하기보다는 고수준 인터페이스 역할을 하는 경우가 많습니다.

C++ 구현은 스케줄링, 메모리 관리, 통신, 체크포인팅, 맞춤형 커널 또는 장애 복구를 개선한다면 중요할 수 있습니다. 하지만 xAI가 새 스택의 아키텍처를 공개하기 전까지, 성능 향상이 정확히 어디서 비롯되는지에 관한 주장은 추측에 불과합니다.

또한 xAI가 JAX를 완전히 포기했다고 말하기에는 아직 이릅니다. Grok-1.5는 명시적으로 JAX, Rust, Kubernetes 기반 학습 프레임워크를 사용했습니다. Grok 4.8에 관한 머스크의 발언은 새로운 C++ 스택을 확인해 주지만, 기존 구성 요소 중 무엇이 그대로 남아 있는지는 밝히지 않았습니다.

2조 5천억 개의 파라미터는 실제로 무엇을 의미할까요?

수치만 보면 놀랍지만, 총 파라미터 수와 활성 파라미터 수는 같은 것이 아닙니다.

Grok 4.8이 밀집형 아키텍처를 사용한다면, 추론 중 파라미터 대부분 또는 전부가 연산에 참여할 수 있습니다. 전문가 혼합 아키텍처를 사용한다면 토큰마다 일부만 활성화될 수 있습니다.

xAI는 Grok 4.8이 어떤 아키텍처를 사용하는지 공개하지 않았습니다.

Grok-1은 이 구분이 중요한 이유를 보여줍니다. 공식 Grok-1 저장소에 따르면, 이전 모델은 다음과 같았습니다.

이는 Grok 4.8이 같은 아키텍처를 사용한다는 증거가 아닙니다. “2.5T 파라미터”만으로 추론 비용, 메모리 요구량 또는 토큰당 실효 연산량을 알 수 없는 이유를 보여줍니다.

xAI가 모델 아키텍처를 공개할 때까지 몇 가지 의문은 여전히 풀리지 않은 채 남습니다.

• Grok 4.8은 밀집형인가요, MoE인가요?
• 몇 개의 전문가가 포함되어 있나요?
• 토큰마다 얼마나 활성화되나요?
• 활성 파라미터 수는 얼마인가요?
• 2.5T라는 수치 중 멀티모달 구성 요소가 차지하는 비중은 얼마인가요?

프런티어 모델을 전체 파라미터 수만으로 비교하지 말아야 하는 가장 중요한 이유 중 하나입니다.

2.5T 모델이라고 해서 지능이 자동으로 더 뛰어난가요?

아니요. 파라미터 수는 모델의 역량을 나타낼 뿐, 완성된 성능을 의미하지는 않습니다.

실제 성능은 다음 요소에도 좌우됩니다.

• 모델 아키텍처
• 학습 데이터 품질
• 데이터 구성
• 최적화 안정성
• 학습 후 과정
• 강화 학습
• 도구 사용
• 추론 시점 연산
• 서빙 및 추론 설계

xAI의 최근 출시 사례만 봐도 학습 후 과정이 얼마나 중요해졌는지 알 수 있습니다. xAI는 Grok 4.5 발표에서 모델 크기만을 개선의 원천으로 내세우기보다 수십만 가지 작업에 걸친 강화 학습과 장시간 실행되는 에이전트 롤아웃을 강조했습니다.

따라서 핵심적으로 물어야 할 것은 다음이 아닙니다.

Grok 4.8의 규모는 어느 정도인가요?

다음과 같습니다.

xAI는 그 역량을 추론, 코딩, 도구 사용, 신뢰할 수 있는 에이전트 동작으로 얼마나 효과적으로 전환할까요?

Grok 4.8에서 “RL을 시작한다”는 것은 무엇을 의미하나요?

강화 학습 단계로 넘어간다고 해서 Grok 4.8이 곧바로 출시된다는 뜻은 아닙니다.

프런티어 모델은 주요 학습 실행 이후에도 다음을 비롯한 상당한 후속 작업이 필요할 수 있습니다.

• 강화 학습 및 기타 학습 후 과정
• 지시 수행 최적화
• 에이전트 및 도구 사용 학습
• 안전성 및 역량 평가
• 서빙 최적화
• 지연 시간 및 메모리 조정
• API 및 제품 통합

기반이 되는 파라미터 수가 달라지지 않아도 RL은 모델의 동작 방식에 큰 영향을 줄 수 있습니다.

모델에 어려운 코딩 문제를 해결할 지식이 충분하더라도, 너무 일찍 멈추거나 잘못된 도구를 선택하거나 단계를 지나치게 많이 낭비하거나 작업 결과를 검증하지 못하면 에이전트로서 성능이 좋지 않을 수 있습니다.

xAI의 현재 방향은 이 점을 특히 중요하게 만듭니다. Grok 4.6은 장시간 작동하는 에이전트, 코딩, 지식 업무를 중심으로 명확히 포지셔닝되어 있으며, 공식 출시 발표에서는 여러 단계로 이루어진 작업을 지속적으로 수행하는 능력을 강조합니다.

따라서 Grok 4.8에서는 사용자가 최종적으로 경험하는 성능에 있어 RL 단계가 2.5T 규모의 사전 학습만큼 중요할 수 있습니다.

프런티어 규모에서 학습 소프트웨어가 경쟁 우위가 되는 이유

학습 실행 규모가 커질수록 작은 비효율로 인한 비용도 커집니다.

xAI의 초기 Grok 인프라는 하드웨어 장애가 발생하더라도 와트당 유용한 연산량을 극대화하고 모델 FLOP 활용률을 높게 유지하는 데 명시적으로 초점을 맞췄습니다.

이를 통해 Grok 4.8의 C++ 스택을 더욱 유용하게 해석할 수 있습니다:

최첨단 AI 연구소들은 모델 설계뿐 아니라 동일한 고가 하드웨어에서 얼마나 많은 유용한 지능을 끌어낼 수 있는지를 두고 점점 더 경쟁하고 있습니다.

규모는 완전히 다르지만, 원리는 놀라울 정도로 로컬 AI와 비슷합니다. 로컬 시스템도 하드웨어를 무턱대고 더 구매하기보다는 각 작업을 적절한 리소스에 배정하는 것이 유리합니다.

Grok 4.8을 로컬에서 실행할 수 있나요?

현재로서는 Grok 4.8을 로컬에서 실행할 수 있다고 말할 근거가 없습니다.

xAI는 다음을 공개하지 않았습니다:

• Grok 4.8 가중치
• 모델 아키텍처
• 활성 파라미터 수
• 양자화된 체크포인트
• 로컬 하드웨어 요구 사항
• 셀프 호스팅 안내

2.5T라는 수치만으로는 모델이 밀집형인지 희소형인지 알 수 없으므로 VRAM 사용량을 의미 있게 추정할 수 없습니다.

이 점에서 Grok 4.8은 양자화하여 소비자용 하드웨어에 올릴 수 있는 오픈 모델과 매우 다릅니다. 현재로서는 중앙 집중식 최첨단 컴퓨팅에 속합니다.

그렇다고 로컬 AI가 무의미해지는 것은 아닙니다. 작업을 분리하는 일이 더욱 중요해집니다.

2.5T 최첨단 모델이 로컬 AI를 더욱 가치 있게 만드는 이유

최첨단 AI와 로컬 AI는 점점 서로 상반되는 제약 조건을 최적화하고 있습니다.

로컬 사용자에게 중요한 질문은 7B, 14B 또는 30B 모델이 전반적으로 Grok 4.8보다 뛰어난지 여부가 아닙니다.

중요한 것은 현재 작업에 Grok 4.8급 지능이 필요한지 여부입니다.

이 때문에 최첨단 시스템의 규모가 커질수록 하이브리드 AI와 모델 라우팅이 더욱 유용해집니다. 일상적이고 비공개이며 반복되는 작업은 로컬에서 처리하고, 어려운 작업은 최첨단 API로 넘길 수 있습니다.

예를 들어 비공개 AI 어시스턴트는 모든 단계에서 가장 강력한 클라우드 모델을 사용할 필요 없이 검색, 문서 액세스, 메모리, 경량 추론을 로컬 파일 가까이에서 처리할 수 있습니다.

개인정보 보호의 경계도 중요합니다. 주요 LLM이 집에서 실행된다는 이유만으로 시스템이 진정한 로컬 환경이 되는 것은 아닙니다. 임베딩, 인증, 라우팅, 도구 호출은 여전히 원격 서비스에 의존할 수 있습니다. 진정한 오프라인 사용이 가능한 AI 워크플로를 구현하려면 전체 종속 요소가 로컬에서 작동해야 합니다.

Grok 4.8의 핵심은 사실 인프라입니다

Grok 4.8이 출시되면 사람들의 관심은 대부분 벤치마크 점수, 코딩 성능, 추론 테스트, 다른 최첨단 모델과의 비교로 쏠릴 것입니다.

하지만 이 수치가 나오기 전부터 인프라 이야기는 이미 드러나고 있습니다.

xAI는 자체 JAX, Rust, Kubernetes 스택으로 시작했습니다. GPU 장애, 체크포인팅, 동기화, 와트당 유효 연산량, 모델 FLOP 활용률을 중점적으로 공개해 왔습니다. 이제 머스크는 2조 5천억 개 매개변수의 모델을 새로운 C++ 소프트웨어 스택으로 학습하고 있다고 밝혔습니다.

이는 경쟁의 최전선이 인프라 쪽으로 더 깊이 이동하고 있음을 시사합니다.

xAI가 풀어야 할 문제는 막대한 연산 자원으로 더 유용한 학습을 이끌어내는 방법입니다.

로컬 AI 사용자에게 더 유용한 질문은 그 반대입니다. 애초에 연산 자원을 얼마나 덜 사용할 수 있을까요?

가정에서 2조 5천억 개 매개변수의 최첨단 모델을 재현하려는 시스템이 최선의 로컬 시스템은 아닐 수 있습니다. 일상적인 작업은 로컬에서 처리하고, 가능한 경우 특화 모델을 사용하며, 추가 성능이 결과를 실제로 바꿀 때만 최첨단 AI를 호출하는 시스템이 더 나을 수 있습니다.