[글로벌 마켓 인사이트]

AI 가속기 시장 대격변 – 엔비디아 독주 끝나나, 구글·아마존·삼성의 반격 전략

엔비디아가 AI 가속기 시장의 90%를 쥐고 있다.

H100, Blackwell. 사겠다고 줄을 서야 한다. 가격도 엔비디아가 정한다. 클라우드 기업들이 AI 서비스를 운영할수록 엔비디아에 돈을 갖다 바치는 구조다. 이 상황이 언제까지 계속될까?

변화가 시작됐다.

구글은 TPU(구글이 자체 개발한 AI 전용 연산 칩)를 이미 내부에서 쓰고 있다. 아마존은 Trainium(아마존의 AI 학습 전용 칩)으로 학습 비용을 낮추고 있다. 메타는 MTIA(메타의 AI 추론 전용 칩)를 데이터센터에 투입했다. 삼성은 마하-1(MACH-1, 삼성의 AI 추론 전용 가속기)으로 네이버 현장에서 실증을 마쳤다. 그루록, 세레브라스 같은 스타트업들도 틈새를 파고들고 있다.

AI 가속기 시장이 달라지고 있다. 왜 지금인가?

단순히 경쟁자가 늘어나는 게 아니다. 시장이 두 개의 레이어로 분화되고 있다. 대형 모델 학습(Training)과 AI 서비스 추론(Inference)의 요구 스펙이 완전히 다르다는 사실을 시장이 깨달은 것이다. 이 글에서는 AI 가속기 시장의 구조적 변화와 주요 플레이어들의 전략을 뜯어본다.

왜 지금 엔비디아 독주에 균열이 생기나?

솔직히 엔비디아를 탓하기 어렵다. 엔비디아는 잘못한 게 없다.

문제는 AI 가속기 시장의 수요 구조가 바뀐 것이다. AI 서비스가 초기 실험 단계를 넘어 대규모 상용 서비스로 전환되면서, 클라우드 기업들이 마주한 현실이 달라졌다.

비유하자면 이렇다. 엔비디아 GPU는 F1 레이싱카다. 속도는 최고다. 하지만 매일 출퇴근하는 데 F1을 쓰면 기름값이 폭발하고 주차도 못 한다. 처음에는 AI 모델 개발(학습)이 주였다. 이때는 최고 성능이 필요했다. 하지만 지금은 AI 서비스 운영(추론)이 트래픽의 대부분을 차지한다. 추론에서는 효율이 성능만큼 중요하다.

추론이란 무엇인가? AI 모델이 실제 서비스에서 작동하는 과정이다. 챗봇이 답변을 생성하고, 이미지를 인식하고, 번역을 처리하는 것. 이게 전부 추론이다. 추론은 24시간 돌아간다. 서비스 트래픽이 많을수록 추론 비용이 기하급수적으로 증가한다.

실제로 하이퍼스케일러들의 AI 인프라 비용 구조를 보면, 추론이 학습보다 훨씬 더 큰 비중을 차지하기 시작했다. GPU 구매 비용도 문제지만, 전력 비용이 더 크다. Blackwell rack 하나가 120kW를 소비한다. 랙 수천 개를 24시간 돌리면 전기세만 천문학적 숫자가 된다.

그래서 움직이기 시작했다. 과연 엔비디아 없이 AI가 돌아갈 수 있을까? 자체 AI 가속기 개발이다. 엔비디아 의존도를 줄이고, 자신들의 워크로드에 맞는 칩을 직접 만드는 전략이다.

주요 플레이어들의 전략, 무엇이 다른가

그렇다면 어떻게 될까? 각 플레이어의 접근법이 제각각이다. 같은 목표(엔비디아 의존 탈피)지만 방법이 다르다.

구글 TPU – 가장 오래된 대안
TPU(Tensor Processing Unit, 구글이 만든 AI 전용 행렬 연산 칩)는 2016년부터 구글이 자체 개발한 AI 가속기다. 이미 10년 가까운 역사가 있다. 구글이 왜 이렇게 일찍 움직였을까? 구글 검색, 유튜브 추천, 제미나이 모델까지 TPU 위에서 돌아간다. 최신 TPU v5는 학습과 추론 모두 엔비디아와 경쟁할 수 있는 수준이다. 하지만 구글 클라우드(GCP) 외부에서는 쓸 수 없다. 폐쇄형 생태계가 한계다.

아마존 Trainium·Inferentia – 비용 절감 특화
아마존은 학습용 Trainium(대용량 AI 모델 학습 전용 칩)과 추론용 Inferentia(AI 서비스 실시간 응답 전용 칩)를 각각 따로 만들었다. 전략이 명확하다. AWS 고객들이 엔비디아 GPU 대신 자사 칩을 쓰면 비용이 절감되고, 그 절감분이 AWS 경쟁력이 된다. 실제로 Inferentia는 엔비디아 대비 추론 비용을 40~60% 줄인다고 발표했다. 단, AWS 생태계 안에서만 작동한다.

메타 MTIA – 추천 알고리즘의 전용 엔진
메타는 접근법이 독특하다. 범용 AI 가속기가 아니라, 페이스북·인스타그램 추천 알고리즘에 특화된 칩을 만들었다. MTIA(Meta Training and Inference Accelerator, 메타가 만든 AI 학습·추론 전용 칩)는 메타의 특정 워크로드에 극도로 최적화돼 있다. 범용성은 낮지만, 메타 내부에서는 엔비디아보다 훨씬 효율적이다. 외부에 판매할 계획도 없다.

삼성 마하-1 – HBM 없는 파격 구조
놀랍다. 마하-1의 가장 큰 특징은 HBM을 쓰지 않는다는 점이다. 고가의 HBM(고대역폭 메모리) 대신 저렴한 LPDDR(스마트폰에도 쓰이는 저전력 메모리)을 쓰면서 칩 내부 독자 알고리즘으로 데이터 병목을 해결했다. 결과적으로 전력 소비가 엔비디아 대비 8분의 1 수준이다. 네이버가 대량 도입해 서비스 운영 비용을 낮췄다. 마하-1이 다른 자체 개발 가속기들과 다른 점은 외부 판매를 한다는 것이다. 구글·아마존·메타의 칩은 내부용이다. 삼성은 시장에 판다.

그루록·세레브라스 – 틈새 파고들기
스타트업들도 있다. 이들이 엔비디아를 넘을 수 있을까? 그루록(Groq)은 LPU(Language Processing Unit, 언어 모델 추론에 특화된 칩)라는 독자 아키텍처로 추론 속도에서 엔비디아를 압도하는 벤치마크를 보여줬다. 세레브라스(Cerebras)는 웨이퍼 전체를 하나의 칩으로 만드는 파격적 구조로 초대형 모델 학습에서 차별화를 시도한다. 규모는 작지만 특정 영역에서는 엔비디아를 넘는 성능을 실제로 보여주고 있다.

투자 인사이트

AI 가속기 시장의 자금 흐름이 분산되고 있다.

엔비디아 독주 시대에는 자금이 한 곳으로 모였다. 하지만 AI 가속기 시장이 다변화되면서 수혜 기업의 스펙트럼이 넓어지고 있다. 시장은 이미 이 변화를 감지하기 시작했다.

특히 주목할 흐름은 추론 시장의 폭발이다. AI 서비스가 확산될수록 추론 수요가 학습 수요를 압도하는 속도로 증가한다. 이 추론 시장을 효율 중심 가속기들이 공략하는 구도가 자리잡으면, 엔비디아의 매출 성장률 자체가 둔화될 수 있다. 시장이 엔비디아의 장기 독점에 의문을 품기 시작하는 이유다.

삼성전자의 경우 마하-1이 외부 판매용이라는 점이 중요하다. 구글·아마존·메타의 자체 개발 칩은 내부 소비용이어서 시장 확대에 한계가 있다. 반면 삼성은 AI 가속기를 실제 제품으로 팔 수 있다. 마하-1의 레퍼런스 확대와 마하-2의 출시 일정이 삼성전자 AI 반도체 사업의 밸류에이션 재평가 속도를 결정할 것으로 시장이 주목하고 있다.

엔비디아 CUDA(엔비디아 GPU 전용 소프트웨어 개발 플랫폼) 생태계에 대한 의존도를 낮추는 소프트웨어 프레임워크 기업들도 수혜 흐름에 포착된다. PyTorch(메타가 만든 AI 개발 프레임워크), JAX(구글의 AI 연산 라이브러리) 기반의 하드웨어 중립 AI 인프라가 확산될수록 특정 하드웨어에 종속되지 않는 구조가 강화된다.

리스크 팩터

AI 가속기 시장 다변화에도 엔비디아는 쉽게 무너지지 않는다.

• ① CUDA 생태계의 압도적 해자: 엔비디아의 진짜 강점은 하드웨어가 아니라 CUDA다. 10년 이상 쌓인 소프트웨어 생태계, 수십만 명의 개발자, 수천 개의 최적화 라이브러리. 하드웨어를 교체해도 개발자들이 CUDA를 떠나는 건 다른 차원의 문제다. 경쟁사들이 하드웨어에서 이기더라도 소프트웨어 전환 비용이 채택을 막는다.
• ② 자체 개발 칩의 폐쇄성: 구글 TPU, 아마존 Trainium은 자사 클라우드 안에서만 작동한다. 이 칩들이 엔비디아 시장을 침식한다기보다는, 각자의 클라우드 생태계 안에서 엔비디아 의존도를 줄이는 것이다. 시장 전체 구도를 바꾸는 데는 한계가 있다.
• ③ 학습 시장의 엔비디아 독점 지속: 대형 모델 학습에서 엔비디아를 대체할 실질적 대안은 아직 없다. GPT-4급 이상 모델을 학습시키는 클러스터는 여전히 엔비디아 GPU가 필수다. 추론 시장 다변화가 학습 시장까지 번지는 데는 상당한 시간이 걸린다.
• ④ 스타트업 자금 조달 리스크: 그루록, 세레브라스 같은 스타트업들은 기술력은 있지만 양산과 공급망이 취약하다. AI 투자 사이클이 둔화되면 자금 조달이 어려워지고 경쟁력이 급격히 낮아질 수 있다.

자주 묻는 질문 (FAQ)