
무엇이 추론형 AI 칩 전쟁을 바꾸나
핵심 요약
- AI 연산의 무게중심이 학습에서 추론으로 옮겨 간다.
- 빅테크는 자체 추론 칩으로 비용을 줄이려 한다.
- 엔비디아는 그록 기술로 속도 경쟁에 뛰어들었다.
- 진짜 승부처는 연산이 아니라 메모리와 전력이다.
학습의 시대에서 추론의 시대로
AI 칩 이야기는 그동안 학습이 주인공이었습니다. 거대한 모델을 한 번 만들어 내는 데 수만 개의 GPU가 동원됐죠.
그런데 모델이 완성된 뒤에는 매일 수억 번의 질문에 답해야 합니다. 이 답변 과정을 추론이라고 부릅니다.
딜로이트는 2026년 추론이 전체 AI 연산의 약 3분의 2를 차지할 것으로 전망했습니다. 2023년 3분의 1, 2025년 절반에서 계속 늘어난 수치입니다.
학습이 한 번 크게 쓰는 비용이라면, 추론은 매일 나가는 전기요금에 가깝습니다. 그래서 기업들은 답변 한 번의 원가를 줄일 칩을 찾기 시작했습니다.
이 변화가 칩 시장의 판을 흔들고 있습니다. 범용 GPU 하나로 모든 일을 하던 시대가 저물고 있는 셈입니다.
빅테크가 직접 칩을 만드는 이유
구글은 2025년 4월 아이언우드를 공개하며 추론 전용으로 설계한 첫 TPU라고 밝혔습니다. 최대 9,216개 칩을 하나로 묶어 쓸 수 있습니다.
2026년 4월에는 한 걸음 더 나갔습니다. 학습용 TPU 8t와 추론용 TPU 8i로 칩을 아예 둘로 나눴습니다.
OpenAI도 브로드컴과 손잡고 첫 자체 칩 할라피뇨를 공개했습니다. 설계부터 테이프아웃까지 9개월이 걸렸다고 밝혔습니다.
추론은 AI가 사람을 만나는 지점이다. 그 지점의 원가를 쥔 쪽이 판을 쥔다.
빅테크의 계산은 단순합니다. 남의 칩을 사서 쓰면 마진을 나눠야 하지만, 직접 만들면 그 몫이 비용 절감으로 돌아옵니다.
속도 경쟁, 엔비디아의 반격
엔비디아도 가만있지 않았습니다. 2025년 12월 추론 칩 스타트업 그록과 비독점 기술 라이선스 계약을 맺었습니다.
CNBC는 이 거래 규모를 약 200억 달러로 보도했습니다. 그록 창업자 조너선 로스 등 핵심 인력도 엔비디아로 옮겼습니다.
그 결과물인 Groq 3 LPX는 본격 양산에 들어갔습니다. 엔비디아는 이 칩이 초당 3,400 토큰을 기록했다고 밝혔습니다.
웨이퍼 한 장을 통째로 칩으로 쓰는 세레브라스도 있습니다. 2026년 5월 상장하며 속도 전쟁에 불을 붙였습니다.
AI 에이전트는 한 작업에 수백 번 추론을 반복합니다. 한 번의 지연이 쌓이면 전체 작업 시간이 크게 늘어납니다.
진짜 병목은 메모리와 전력
추론 칩 전쟁의 숨은 주인공은 연산 속도가 아닙니다. 데이터를 얼마나 빨리 옮기느냐가 승부를 가릅니다.
연산은 빠른데 데이터가 늦다
= 메모리 벽(Memory Wall)
칩이 아무리 빨라도 메모리에서 데이터가 늦게 오면 기다릴 수밖에 없습니다. 그래서 TPU 8i는 칩 안에 SRAM을 이전보다 3배 많이 넣었습니다.
| 칩 | 설계 포인트 |
|---|---|
| 구글 TPU 8i | 온칩 SRAM 확대 |
| Groq 3 LPX | 초저지연 생성 |
| OpenAI 할라피뇨 | 데이터 이동 축소 |
| 세레브라스 WSE-3 | 웨이퍼 단일 칩 |
전력도 큰 변수입니다. 구글은 전력이 칩 공급만큼 중요한 제약이라고 밝혔습니다. 같은 전기로 더 많은 답을 내는 와트당 성능이 새 기준이 됐습니다.
추론 칩 전쟁 연표와 남은 질문
영상에서 다 담지 못한 흐름을 연표로 정리했습니다. 불과 1년 반 사이에 판이 크게 바뀌었습니다.
| 시기 | 사건 |
|---|---|
| 2025년 4월 | 구글 아이언우드 공개 |
| 2025년 12월 | 엔비디아·그록 계약 |
| 2026년 4월 | 구글 TPU 8i 발표 |
| 2026년 5월 | 세레브라스 상장 |
| 2026년 말 | 할라피뇨 배치 목표 |
남은 질문도 있습니다. 전용 칩이 정말 GPU를 대체할지, 아니면 함께 쓰일지는 아직 열린 전망입니다.
딜로이트는 추론 전용 칩이 늘어도 고성능 GPU 수요는 계속될 것이라고 봤습니다. 시장이 양자택일보다 공존 쪽으로 갈 수 있다는 뜻입니다.
업체별 성능 수치는 대부분 회사 발표이니, 독립 검증이 나올 때까지 신중하게 보는 것이 좋습니다.
본 글은 공개된 기업 발표와 보도를 정리한 정보이며, 특정 종목의 매수·매도 추천이 아닙니다. 투자 판단과 책임은 본인에게 있습니다.
출처: Deloitte TMT Predictions 2026, Google 공식 블로그, NVIDIA 뉴스룸, Groq 뉴스룸, OpenAI 공식 발표, Cerebras 보도자료, CNBC