왜 빅테크는 온디바이스 AI 칩에 사활거나
AI는 원래 먼 데이터센터에 살았습니다. 그런데 지금 빅테크는 그 AI를 당신 주머니 속으로 옮기고 있습니다.
- 클라우드 추론 비용이 끝없이 늘어난다
- 내 기기 안에서 처리하면 개인정보가 덜 나간다
- 응답이 빠르고 인터넷 없이도 작동한다
- 칩을 쥔 쪽이 생태계를 쥔다
1. 온디바이스 AI란 무엇인가
온디바이스 AI는 서버가 아니라 기기 안에서 AI를 돌리는 방식입니다. 핵심 부품은 NPU, 즉 신경망 처리 장치입니다.
CPU가 만능 일꾼이라면, NPU는 행렬 계산만 하는 전문가입니다. 같은 일을 훨씬 적은 전력으로 해냅니다.
애플은 2017년 A11 칩에 뉴럴 엔진을 처음 넣었습니다. 이후 퀄컴, 구글, 삼성도 자체 NPU 경쟁에 뛰어들었습니다.
2. 첫 번째 이유, 돈
클라우드 AI는 질문 한 번마다 서버가 돌아갑니다. 사용자가 수억 명이면 전기료와 서버 비용도 수억 배가 됩니다.
기기에서 처리하면 그 연산 비용은 사용자가 산 기기가 떠안습니다. 기업 입장에선 비용을 고객의 주머니로 옮기는 셈입니다.
| 구분 | 클라우드 AI | 온디바이스 AI |
|---|---|---|
| 연산 비용 | 기업 서버 부담 | 기기가 부담 |
| 응답 속도 | 네트워크 의존 | 즉시 처리 |
| 개인정보 | 외부 전송 | 기기 내 보관 |
3. 두 번째 이유, 신뢰와 속도
사진, 메시지, 건강 기록은 가장 민감한 데이터입니다. 이 데이터가 기기 밖으로 나가지 않으면 프라이버시를 마케팅 무기로 쓸 수 있습니다.
애플이 2024년 Apple Intelligence를 발표하며 기기 내 처리를 강조한 이유도 여기에 있습니다. 무거운 작업만 별도 보안 서버로 보낸다고 밝혔습니다.
가장 빠른 서버는 당신 손안에 있는 서버다.
지연 시간도 중요합니다. 실시간 번역이나 카메라 보정은 0.1초 차이가 체감 품질을 바꿉니다.
4. 세 번째 이유, 생태계 장악
진짜 승부처는 칩 그 자체가 아닙니다. 칩 위에서 돌아가는 소프트웨어 생태계입니다.
마이크로소프트는 2024년 Copilot+ PC 기준으로 40 TOPS 이상의 NPU를 내걸었습니다. 기준을 정하는 쪽이 시장의 문을 지킵니다.
| 기업 | 대표 칩 계열 |
|---|---|
| 애플 | A·M 시리즈 |
| 구글 | 텐서 |
| 퀄컴 | 스냅드래곤 |
| 삼성 | 엑시노스 |
자체 칩을 가진 기업은 하드웨어와 AI 기능을 함께 설계합니다. 경쟁사가 따라 하기 어려운 잠금 효과가 생깁니다.
5. 앞으로 무엇이 달라지나
한계도 분명합니다. 기기 메모리와 배터리는 작아서 거대한 모델을 통째로 넣기 어렵습니다.
그래서 업계는 모델을 줄이는 경량화와 양자화에 매달립니다. 당분간은 기기와 클라우드가 일을 나누는 하이브리드 구조가 유력하다는 전망이 많습니다.
클라우드 = 거대한 두뇌
온디바이스 = 빠른 반사신경- 폰 교체 주기에 AI 성능이 변수로 등장
- 오프라인 AI 기능 확대
- 칩 설계 인재 경쟁 심화
결국 빅테크가 노리는 것은 당신과 AI 사이의 첫 번째 관문입니다. 그 관문이 칩입니다.
본 글은 정보 제공 목적이며 특정 종목 투자 권유가 아닙니다. 전망은 예측일 뿐이며 투자 판단은 본인 책임입니다. 출처: 각 사 공식 발표(애플 2017·2024, 마이크로소프트 2024).