뉴스레터 구독자 안녕?😊

요즘 AI 좀 쓴다는 사람들 입에 자주 오르내리는 단어가 있어. 바로 토큰이지. 뉴스를 보다 보면 이 토큰이라는 게 단순히 AI 사용량을 나타내는 단위를 넘어, 업무 성과나 성실도를 보여주는 지표처럼 쓰이기도 하더라고. 도대체 토큰이 뭐길래 이렇게까지 언급되는 걸까?

오늘 오그랲에서는 이 토큰 이야기를 준비해 봤어. 정확히 토큰이 뭔지, 또 토큰을 둘러싼 AI 시장은 앞으로 어떻게 흘러갈지, 그리고 이 시장의 진짜 승자는 누군지, 데이터와 그래프로 이야기 나눠볼게.

* 본문 그래프 이미지를 클릭하면, 해당 그래프의 출처 사이트로 이동할 수 있어!

토큰에 얽매이는 사람들… '토큰 이코노미'의 등장

바이브 코딩이랑 바이브 디자인이 우리 삶에 들어오면서 '토큰'이라는 단어도 자연스럽게 자주 등장하고 있어. 토큰을 어느새 다 써버려서 추가로 AI를 돌리려고 돈을 지불하기도 하고. 그런데 도대체 토큰이 정확히 뭘 뜻하는 걸까?

"오그랲 유튜브는 최고야!"라는 문장을 토큰으로 구분하면?

컴퓨터에게 어떤 문장을 넣어서 해석하도록 해보자. 이때 컴퓨터는 문장을 통으로 보는 게 아니라, 하나하나 나눠서 살펴봐. 이렇게 컴퓨터가 텍스트를 분석할 때 의미를 구분하는 최소 단위를 토큰이라고 해. 보통 영어 텍스트에서 1개의 토큰은 평균적으로 4글자에 해당돼. 문단 1개 정도를 보면 약 100개의 토큰 정도에 해당하지. 대형언어모델인 LLM에서도 마찬가지로 이 토큰 단위로 텍스트를 처리해.

1문단은 평균적으로 약 100개의 토큰에 해당한다.

토큰이 AI가 텍스트를 처리하는 최소 단위라는 건 알겠는데, 왜 이렇게까지 중요하게 언급되는 걸까? 그건 바로 토큰이 AI 서비스 비용에 직결되는 핵심 지표이기 때문이야. 입력값이든 결괏값이든 AI가 처리해야 하는 토큰이 많아지면 많아질수록 AI는 더 많은 연산을 수행해야 해. 더 많은 연산을 수행해야 한다는 건 곧 시간이 더 걸리고, 비용이 늘어난다는 거지. 그래서 AI 기업들은 서비스 사용 요금 기준을 토큰으로 두고 과금하고 있어.

토큰은 비용뿐 아니라 모델 성능이랑도 직접 연결돼. 가령 AI가 한 번에 기억하고 처리할 수 있는 정보, 즉 처리할 수 있는 토큰 양이 많을수록 AI 성능이 좋다는 의미니까. 이렇게 토큰이 AI랑 떼려야 뗄 수 없는 관계다 보니 AI 시장을 두고 '토큰 경제'라는 단어도 나오고 있지.

개발자들의 엄청난 토큰 사용량을 보도한 More! More! More! Tech Workers Max Out Their A.I. Use | NYT

AI 서비스 사용자가 늘어나면서 토큰 사용량도 정말 엄청나게 늘어나고 있어. 오픈AI의 한 엔지니어가 1주일 동안 사용한 토큰량이 무려 2,100억 개에 달했다는 얘기까지 나오지. 이 토큰량은 위키피디아를 통으로 33번 붙여 넣은 양이랑 맞먹어. 또 어떤 이용자는 앤트로픽의 클로드 코드를 한 달에 15만 달러 넘게 썼다는 얘기도 들려오더라고. 15만 달러면 우리나라 돈으로 2억 2천만 원이 넘는 금액이야.

생각해 보면 단순히 텍스트를 생성하는 데에는 이렇게 많은 토큰을 쓸 수가 없어. 억 단위 사용량과 비용이 나올 수 있는 이유는 바로 바이브 코딩에 있어. 에이전트 기반 AI 코딩 도구가 등장하면서 AI가 방대한 코드를 처리하고 편집할 수 있게 됐으니까. 단 한 문장만 넣어도 AI가 하나의 소프트웨어를 뚝딱 만들어낼 수 있고, 오픈클로 같은 에이전트는 하루 종일 돌아가게 둘 수도 있으니 토큰 사용량은 기하급수적으로 늘어날 수밖에 없는 거지.

출처 : OpenRouter AI Model Rankings

500만 명이 넘는 개발자들에게 AI 모델들의 API를 제공해 주는 오픈라우터 자료야. 올해 토큰 사용량을 보면 쭉쭉 늘어나는 게 보이지? 주간 단위로 봤을 때 올해에만 평균 15조 개 토큰이 쓰였어. 가장 많을 때에는 무려 27조 개 토큰이 쓰였지. 이 숫자에는 오픈AI나 앤트로픽 모델을 직접 API로 붙여 쓰는 경우가 잡히지 않아서 전체 사용량은 이보다 훨씬 많을 수도 있어.

참고로 실리콘밸리에서는 서로 얼마나 토큰을 썼는지를 자랑하는 '토큰 맥싱' 문화가 유행하고 있다고 하더라고. 아래 이미지는 오픈AI가 누적 1조 개 토큰을 쓴 사용자에게 준 상패야.

누적 1조 개 토큰 사용자에게 주어지는 합격 목걸이

메타에서는 직원들 토큰 사용량을 비교할 수 있는 순위 대시보드를 만들기도 했어. 그중에서도 토큰을 제일 많이 쓴 직원에게는 '세션 임모탈', '토큰 레전드'라는 칭호를 붙여줬고. 참고로 메타 직원이 8만 5천 명이 넘는데, 이들이 한 달간 쓴 토큰량이 60조 개 수준이었다고 하지.

이게 단순한 내부 문화로만 끝나지도 않아. 기업들은 토큰 사용량을 인사 평가에 연결하기 시작했거든. 캐나다 전자상거래 플랫폼 쇼피파이 CEO가 사내에 공유한 메모를 봐 볼까?

Shopify는 북미 지역을 중심으로 운영되는 전자상거래 플랫폼이다

"쇼피파이에서 AI 활용은 이제 당연한 기준입니다."

쇼피파이에서는 이제 직원이 신규 채용을 요청하기 전에, AI로는 안 되는 이유를 입증해야 해.

마이크로소프트도 AI 활용이 더 이상 선택사항이 아니라며 AI를 적극적으로 쓰라고 주문했어. 들리는 얘기로는 마이크로소프트에서도 사내 토큰 리더보드를 가동했다고 하고.

이 영역에서 제일 적극적인 사람, 바로 엔비디아 CEO 젠슨 황이야. 젠슨 황은 연봉 50만 달러, 우리 돈으로 7억이 넘는 개발자라면 적어도 그 절반인 25만 달러는 토큰에 써야 한다고 말해.

우리가 연봉 50만 달러를 주는 소프트웨어 엔지니어나 AI 연구원들이 있다고 칩시다. 실제로 흔한 일이죠. 그런데 연말에 그 친구한테 '토큰 비용으로 얼마나 썼나?' 물었더니 '5천 달러 썼습니다'라고 대답한다면? 그럼 전 진짜 뚜껑이 열릴 겁니다. 만약 50만 달러짜리 엔지니어가 최소 25만 달러어치 토큰도 소비하지 않았다면, 전 심각한 위기감을 느낄 것 같아요.

늘어나는 사용량… '토큰 가성비'가 떠오른다

사람들이 이렇게 많은 토큰을 계속 소비할 수 있는 근본적 이유는 추론 비용이 점점 떨어지고 있기 때문이야. GPT 쇼크가 있었던 2022년 11월 당시 GPT 3.5 성능을 내는 데 드는 비용이 100만 토큰당 20달러였어. 하지만 2년이 지난 2024년 10월엔 0.07달러로 280배나 떨어졌지. 이 흐름은 지금도 이어지고 있고, 앞으로는 더 가파르게 떨어질 거라는 전망도 나오고 있어.

가트너가 예측한 추론 가격 시나리오 | Gartner

가트너가 1조 개 파라미터를 가진 LLM 추론 비용을 전망해봤어. 2030년이 되면 AI 추론 비용이 2025년 대비 90% 이상 급감할 거라고 내다봤지. 최첨단 반도체를 쓰는 시나리오에서는 추론 비용이 토큰당 0.35달러 밑으로도 떨어질 수 있어.

이렇게 가격이 떨어지면 소비자 입장에서는 두 손 벌려 환영할 일이야. 같은 수준 성능을 훨씬 더 싼 값에 쓸 수 있는 모델이 있으면 소비자들은 당연히 그쪽을 선택하겠지. 그래서 떠오르는 게 바로 토큰 가성비야. 기업들 입장에서도 이 가성비를 잡는 게 주요 이슈였고. 그 흐름에서 터졌던 게 바로 2025년 초에 있었던 딥시크 쇼크야.

중국 스타트업이었던 딥시크는 당시 최고 모델이었던 오픈AI o1이랑 엇비슷한 추론 능력을 가진 R1 모델을 공개해서 세상을 놀라게 했어. o1 토큰 비용은 입력은 100만 개당 15달러, 출력은 100만 개당 60달러였어. 딥시크는 이 비용을 각각 0.55달러와 2.19달러로 낮췄지. o1이랑 비교해서 압도적으로 저렴하고 성능도 뒤지지 않으니 소비자들이 선택 안 할 수가 없었던 거야.

"와 싸다! 딥시크 V4"

이번에 딥시크가 공개한 신규 모델 V4도 가격 경쟁력을 내세우고 있어. 오픈AI나 구글, 앤트로픽의 비슷한 급 모델들이랑 성능은 비슷하지만 가격은 훨씬 저렴한 V4를 쓰라는 얘기지. 그렇다면 지금 가장 가성비가 좋은 모델은 뭘까?

중국 모델과 미국 모델의 경향성이 명확히 갈린다 | artificialanalysis

X축은 출력 토큰 가격, Y축은 모델 성능을 나타내. 토큰 가격은 저렴한데 성능이 괜찮은 모델들이 눈에 띄지. 다만 추론 가격이 떨어졌다고 해도 여전히 비싼 토큰 가격을 자랑하는 모델들도 많아. 가장 비싼 라인은 오픈AI랑 앤트로픽의 최신 모델인 GPT-5.5랑 클로드 Opus 4.7인데, 이런 빅테크 기업들 출력 토큰당 가격이 25달러를 훌쩍 넘어.

가성비가 좋은 모델들은 대부분 중국 모델들이고, 토큰 값이 비싼 모델들은 거의 다 미국 모델들이야. 왜 이렇게 차이가 나는 걸까?

핵심은 컴퓨팅 리소스에 있어. 더 나은 모델을 만들려면 더 많은 GPU, 그러니까 더 많은 컴퓨팅 리소스가 필요해. 그러다 보니 최첨단 모델 토큰 가격은 결국 비싼 GPU 값에 묶일 수밖에 없어. 그 결과가 토큰당 30달러, 25달러 같은 고가로 나타난 거고.

대신 미국 기업들은 그 안에서 효율성을 찾아가고 있어. GPT-5.5는 직전 모델인 5.4 대비 가격이 2배로 늘었는데, 그럼에도 이용자 반응이 그렇게 나쁘지 않아. 왜냐하면 같은 작업을 시켜도 이전 모델보다 훨씬 적은 양의 토큰을 쓰더라는 거지.

반면 중국은 어떨까? 중국은 엔비디아 고성능 GPU를 쓰고 싶어도 쓸 수가 없어. 왜냐하면 미국이 성능 좋은 반도체 칩 수출을 꽉 막고 있으니까. 그러다 보니 중국은 좋은 GPU를 충분히 못 쓰는 대신, 더 효율적인 모델을 만드는 데 집중하고 있어.

중국 모델들은 당연히 중국어 데이터 중심으로 학습했으니까 중국어에 최적화돼 있어.

중국 모델에 중국어를 쓰면 토큰을 훨씬 덜 쓴다. 반면 한국어는 효율성이 떨어진다 | @arankomatsuzaki

당연히 이 모델들을 중국어로 쓰면 영어 대비 토큰 최적화가 잘 되고. 그래서 일부 개발자들은 중국 모델로 작업할 때는 중국어를 쓴다고 하더라고.

또 모델 훈련에 들어가는 무지막지한 에너지를 훨씬 더 저렴한 재생에너지로 해결해서 가격 절감에 나서고 있어. 안 그래도 재생에너지에 강력한 드라이브를 거는 중국은 여기에 컴퓨팅까지 엮어서 정책을 운영해 나가고 있지. 이미 일부 개발자들은 기본 업무는 중국 AI 모델을 쓰고, 복잡한 과제를 해야 할 때만 미국의 비싼 모델을 쓰고 있어.

오픈라우터 리더보드의 주간 단위 리스트에서 1위부터 6위까지의 모델이 모두 중국산

그래서 앞서 봤던 오픈라우터의 토큰 사용량 모델 리스트를 뽑아보면, 1위부터 6위까지가 다 중국 모델일 정도야.

중국 정부는 여기서 멈추지 않고 있어. 단순히 가격 경쟁을 넘어서 토큰 경제 자체 주도권을 노리고 있지. 최근 중국 국가데이터국에서는 토큰 대신 '츠위안'이라는 단어를 쓰기로 했어. 말과 단어를 뜻하는 '츠'에 중국 화폐 단위인 '위안'을 붙여 토큰 공식 번역 명칭을 정한 거야. 연산 단위에 자국 화폐명을 써서 토큰 경제 하면 자연스럽게 중국을 떠올리게 하려는 브랜딩인 셈이지.

토큰으로 진짜 돈을 버는 곳은 어디일까?

토큰 경제가 이렇게 커지니까 토큰을 파는 AI 기업들은 함박웃음을 짓고 있겠지? 그렇지 않아. 오히려 적자가 계속 쌓이는 아이러니한 상황이 벌어지고 있어.

출처 : An Inside Look at OpenAI and Anthropic’s Finances Ahead of Their IPOs

월스트리트저널이 입수한 오픈AI랑 앤트로픽 내부 문건 자료로 그린 그래프야. 선으로 표시된 그래프는 두 기업의 연간 수익을 나타낸 건데, 선만 보면 연마다 빠르게 늘어나고 있지. 하지만 이 숫자에는 모델 훈련 비용이 포함돼 있지 않아. 만약 훈련 비용까지 포함해서 그래프를 그리면 막대 그래프로 표시된 모양이 돼. 오픈AI는 2030년에, 앤트로픽은 2028년에야 흑자로 전환될 거라고 예측되고 있지.

토큰에 이렇게 돈을 많이 쓰고, AI 시장에 투자금이 천문학적으로 몰리고 있는데 도대체 다 어디로 가는 걸까? 토큰 경제에서 진짜 돈을 버는 쪽은 바로 컴퓨팅 리소스를 파는 기업들이야. 먼저 GPU 칩을 파는 엔비디아. 그리고 GPU를 데이터센터에 쌓아두고 빌려주는 AWS나 구글 클라우드, MS 애저 같은 클라우드 기업들이 바로 그 주인공이지.

앤트로픽이 지난 4월 20일에 발표한 계약이 있어. 앞으로 10년간 AWS에 1,000억 달러 이상을 투자하겠다는 내용이었지. 우리 돈으로 140조 원이 넘는 막대한 금액이 들어가는 이유는 클로드 모델 훈련과 배포를 위해서야. 이렇게 확보된 컴퓨팅 용량이 원전 5기 수준인 5GW야.

10년간 1,000억 달러 투자해 확보한 5GW 수준의 컴퓨팅 자원

앤트로픽이 AWS하고만 손잡는 게 아니야. 구글 클라우드랑도 협력해서 구글 TPU 최대 100만 개를 활용할 수 있는 파트너십도 맺었어.

오픈AI도 마찬가지야. 일단 오픈AI는 스타게이트 프로젝트라는 대규모 AI 인프라 사업에 직접 플레이어로 참여하고 있지. 또 기존에 마이크로소프트와 7년간 맺어왔던 독점 계약에서 벗어나 멀티 클라우드 전략으로 방향을 바꿨어. 그래서 구글이랑 AWS랑 계약 맺으면서 컴퓨팅 리소스를 확보하고 있지.

그리고 AI 컴퓨팅 영역의 압도적 강자인 엔비디아가 지금 이 시장에서 가장 행복한 웃음을 짓고 있을 거야.

'토큰 공장장' 젠슨 황

"과거 데이터센터는 파일 처리용이었어요. 하지만 이제는 토큰을 생산하는 공장이 되었습니다."
"토큰은 새로운 상품이며, 다른 상품들처럼 성숙 단계에 들어서면 변곡점을 맞게 될 겁니다."

'AI 5단 케이크' 가운데 엔비디아는 인프라-칩-에너지 영향력을 확보하고 있다

젠슨 황은 예전부터 AI 시장을 두고 '5단 케이크'론을 설파해왔어. 맨 밑에 이 시장을 떠받치는 에너지가 있고, 그 위에 칩, 그리고 그 위에 인프라가 있어. 이런 구조 위에서 AI 모델과 애플리케이션, 서비스들이 돌아간다는 거지. AI 모델 위에서 만들어진 애플리케이션이 돈을 벌면, 그 수익은 결국 아래 층으로 흘러갈 수밖에 없어.


칩을 꽉 쥐고 있는 엔비디아는 당연히 기쁠 수밖에 없겠지. 칩뿐 아니라 최근 엔비디아는 에너지 인프라 효율을 극대화하기 위한 기술도 세일즈하고 있으니 수익은 더 늘어날 가능성이 있고.

오픈AI의 GPT-5.5가 출시되고 젠슨 황은 엔비디아 전 직원에게 사내 공지 메일을 보냈어. 내용은 다음과 같아.

결국 돈을 버는 건 '곡괭이' 기업이라는 걸 보여주는 젠슨 황의 메일

오픈AI의 Codex랑 새 모델을 적극적으로 쓰라는 내용이었지. 그리고 이 사내 메일 내용을 복사해서 샘 올트먼에게도 그대로 보냈어. 이 말도 덧붙이면서 말이야.

"블랙웰 GPU를 가동합시다! 우리는 더 많은 토큰이 필요합니다!"

토큰은 이제 새로운 상품이자 새로운 통화가 되어가고 있어. 하지만 토큰이 중요해질수록 그 숫자에 사람들이 과하게 얽매이는 부작용도 커지고 있어. 마이크로소프트 어떤 개발자는 AI를 너무 적게 쓴다고 지적받을까 봐 꼭 필요하지 않은데도 일단 에이전트에게 일을 맡긴다는 인터뷰도 있더라고.

회사 압박과 경쟁 문화 속에서 가짜 토큰 사용량이 늘어나게 될지도 모르는 거야. 하지만 비용은 진짜로 남겠지. 단순히 돈 문제만이 아니라 토큰 하나를 처리하고 만들려면 막대한 양의 에너지와 물이 들어가고 있고. 과연 토큰 경제는 어디로 향하게 될까? 뉴스레터 구독자는 어떻게 생각해? 오늘 준비한 오그랲은 여기까지야. 긴 글 끝까지 읽어줘서 진심으로 고마워!


Open AI Tokenizer


챗 지피티에 명령을 내릴 때 토큰을 얼마나 쓰고 있는지 궁금하다고? 오픈 AI의 토크나이저에 들어가서 프롬프트를 입력하면, 내 명령이 얼마나 많은 토큰을 쓰는지 볼 수 있어. 프롬프트 입력할 때 한 번 확인해봐! 

혹시 마음속에 누군가에게 전하지 못한 말이 있어? 그런 이야기들을 남길 수 있는 사이트가 있어. 타임캡슐처럼 추억이 담긴 장소에 메시지를 남겨두는 거야. 해외에서 유행하기 시작했는데, 한국에도 벌써 천 개 가까운 메시지가 쌓였어. 꼭꼭 묻어둔 말이 있다면, 생각나는 그 장소에 남겨봐. 
  • AI의 사용 한도가 줄어들며 이용자의 일하는 모습도 바꾸고 있어
  • 최근 창업자와 개발자들 사이에선 AI 사용량 제한에 맞춰 작업을 나누고, 한도 초기화 시간에 맞춰 업무 일정을 짜는 방식이 확산되고 있어
  • 일부 개발자는 AI 사용량을 '주간 예산'처럼 관리하며, 고부하 작업은 한도 여유가 있을 때 집중 배치하고 제한에 가까워지면 작업 강도를 낮추는 방식으로 일을 분배하기도
  • 지난 26일 공개된 딥시크 V4 프리뷰
  • 모든 모델의 입력 캐시 적중 비용을 기존 대비 10분의 1 수준으로 낮췄다고
  • 딥시크 V4 모델의 최소 입력 비용은 100만 토큰 당 약 0.14달러 수준으로 떨어져
  • 프로모션 할인까지 적용되면 입력 토큰 100만 개당 가격은 0.0036 달러 수준까지 낮아져
  • 입력과 출력 모두 포함한 대화당 비용은 GPT5.5가 딥시크 V4의 약 32배에 달하는 수준
  • 주요 중국 모델들도 플래그십 모델의 가격 인상하는 가운데 딥시크는 가격 대폭 낮춰 경쟁력 갖추는 전략 쓰고 있어
  • 토큰화의 기본 원리는 어느 플랫폼이나 유사하지만, 실제 구현 방식과 최적화 전략은 각 서비스마다 다름
  • 챗GPT는 문장을 단어보다 더 작은 ‘서브워드(부분 단어)’ 단위로 나눠 처리 효율성과 어휘 범위 간 균형을 맞추는 방식 
  • 앤트로픽의 클로드 코워크 역시 유사한 방식의 토큰화를 적용, 다만 학습 데이터 특성에 맞춘 고유 알고리즘 적용했을 수도
  • 각 플랫폼의 토큰화 방식, 과금 구조, 사용자 인터랙션 전략도 주요 타깃층에 맞춰 구성돼있어 

  • 앤트로픽이 ‘클로드 코드’의 예상 사용 비용 대폭 상향 조정, 현재의 월 정액제 종료하고 사용량 기반 과금으로의 전환을 사실상 예고한 것
  • 현재의 월 20달러 정액제로는 사용자 요청을 감당할 수 있는 수준을 이미 넘어서
  • 최근 개발자들이 클로드 코드를 업무 전반에 깊숙이 투입하자, 더이상 버티기 어려운 임계점에 도달한 것
  • 다만 앤트로픽은 전체 사용자의 90%는 하루 30달러 이하 비용 범위에 머물고 있다고 설명해
  • 세일즈포스에서는 최근 ‘Agentic Work Units (에이전트 작업 단위)’라는 새로운 AI 생산성 지표를 만들어
  • 세일즈포스 부사장은 "클로드 코드를 이용해 아무런 결과도 얻지 못하는 무한 루프를 돌림으로써 토큰을 최대화할 수도 있겠지만, 고객이 실제로 얻는 것이 별로 없다면 무슨 의미가 있냐”며 토큰 맥싱 문화에 의구심을 표해
  • 토큰 사용의 실제 비용을 정확히 산출하지 못한다면 실제 생산성도 측정하기 어려워

앤트로픽이 출시한 ‘클로드 디자인’이 디자인 산업의 지형도를 바꾸고 있어. 클로드 디자인이 뭐냐고? 클로드 디자인은 단순한 이미지 생성 기능이 아니라 아이디어 구상부터 프로토타입, 실제 코드 구현까지 하나의 플랫폼 내에서 해결할 수 있는 도구야. 이번 주 오그랲에서는 클로드 디자인 출시 이후 피그마 주가가 하루 만에 7% 하락하고 피그마의 기업 가치가 IPO 고점 대비 약 80% 줄어든 배경부터, 이미지 AI 등장 이후 프리랜서 플랫폼의 디자인 구인 공고 감소 상황까지 데이터와 그래프로 살펴봤어. 궁금하면 위의 썸네일을 클릭해 봐!

뉴스레터 구독자, 오늘 편지를 읽고 마부뉴스 제작진에게 하고 싶은 의견이 있다면 아래 링크를 통해 남겨줘. 남겨준 의견들 하나 하나 꼼꼼하게 읽어볼게!

이번 주 마부뉴스는 어땠나요?
 
❤ 저희 인스타도 하고, 트위터도 해요!
🤖 새롭게 디스코드도 시작했어요!
📨 아직 구독하지 않으셨나요? 여기서 구독해주세요! 
💌 이전 편지도 보고싶다면? 👉 https://premium.sbs.co.kr/corner/list/fivegraph
📪 수신거부를 원하신다면 여기를 눌러주세요.
 
마부뉴스
sbsdjmb@gmail.com
서울특별시 양천구 목동서로 161 SBS 방송센터 010-6524-5112
수신거부 Unsubscribe