토큰 계산기

글을 붙여 넣거나 입력하면 글자 수, 단어 수, 그리고 OpenAI 의 두 인코딩 기준 정확한 토큰 수가 바로 갱신됩니다. o200k_base 는 GPT-4o, GPT-4.1, o 계열 추론 모델이 쓰는 인코딩이고, cl100k_base 는 GPT-4 와 GPT-3.5 가 쓰던 이전 인코딩입니다. 같은 글도 둘 사이에 몇 퍼센트씩 차이가 나기 때문에 둘을 함께 보여 줍니다. 근사치가 아니라 실제 BPE 토크나이저를 돌리므로 API 청구 기준과 같은 숫자가 나옵니다.

Claude 와 Gemini 는 브라우저에서 돌릴 수 있는 토크나이저를 제공하지 않아서, 그 값은 추정치이고 화면에도 추정이라고 적혀 있습니다. 라틴 문자는 약 3.5 자에 토큰 하나, 한국어·일본어·중국어는 약 1.5 자에 토큰 하나라는 단순한 어림셈을 씁니다. 코드나 특수한 서식, 여러 언어가 섞인 글에서는 20% 이상 틀릴 수 있으니 대략적인 예산 잡기에만 쓰고, 정확한 값은 API 응답의 usage 필드로 확인하세요.

토큰 수는 프롬프트가 컨텍스트 윈도우에 들어가는지, 요청 비용이 얼마인지, 답변에 쓸 자리가 얼마나 남는지를 정합니다. 숫자 아래의 색깔 칩은 토크나이저가 앞 200 토큰을 어떻게 나누는지 보여 줍니다. 흔한 영어 단어는 보통 토큰 하나인데 한글 한 글자는 두세 토큰인 경우가 많습니다. 같은 문서가 한국어에서 더 비싼 이유가 여기 있습니다. 긴 URL, base64 덩어리, 반복되는 공백처럼 프롬프트를 부풀리는 요소도 칩을 보면 바로 눈에 띕니다.

모든 계산은 로컬에서 합니다. 토크나이저 사전은 처음 입력할 때 한 번 내려받으며(각각 수 MB) 그 뒤로는 글이 페이지 밖으로 나가지 않습니다. 기밀 프롬프트나 사내 문서를 붙여 넣어도 안전합니다. 100만 자를 넘는 입력은 인코딩하다가 탭이 멈추기 때문에 받지 않으니 먼저 나눠 주세요.