[AI 리뷰] AI 언어모델의 ‘토큰 장벽’ 깬다…메타, 256개 바이트로 기존 모델 성능 추월 가능성

인공지능(AI) 언어모델이 문장을 이해하고 생성하기 위해 사용하는 핵심 기술인 '토크나이저(Tokenizer)'의 역할을 근본적으로 재검토해야 한다는 연구 결과가 나왔다. 수만~수십만 개의 토큰으로 텍스트를 분할하는 기존 방식 대신, 단 256개 값으로 구성된 바이트(Byte)를 직접 처리하는 모델이 충분한 학습과 연산을 거치면 기존 토큰 기반 모델보다 높은 성능에 도달할 수 있다는 것이다.특히, 이번 연구는 단순히 입력 표현을 바꾸는 데 그치지 않고, 대형언어모델(LLM)의 지식을 소형 바이트 모델에 이전하는 '지식 증류(Know

인공지능신문 · 2026. 10. 24. 오전 12:50