카카오 COLM 2026 AI 연구, 학습률 탐색·BBT 경량화 핵심 정리

AI 학습 효율과 경량화를 표현한 AI 생성 이미지.

AI를 더 똑똑하게 만들려면 무조건 모델부터 키워야 할까요? 카카오가 10월 8일 공개한 연구는 학습 설정을 찾는 비용과 모델을 구성하는 파라미터 수를 줄이는 데 초점을 맞췄습니다. 국제 언어모델링 학회 COLM 2026에서 소개한 두 기술을 이해할 때는 ‘약 1%’와 ‘최대 40.4%’가 각각 무엇을 가리키는지 구분하면 쉽습니다.

전체 학습비의 약 1%로 찾은 것은 ‘학습률’

첫 번째 연구는 전문가 혼합 구조인 MoE 모델의 학습 설정에 관한 내용입니다. 여기서 학습률은 AI가 학습 과정에서 내부 값을 얼마나 크게 바꿀지 정하는 수치입니다. 값을 너무 크게 잡으면 학습이 불안정해지고, 너무 작게 잡으면 진행이 느려질 수 있습니다.

카카오는 작은 모델에서 얻은 설정을 큰 모델로 옮기는 방법을 MoE 구조에 맞췄습니다. 모델 규모와 학습에 쓰는 토큰량을 차례로 늘리면서 적절한 학습률을 찾는 방식입니다. 이때 필요한 비용이 전체 학습 비용의 약 1% 수준이었다는 설명입니다.

AI 전체를 기존 비용의 1%만 들여 학습했다는 뜻은 아닙니다. 본격적인 학습에 앞서 적절한 설정값을 탐색하는 데 드는 비용을 줄였다는 점이 핵심입니다.

카나나 모델에도 실제 적용한 학습 방법

이 방법은 카카오의 ‘Kanana-2.6-155b-a17b’ 사전학습에 사용됐습니다. 회사는 해당 설정으로 10조 토큰까지 안정적으로 학습했다고 밝혔습니다. 짧은 구간에서 찾은 학습 설정이 더 큰 규모의 학습에도 유효한지 확인하고, 실제 모델 개발에 적용한 사례입니다.

이 연구는 COLM 2026 메인 컨퍼런스에서 발표됐습니다. 또 다른 경량화 연구인 BBT는 같은 학회의 토크나이제이션 워크숍 ‘TokShop’에서 공개됐습니다.

BBT, 파라미터 수 최대 40.4% 감소

BBT는 문자를 처리하는 구조를 바꾸는 기술입니다. 여러 문자를 묶어 효율적으로 처리하는 기존 방식의 장점을 살리면서, 더 작은 기본 단위인 바이트를 활용해 모델 크기를 줄였습니다.

카카오가 공개한 비교 실험에서는 파라미터 수가 20.2~40.4% 줄었고, 테스트 성능은 2.7~6.6% 개선됐습니다. 오탈자나 문자가 흐트러진 입력을 처리하는 능력과, 학습하지 않은 언어로 지식을 옮겨 적용하는 성능도 높아졌다는 설명입니다. 수치는 이번 비교 실험 결과로, 모든 AI 모델에서 같은 효과가 난다는 의미는 아닙니다.

이용자에게는 어떤 변화로 이어질까?

학습률 연구가 모델을 만드는 과정의 시행착오를 줄이는 데 초점을 맞췄다면, BBT는 모델 자체를 가볍게 만드는 접근입니다. 카카오는 BBT가 기기 안에서 AI를 실행할 때 메모리 부담을 줄이고, 여러 언어나 오탈자가 섞인 대화를 처리하는 데 도움이 될 것으로 기대하고 있습니다.

이번 발표는 연구 성과에 관한 소식입니다. 카카오톡이나 카나나의 특정 기능에 두 기술이 모두 적용됐다는 발표와는 구분해야 합니다. 카카오는 향후 다양한 모델 구조와 멀티모달·다국어 환경으로 연구 범위를 넓힐 계획입니다.