컨슈머타임스=곽민구 기자 | 카카오브레인이 멀티모달 언어모델 오픈소스 허니비(Honeybee)를 깃허브(Github)에 공개했다.
카카오브레인은 이미지와 대규모 언어 모델을 연결할 수 있는 새로운 모듈을 제안하고자 멀티모달 언어 모델(MLLM, Multimodal Large Language Model) 오픈소스 허니비를 공개했다고 19일 밝혔다.
현재 멀티모달 언어 모델에 대한 연구는 공개된 모델 수가 적고, 학습 방법 역시 자세히 공개되지 않아 개발이 어려운 상황이다. 이에 카카오브레인은 멀티모달 언어 모델의 발전에 기여하기 위해 자체 개발한 허니비의 소스 코드를 공개하기로 결정했다고 설명했다.
MLLM은 이미지와 명령어(프롬프트)를 입력하면 텍스트로 답변하는 모델로 텍스트로만 입·출력하는 대규모 언어 모델(Large Language Model)에서 확장된 형태다.
이미지와 텍스트를 모두 입력할 수 있어 이미지에 담긴 장면을 묘사하거나 이미지와 텍스트가 혼합된 콘텐츠에 관한 질문을 이해하고 답변할 수 있는 능력을 갖고 있다.
이 모델은 지각 능력과 인지 능력을 평가하는 MME 벤치마크(성능 실험)에서 2800점 만점 중 1977점을 받는 등 MME·MMBench·SEED-Bench 등에서 모델이 공개된 타사 MLLM 대비 최고 성능을 달성했다.
관련 논문 '허니비: 멀티모달 LLM을 위한 로컬리티 강화 프로젝터(Honeybee: Locality-enhanced Projector for Multimodal LLM)'은 지난해 논문 공개 사이트 아카이브(arXiv)에 게재되기도 했다.
김일두 카카오브레인 각자 대표는 "허니비 모델의 추론을 가능하게 하는 코드도 깃허브에 공개했고, 허니비를 활용한 각종 서비스 확장을 고려 중"이라며 "더욱 발전된 AI 모델 확보를 위해 끊임없이 연구·개발할 것"이라고 말했다.
