컨슈머타임스=곽민구 기자 | 카카오가 AI(인공지능) 기술 생태계의 구축과 활성화를 위한 노력을 이어간다.
카카오는 인공지능 언어 모델의 펑션 콜(Function Call, 함수 호출) 성능을 평가할 수 있는 데이터 셋인 'FunctionChat-Bench'를 구축하고, 지난 23일 오픈 소스로 공개했다고 27일 밝혔다.
펑션 콜은 AI 언어 모델이 자체적으로 수행할 수 없는 동작을 지시하거나 사전에 학습하지 않은 정보를 실시간 정보를 받아올 수 있도록 언어 모델과 API 등의 외부 도구를 연결하는 기술을 뜻한다.
언어 모델을 기반으로 하는 서비스 구현에 있어 필수적으로, 언어 모델이 가진 한계를 해결해 새로운 기능으로 확장할 수 있다.
카카오는 펑션 콜 기술의 고도화를 위해 국내 IT 기업 최초로 한국어 대화 환경에서의 성능을 다면적으로 평가할 수 있는 FunctionChat-Bench 데이터 셋을 구축했다. 기존 펑션 콜 성능 평가 데이터 셋은 대부분 글로벌 기업에서 구축한 영어를 토대로 이루어져 있는데 한국어 기반의 관련 데이터셋을 구축한 것은 카카오가 처음이다.
데이터 셋은 △함수 이름과 인자 추출의 정확성 △함수 호출 결과 전달의 정확성 △누락 정보 인지를 통한 추가 질의 발생 여부 △호출 가능한 함수와의 관련성 감지 등을 평가하는 기준 항목으로 구성돼 있다.
타사 데이터 셋이 주로 언어 모델의 정확한 함수 호출 메시지 생성 중심으로만 구축된 것에 비해 카카오가 구축한 데이터 셋은 함수 호출 전후에 요구되는 사용자와의 적절한 상호 작용 메시지 생성 능력까지 평가 영역으로 포함했다는 점에서 차별성을 갖는다.
카카오는 한국어 AI 언어 모델 생태계의 활성화와 개방적 AI 환경을 위해 해당 데이터 셋을 오픈 소스 커뮤니티 깃허브(GitHub)에 공개했다. 향후 해당 데이터셋의 규모를 늘리고 영어 버전을 추가하는 등 사용성을 지속적으로 확장해 갈 계획이다.
