카카오, AI 안전성 평가 체계 구축 위해 인공지능안전연구소와 업무협약 체결

카카오가 인공지능(AI) 모델의 안전성 검증 범위를 AI 에이전트까지 넓힌다. 인공지능안전연구소와 언어모델부터 멀티모달 언어모델, AI 에이전트까지 단계적으로 안전성을 평가하고 이를 검증하기 위한 평가도구도 공동 개발한다.
29일 업계에 따르면 AI 안전성 평가는 모델이 가진 잠재적 위험을 사전에 식별하고 검증하는 과정이다. AI 기술이 빠르게 발전하면서 모델 배포 전뿐만 아니라 이후에도 발생할 수 있는 위험을 확인하는 안전성 평가의 중요성이 커지고 있다.

이에 카카오는 지난 28일 인공지능안전연구소와 AI 안전성 공동 평가 및 평가 체계 구축을 위한 전략적 업무협약(MOU)을 체결했다. 양사는 먼저 언어모델을 대상으로 배포 전후 안전성 평가를 진행한다. 이후 이미지 등 다양한 형태의 정보를 함께 처리하는 멀티모달 언어모델과 AI 에이전트까지 평가 범위를 확대한다. 마지막으로 AI 모델과 에이전트의 안전성을 보다 효율적으로 검증할 수 있는 평가도구를 공동 개발할 예정이다.

카카오는 평가 대상이 되는 자사 AI 모델과 AI 에이전트를 제공하고 평가와 평가도구 개발에 필요한 인프라를 지원한다. 인공지능안전연구소는 실제 평가와 평가 방법론 고도화를 맡는다. 평가 결과는 양사가 함께 검토하며 외부에 공개할 범위도 협의한다.
앞서 양사는 지난해에도 카카오의 자체 언어모델 '카나나-1.5-9.8B'를 대상으로 안전성 평가를 진행했다. 카카오는 당시 유사 규모의 해외 모델과 비교해 높은 수준의 안전성을 확인했다고 설명했다. 이번에는 기존 언어모델에서 멀티모달 언어모델과 AI 에이전트로 평가 대상을 넓히는 동시에 평가도구 개발까지 협력을 확대에 나선 것이다.

김세웅 카카오 AI 시너지 성과리더는 “이번 협력을 통해 카카오 AI 모델이 더욱 객관적이고 엄격한 안전성 검증 체계를 갖추게 됐다”며 “앞으로도 기술 혁신과 함께 안전성과 신뢰를 최우선으로 하는 AI 모델과 서비스를 제공하기 위해 지속적으로 노력하겠다”고 말했다.

김명주 인공지능안전연구소장은 “AI 기술이 고도화될수록 잠재적 위험을 선제적으로 식별하고 평가하는 체계가 무엇보다 중요하다”며 “카카오와의 협력을 통해 글로벌 표준에 부합하는 AI 안전성 평가 체계를 구축하는 데 최선을 다하겠다”고 말했다.

한편 카카오는 앞서 kt 클라우드와 안전한 AI 생태계 구축을 위한 업무협약을 체결했으며 외부 전문가로 구성된 ‘AI&기술윤리소위원회’ 자문단도 운영하고 있다.

이재현 글로벌이코노믹 기자 kiscezyr@g-enews.com