뉴스
Google, 시각 작업을 위한 다중 모드 지식 에이전트 벤치마크 출시
Google과 Artificial Analysis는 시각적으로 복잡한 작업에서 AI 성능을 평가하기 위해 다중 모드 지식 에이전트 벤치마크를 도입했습니다.
번역 기사입니다. 원문 기사 읽기.
Google은 Artificial Analysis와 협력하여 AI 에이전트가 전문 작업 흐름에서 시각적으로 복잡한 작업을 처리하는 방식을 평가하기 위한 다중 모드 지식 에이전트(MKA) 벤치마크를 출시했습니다. 이 벤치마크는 이미지, 페이지 레이아웃 및 스프레드시트와 같은 다중 모드 입력을 가로지르는 추론이 필요한 작업에 중점을 둠으로써 텍스트 전용 벤치마크의 한계를 해결하는 것을 목표로 합니다.
벤치마크 설계 및 범위
MKA 벤치마크는 10 산업 및 83 직업의 도메인 전문가의 의견을 바탕으로 개발되었습니다. 평가 세트는 실제 작업 흐름을 시뮬레이션하는 200 작업으로 구성되며, 각 작업은 경험이 풍부한 전문가에게서 삼시간에서 8 시간의 노력을 요구합니다. 작업은 다중 모드 입력 파일, 현실적인 프롬프트, 약 70 개의 예/아니오 검사를 포함하는 전문가가 작성한 루브릭과 쌍을 이루고 있습니다. 루브릭은 사실 정확성을 75%로, 시각 디자인을 25%로 가중합니다.
공정성 및 일관성을 확보하기 위해 모든 모델은 표준화된 도구 세트, 샌드박스 환경 및 고정된 턴 예산을 제공하는 오픈 소스 에이전트 하네스 Stirrup을 사용하여 평가됩니다. 제출물은 테스트 중 인간 도메인 전문가와 96%의 합의율을 달성한 비-Google 모델에 기반한 에이전트 자동 채점기에 의해 평가됩니다. 데이터 유출을 방지하기 위해 200 작업 평가 세트는 비공개로 유지되며, 10 공개 작업 세트가 Hugging Face에서 더 넓은 실험을 위해 이용 가능합니다.
성능 통찰 및 Gemini 4 Carbon
Google의 기술 보고서는 MKA 벤치마크에서 모델 성능의 중요한 변동성을 강조합니다. 선구적인 모델들은 평균적으로 작업 완료에 30에서 130 턴을 요구하며 효율성의 차이를 보여주었습니다. 이 보고서는 시각적으로 복잡한 작업 흐름에서 성공하기 위해서는 강력한 인식 능력이 중요하다는 점을 강조합니다.
테스트된 모델 중 Gemini 4 Carbon이 품질에서 두 번째로 높은 성과를 내며, 가장 높은 점수를 받은 모델에 비해 비용이 여섯 배 낮은 뛰어난 성과자로 부각되었습니다. 품질과 가격의 파레토 프론티어에 위치한 Gemini 4 Carbon은 현재 Google AI Studio의 Gemini API를 통해 이용 가능하며, 통합을 위한 최신 개발자 문서가 제공됩니다.
다음 단계
연구자와 개발자는 MKA 벤치마크를 탐색하고 Artificial Analysis에서 모델을 평가할 수 있습니다. 이 이니셔티브는 관련 업계에서 시각적으로 집중적인 작업 흐름을 필요로 하는 AI의 능력을 향상시키는 중요한 단계입니다.