확인한 것만 기록한다.
2026-11-23 · 00:23 KST / 15:23 UTC한국어 | EN검색 /

속보02 / IT

CWE-bench v2, 보안 과제 100개 공개

선두 모델도 과제의 19%는 매번 실패했고, 라이선스·상용 조건은 공개 글에 나오지 않는다.

어두운 책상 위 모니터에 초록색 칸과 약 5분의 1을 차지하는 빨간색 칸으로 이뤄진 격자가 흐릿한 코드 변경 화면 옆에 떠 있고, 초점 밖의 엔지니어가 뒷모습으로 화면을 들여다보고 있다. AI 생성 이미지

Collinear AI가 11월 3일 보안 벤치마크 CWE-bench v2를 공개했다. 공개 과제 100개가 열려 모델 개발자가 직접 평가하게 됐다고 회사는 밝혔다.

Hugging Face 블로그에 따르면 에이전트는 오픈소스 저장소의 약점을 고쳐야 한다. 기존 기능은 유지해야 하고, 과제는 약점 유형 CWE 91종에 걸쳐 있다. "Recognising a familiar pattern is not enough."라고 글은 적었다.

회사가 밝힌 11개 모델 결과는 과제당 4회 시도 기준이다. 1회 시도 통과율은 Gemini 4 Argon이 67.8%, Claude Opus 5.5가 67.3%였다. 95개 과제는 한 모델 이상이 풀었고, 선두 모델도 19%는 매번 실패했다.

호환성. 블로그 글은 평가 구성이 이전과 같다고 밝혔다. 저장소와 짧은 지시를 주는 방식이 유지됐다. Harbor 명령의 데이터셋 이름은 [email protected]이다.

글에 따르면 데이터셋을 쓰려면 페이지에서 접근 조건에 동의해야 한다. Hugging Face 토큰을 git 자격 증명에 저장하면 복제 없이 실행된다. 비공개 과제로 평가하려면 Collinear AI에 따로 연락하면 된다.

실행 환경. 글에 따르면 과제마다 Docker 환경과 지시문, 검증기가 들어 있다. 채점은 프로그램이 맡아 같은 결과가 재현된다. -k 4를 쓰면 과제당 4회씩 모두 400회 시행의 평균이 점수가 된다.

라이선스·상용 조건과 이전 점수와의 비교 가능 여부는 글에 나오지 않는다.