Verified, then logged.
Sun 22 Nov 2026 · 00:57 KST / 15:57 UTC한국어 | ENSearch /

Contests · AI & dev · Challenge · Global

SemEval 2027 Task 2: Directional-Consistent Fine-Grained Natural Language Inference

Evaluate fine-grained inference and directional consistency for phrase pairs. Tracks cover English, Spanish, Basque and mixed-language settings.

OpenD-69

Timeline

  1. 09-08(Tue)Opens
  2. 01-10(Sun)공식 평가 시작
  3. 01-31(Sun)Deadline
  4. TBDResults
  5. TBDAwards

Eligibility

  • CodaBench 개발 단계에 등록
  • 하나 이상의 언어 트랙 선택 가능

Submission

  • 각 순서 있는 문구 쌍의 관계 라벨 예측
  • 공식 형식 검증기를 통과하는 제출 파일
  • 공식 SemEval 순위 수록을 위한 시스템 설명 논문

Judging criteria

  • Weighted F1
  • SoftCons
  • HardCons

Host

Host DiCo-NLI organizing team · Organizer Jon Felix Apaolaza Larraya, Aitor Soroa, Rodrigo Agerri, Inigo Lopez-Gazpio

Official links

Official page last checked 11-17 03:06 KST

Compiled by Sebin Oh · LOGIT extracted this summary from the official call. The organizer’s notice takes precedence. Report an error →