Contests · AI & dev · Challenge · Global
SemEval 2027 Task 2: Directional-Consistent Fine-Grained Natural Language Inference
Evaluate fine-grained inference and directional consistency for phrase pairs. Tracks cover English, Spanish, Basque and mixed-language settings.
OpenD-69
Timeline
- 09-08(Tue)Opens
- 01-10(Sun)공식 평가 시작
- 01-31(Sun)Deadline
- TBDResults
- TBDAwards
Eligibility
- CodaBench 개발 단계에 등록
- 하나 이상의 언어 트랙 선택 가능
Submission
- 각 순서 있는 문구 쌍의 관계 라벨 예측
- 공식 형식 검증기를 통과하는 제출 파일
- 공식 SemEval 순위 수록을 위한 시스템 설명 논문
Judging criteria
- Weighted F1
- SoftCons
- HardCons
Host
Host DiCo-NLI organizing team · Organizer Jon Felix Apaolaza Larraya, Aitor Soroa, Rodrigo Agerri, Inigo Lopez-Gazpio
Official links
Official page last checked 11-17 03:06 KST
Compiled by Sebin Oh · LOGIT extracted this summary from the official call. The organizer’s notice takes precedence. Report an error →