속보02 / IT
허깅페이스, transformers 캐시 인자명 통합
기존 캐시 인자명을 쓸 수 있는 기한은 호출 함수마다 다르다.
Hugging Face는 11월 21일 생성용 캐시 이름 통합을 발표했다. 기존 이름은 경고와 함께 한시 허용했다.
v5.24.0 공지에 따르면 TextStreamer도 손봤다. 공백 없는 한국어 출력 지연을 수정했다.
공지에 적힌 새 이름은 cache다. past_key_values와 cache_params를 대체했다.
옛 이름과 새 이름을 함께 넘기면 오류가 난다고 공지는 밝혔다.
공지에 따르면 기존 캐시 이름은 모델 유형별로 달랐다. 혼합형 모델은 이름을 구분해 처리했다.
공지에 따르면 forward는 옛 이름을 v5.40.0까지 받는다. generate는 v6.0.0까지 받는다.