1. 대회 개요

개요

• 해당 대회는 Upstage AI Lab 과정에서 비공개로 진행된 내부 대회이며 일상 대화에 대한 요약을 효과적으로 생성하는 모델을 개발하는 대회입니다.
• 해당 대회에서 주어진 데이터셋은 영어 일상 대화 요약 Task에서 많이 활용되는 DialogSum 데이터셋을 한국어로 번역한 데이터라는 점이 대회의 특징입니다.

데이터

DialogSum 데이터 셋을 한국어로 번역한 데이터로 fname(고유ID), dialogue(대화문), summary(요약문), topic(대화주제)로 구성돼 있습니다. 또한 발화자와 개인정보 등은 아래 같이 마스킹 처리 돼 있습니다.

['#Person1#', '#Person2#', '#Person3#', '#Person4#', 
'#Person5#', '#Person6#', '#Person7#', '#CarNumber#', 
'#DateOfBirth#', '#CardNumber#', '#SSN#', '#Email#', 
'#Address#', '#PhoneNumber#', '#PassportNumber#']

• Train
  • train.csv ⇒ 12457개의 대화문 및 요약문 데이터
• Valid
  • dev.csv ⇒ 499개의 대화문 및 요약문 데이터(Train과 동일)
• Test
  • test.csv ⇒ 499개의 대화문 데이터

환경

• VSCODE
• ssh sever(RTX 3090/Ubuntu 20.04.6)
• pytorch

평가방법

• 요약문은 관점에 따라서 다르게 요약이 될 수 있기 때문에 해당 대회에서는 예측된 요약 문장을 다르게 요약된 3개의 정답 요약 문장과 비교하여 metric의 평균 점수를 산출합니다.
• 본 대회에서는 ROUGE-1-F1, ROUGE-2-F1, ROUGE-L-F1 총 3가지 종류의 metric으로부터 산출된 평균 점수를 더하여 최종 점수를 계산합니다.
• Rouge Score는 예측된 요약문과 정답 요약문 사이의 일치하는 비율을 계산하는 평가지표입니다.