IR 경진대회 회고

프로젝트 진행 기간 (12월 16일 - 12월 19일)프로젝트 주제주제 : 과학 질문과 이전 대화 히스토리를 보고 참고할 문서를 검색엔진에서 추출 후 이를 활용하여 질문에 적합한 대답을 생성하는 태스크(RAG)목표 : MAP, MRR 점수 최적화대화 메시지가 과학 상식에 대한 질문일 수도 있고 아닐수도 있기 때문에 과학 상식 질문이 아닌 경우는 문서를 추출할 필요가 없음.검색이 필요없는 ground truth 항목에 대해서는 검색 결과가 없는 경우를 1점으로 주고 그렇지 않는 경우는 0점으로 계산하게 로직이 추가 됨. 학습과 평가시 사용한 데이터documents.jsonl : 과학 상식 정보를 담고 있는 순수 색인 대상 문서 4200여개(Open Ko LLM Leaderboard에 들어가는 Ko-H4 데..

2024.12.21