rag(3)
-
IR 경진대회 회고
프로젝트 진행 기간 (12월 16일 - 12월 19일)프로젝트 주제주제 : 과학 질문과 이전 대화 히스토리를 보고 참고할 문서를 검색엔진에서 추출 후 이를 활용하여 질문에 적합한 대답을 생성하는 태스크(RAG)목표 : MAP, MRR 점수 최적화대화 메시지가 과학 상식에 대한 질문일 수도 있고 아닐수도 있기 때문에 과학 상식 질문이 아닌 경우는 문서를 추출할 필요가 없음.검색이 필요없는 ground truth 항목에 대해서는 검색 결과가 없는 경우를 1점으로 주고 그렇지 않는 경우는 0점으로 계산하게 로직이 추가 됨. 학습과 평가시 사용한 데이터documents.jsonl : 과학 상식 정보를 담고 있는 순수 색인 대상 문서 4200여개(Open Ko LLM Leaderboard에 들어가는 Ko-H4 데..
2024.12.21 -
인생 첫 개발 프로젝트
프로젝트 진행 기간 (8월 12일 - 19일)저번시간에 Git/Github를 배웠다.배웠으면 뭐를 해야할까? 프로젝트를 해야지! 첫 프로젝트는 RAG 실습 프로젝트였다.QA 엔진과 Chatbot을 만드는 프로젝트를 선택하는 것이 있었는데 솔직히 말하자면 인강 진도를 다 못따라가서 뭐가 뭔지 모르고 그냥 아무거나 괜찮다고 이야기하고 QA엔진을 선택했다. QA엔진을 해보니까 이거 선택하길 잘했다는 생각을 했다. 우선 난이도는 Chatbot보다 난이도가 높은 것 같다.그리고 RAG에 대한 전반적인 구조를 이해하기가 좋았다.프로젝트 주제한국공항공사의 실시간 항공운항 현황 정보 상세 조회 서비스와 인천국제공항공사의 여객편 운항현황 서비스를 활용해서 실시간 운항정보문의 QA 엔진을 구축하는 거였다. 팀에서 이렇게 ..
2024.08.26 -
Python 학습 일지
전반적인 총평대부분 그렇게 어렵지 않았다. 학교에서 python에 대해 알려주는 내용 정석대로 커리 큘럼이 구성되어 있었다.녹화된 인터넷 강의랑 실시간 인터넷 강의가 동시에 진행되었다. 두 개로 나뉘어서 작성해보겠다.#1 실시간 Zoom 강의김용담 강사님께서 강의를 해주셨다.강의의 전반적인 구성과 진행 방식은 좋았다. 수업을 받을 때마다 '여러번 많이 진행해본 분이시구나'라는 생각이 들었다. 적절한 쉬는 시간의 분배, 적절한 난이도의 분배가 좋았다.조금은 난이도가 있었던 것은 프로그램이 작동할 때 CS단위에서 어떻게 프로그램이 작동되고 구성되는지에 대해 알려주실 때이다. 그래도 대부분이 아는 내용이라 크게 어려운 것은 없었다. 가장 많이 배운 부분은 API이용해서 날씨 정보 가져오고, 모듈 단위 개발하는..
2024.08.06