프로젝트 진행 기간 (12월 16일 - 12월 19일)프로젝트 주제주제 : 과학 질문과 이전 대화 히스토리를 보고 참고할 문서를 검색엔진에서 추출 후 이를 활용하여 질문에 적합한 대답을 생성하는 태스크(RAG)목표 : MAP, MRR 점수 최적화대화 메시지가 과학 상식에 대한 질문일 수도 있고 아닐수도 있기 때문에 과학 상식 질문이 아닌 경우는 문서를 추출할 필요가 없음.검색이 필요없는 ground truth 항목에 대해서는 검색 결과가 없는 경우를 1점으로 주고 그렇지 않는 경우는 0점으로 계산하게 로직이 추가 됨. 학습과 평가시 사용한 데이터documents.jsonl : 과학 상식 정보를 담고 있는 순수 색인 대상 문서 4200여개(Open Ko LLM Leaderboard에 들어가는 Ko-H4 데..

Data Centric AI 등장 배경기존 AI는 모델 개발에 초점이 맞춰졌지만 모델의 성능 향상이 점차 둔화되고 데이터 품질 문제가 AI 성능에 큰 영향을 미쳤다.편형된 데이터와 레이블 오류가 모델의 성능을 저하시켰다. 하지만 고품질 데이터는 소량이라도 큰 성능 향상을 가져왔다. 엔드류 응 교수가 이런 주장을 했다.데이터를 개선하는 것이 더 효과적일 때가 많다.데이터 정제와 품질 관리가 AI 발전의 핵심이다.이렇게 Data Centric model을 통해 성능을 높이는 방향의 새로운 분야가 등장하게 되었다. 음...🤔 듣고 보면 당연한 이야기다. 내 차가 아무리 좋은 스포츠카라고 해도 차에 들어가는 기름이 고급유가 아니면...차 본래의 성능을 잘 못내니... 학습 내용이 챕터에서는 데이터 구축 프로세..

LM to LLM단어 임베딩 하는 것부터 시작해서 많은 것을 배우고 있다.카운트 기반, 의미 기반, 문맥 기반, PT(Pre-Training) 기반 언어모델, LLM동향과 Data-Centric, Model-Centric, Evaluation-Centric, Prompt engineering, Multimodal, Cross Lingual, Multilingual LLM등 다양한 것을 배운다. 논문들이 엄청 많이 나오는데 정말 간단하게 내용 정리되어 있어서 전반적인 내용을 간단하게 보기는 좋았지만 여러 논문들이 주장하는 내용들을 한 눈에 정리해서 보기에는 어려웠던 것 같다. 그래도 이번에 만들어진 팀의 경우에 각자 공부한 내용들 공유하는 시간이 있어서 그냥 빠르게 강의 듣고 넘어가는 일은 없는 것 같아서..

프로젝트 진행 기간 (11월 11일 - 11월 29일)프로젝트 주제주제 : 주어진 일상 대화를 바탕으로 요약문 생성하기목표 : Rouge-1, Rouge-2, Rouge-l 점수 최적화최소2턴, 최대 60턴으로 대화가 구성되어 있습니다. 대화(*dialogue)를 보고 이에 대한 요약(*summary) 를 예측하는 것이 최종 목표 학습시 사용한 데이터train : 12457dev : 499test : 250hidden-test : 249fname : 대화 고유번호 입니다. 중복되는 번호가 없습니다.dialogue : 최소 2명에서 최대 7명이 등장하여 나누는 대화 내용입니다. 각각의 발화자를 구분하기 위해#Person”N”#: 을 사용하며, 발화자의 대화가 끝나면 \n 으로 구분합니다. 이 구분자를 기준..

프로젝트 진행 기간 (10월 29일 - 11월 08일)프로젝트 주제주제 : 17개의 class 문서 타입 분류목표 : 최근 기업에서 디지털, 전산화가 많이 이루어지다보니 그 초기 작업으로 이 문서가 어떤 문서인지 판별하는게 매우 중요하다. 현업에서도 문서분류 Task가 원활하도록 CV Model을 만들어보자. 학습시 사용한 데이터Upstage 내부 데이터셋 (비공개 원칙)팀 개발 문화나뿐만 아니라 다른 팀원 분도 이전 프로젝트를 진행하며 밀린 강의가 좀 있어서 각자 공부하고 최종 마지막 한 주에 모여서 개발하는 문화로 갔다. 그리고 이번엔 처음으로 팀장을 해보았다. 그렇게 어렵지는 않았다. 근데 조금 아쉬운 것은 팀장인데 좀 더 열심히 하면 어땠을까 생각해본다. 그래도 주어진 환경에서 최선을 다했고, 결..

후후 원래 이 블로그는 3주 전에 작성되어야 하는게 맞지만 경진대회+현생이 바빴던 이유로 지금 작성합니다...다음 블로그는 CV 경진대회 블로그로 찾아오겠습니다:) Pytorch란?딥러닝을 위한 framework다.framework가 뭐냐? 공구 상자라고 생각하면 된다. 어떤 걸 고치기 위해서 드라이버, 벤치가 한 번에 다 있으면 좋듯이 Pytorch는 딥러닝을 하기 위해 필요한 도구가 한 번에 모여 있다고 생각하면 된다. 예전에 Tenserflow로 입문하려고 했는데 트렌드를 보니까 Pytorch가 더 많이 사용되고 있다고 해서 빠르게 바꾼 기억이... 학습 하며이번 강의는 Pytorch를 전문적으로 알려준다기보다 기본적인 내용을 포괄적으로 다루었다.그리고 좋았던 건 딥러닝에서 자주 쓰이는 말들에 대한..