프로젝트 진행 기간 (01월 13일 - 02월 07일)프로젝트 주제주제 : 숫자 텍스트 변환 (Text - Normalization)목표 : 숫자가 포함된 텍스트를 한글로 바꾸기 (For TTS) 학습과 평가시 사용한 데이터https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=484팀 개발 문화팀장으로 프로젝트를 진행했다.팀원 수는 총 3명이었다. (원래 한 분 더 계셨었는데 어떤 이유인지는 몰라도... bye bye) 이번 프로젝트에도 어김없이 휴일이 함께 있었는데... (쉬지 않았다... 악덕 팀장 ...?) 1월 13일 - 17일 : 프로젝트 기획안 및 팀 개발 일정 조율1월 20일 ..

대회 진행 기간 (12월 23일 - 01월 02일)프로젝트 주제주제 : 미래 (next one week)에 사용자가 구매할 상품을 추천하는 것목표 : Binary relevance 기반의 NDCG@10 학습과 평가시 사용한 데이터www.kaggle.com/datasets/mkechinov/ecommerce-behavior-data-from-multi-category-store/data팀 개발 문화이번에도 팀장으로 프로젝트를 진행했다. 하지만 나도 연말 개인일정, 또 팀원들도 개인 일정으로 인해 대회에 온전히 집중하지 못했다.진행 과정평가 방식 파악사용자 id가 있고 해당 사용자에게 추천할 것들을 모델이 top10개 추천하고 정답 dataset과 비교해서 10개를 잘 맞췄나 비교하는 방식으로 평가가 이루어..

프로젝트 진행 기간 (12월 16일 - 12월 19일)프로젝트 주제주제 : 과학 질문과 이전 대화 히스토리를 보고 참고할 문서를 검색엔진에서 추출 후 이를 활용하여 질문에 적합한 대답을 생성하는 태스크(RAG)목표 : MAP, MRR 점수 최적화대화 메시지가 과학 상식에 대한 질문일 수도 있고 아닐수도 있기 때문에 과학 상식 질문이 아닌 경우는 문서를 추출할 필요가 없음.검색이 필요없는 ground truth 항목에 대해서는 검색 결과가 없는 경우를 1점으로 주고 그렇지 않는 경우는 0점으로 계산하게 로직이 추가 됨. 학습과 평가시 사용한 데이터documents.jsonl : 과학 상식 정보를 담고 있는 순수 색인 대상 문서 4200여개(Open Ko LLM Leaderboard에 들어가는 Ko-H4 데..

Data Centric AI 등장 배경기존 AI는 모델 개발에 초점이 맞춰졌지만 모델의 성능 향상이 점차 둔화되고 데이터 품질 문제가 AI 성능에 큰 영향을 미쳤다.편형된 데이터와 레이블 오류가 모델의 성능을 저하시켰다. 하지만 고품질 데이터는 소량이라도 큰 성능 향상을 가져왔다. 엔드류 응 교수가 이런 주장을 했다.데이터를 개선하는 것이 더 효과적일 때가 많다.데이터 정제와 품질 관리가 AI 발전의 핵심이다.이렇게 Data Centric model을 통해 성능을 높이는 방향의 새로운 분야가 등장하게 되었다. 음...🤔 듣고 보면 당연한 이야기다. 내 차가 아무리 좋은 스포츠카라고 해도 차에 들어가는 기름이 고급유가 아니면...차 본래의 성능을 잘 못내니... 학습 내용이 챕터에서는 데이터 구축 프로세..

LM to LLM단어 임베딩 하는 것부터 시작해서 많은 것을 배우고 있다.카운트 기반, 의미 기반, 문맥 기반, PT(Pre-Training) 기반 언어모델, LLM동향과 Data-Centric, Model-Centric, Evaluation-Centric, Prompt engineering, Multimodal, Cross Lingual, Multilingual LLM등 다양한 것을 배운다. 논문들이 엄청 많이 나오는데 정말 간단하게 내용 정리되어 있어서 전반적인 내용을 간단하게 보기는 좋았지만 여러 논문들이 주장하는 내용들을 한 눈에 정리해서 보기에는 어려웠던 것 같다. 그래도 이번에 만들어진 팀의 경우에 각자 공부한 내용들 공유하는 시간이 있어서 그냥 빠르게 강의 듣고 넘어가는 일은 없는 것 같아서..

프로젝트 진행 기간 (11월 11일 - 11월 29일)프로젝트 주제주제 : 주어진 일상 대화를 바탕으로 요약문 생성하기목표 : Rouge-1, Rouge-2, Rouge-l 점수 최적화최소2턴, 최대 60턴으로 대화가 구성되어 있습니다. 대화(*dialogue)를 보고 이에 대한 요약(*summary) 를 예측하는 것이 최종 목표 학습시 사용한 데이터train : 12457dev : 499test : 250hidden-test : 249fname : 대화 고유번호 입니다. 중복되는 번호가 없습니다.dialogue : 최소 2명에서 최대 7명이 등장하여 나누는 대화 내용입니다. 각각의 발화자를 구분하기 위해#Person”N”#: 을 사용하며, 발화자의 대화가 끝나면 \n 으로 구분합니다. 이 구분자를 기준..