티스토리

ES Life Stroy

검색하기

블로그 홈

ES Life Stroy

es-life-story.tistory.com/m

AI, 코딩, 일상 등등

구독자: 3

방명록 방문하기

주요 글 목록

Final 기업 연계 프로젝트 프로젝트 진행 기간 (01월 13일 - 02월 07일)프로젝트 주제주제 : 숫자 텍스트 변환 (Text - Normalization)목표 : 숫자가 포함된 텍스트를 한글로 바꾸기 (For TTS) 학습과 평가시 사용한 데이터https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=484팀 개발 문화팀장으로 프로젝트를 진행했다.팀원 수는 총 3명이었다. (원래 한 분 더 계셨었는데 어떤 이유인지는 몰라도... bye bye) 이번 프로젝트에도 어김없이 휴일이 함께 있었는데... (쉬지 않았다... 악덕 팀장 ...?) 1월 13일 - 17일 : 프로젝트 기획안 및 팀 개발 일정 조율1월 20일 .. 공감수 1 댓글수 2 2025. 3. 5.
RecSys 경진대회 대회 진행 기간 (12월 23일 - 01월 02일)프로젝트 주제주제 : 미래 (next one week)에 사용자가 구매할 상품을 추천하는 것목표 : Binary relevance 기반의 NDCG@10 학습과 평가시 사용한 데이터www.kaggle.com/datasets/mkechinov/ecommerce-behavior-data-from-multi-category-store/data팀 개발 문화이번에도 팀장으로 프로젝트를 진행했다. 하지만 나도 연말 개인일정, 또 팀원들도 개인 일정으로 인해 대회에 온전히 집중하지 못했다.진행 과정평가 방식 파악사용자 id가 있고 해당 사용자에게 추천할 것들을 모델이 top10개 추천하고 정답 dataset과 비교해서 10개를 잘 맞췄나 비교하는 방식으로 평가가 이루어.. 공감수 3 댓글수 0 2025. 1. 14.
IR 경진대회 회고 프로젝트 진행 기간 (12월 16일 - 12월 19일)프로젝트 주제주제 : 과학 질문과 이전 대화 히스토리를 보고 참고할 문서를 검색엔진에서 추출 후 이를 활용하여 질문에 적합한 대답을 생성하는 태스크(RAG)목표 : MAP, MRR 점수 최적화대화 메시지가 과학 상식에 대한 질문일 수도 있고 아닐수도 있기 때문에 과학 상식 질문이 아닌 경우는 문서를 추출할 필요가 없음.검색이 필요없는 ground truth 항목에 대해서는 검색 결과가 없는 경우를 1점으로 주고 그렇지 않는 경우는 0점으로 계산하게 로직이 추가 됨. 학습과 평가시 사용한 데이터documents.jsonl : 과학 상식 정보를 담고 있는 순수 색인 대상 문서 4200여개(Open Ko LLM Leaderboard에 들어가는 Ko-H4 데.. 공감수 2 댓글수 0 2024. 12. 21.
Data Centric AI 학습 회고 Data Centric AI 등장 배경기존 AI는 모델 개발에 초점이 맞춰졌지만 모델의 성능 향상이 점차 둔화되고 데이터 품질 문제가 AI 성능에 큰 영향을 미쳤다.편형된 데이터와 레이블 오류가 모델의 성능을 저하시켰다. 하지만 고품질 데이터는 소량이라도 큰 성능 향상을 가져왔다. 엔드류 응 교수가 이런 주장을 했다.데이터를 개선하는 것이 더 효과적일 때가 많다.데이터 정제와 품질 관리가 AI 발전의 핵심이다.이렇게 Data Centric model을 통해 성능을 높이는 방향의 새로운 분야가 등장하게 되었다. 음...🤔 듣고 보면 당연한 이야기다. 내 차가 아무리 좋은 스포츠카라고 해도 차에 들어가는 기름이 고급유가 아니면...차 본래의 성능을 잘 못내니... 학습 내용이 챕터에서는 데이터 구축 프로세.. 공감수 4 댓글수 5 2024. 12. 15.
LM to LLM 학습 일지 + Kaggle 연말 행사 회고 LM to LLM단어 임베딩 하는 것부터 시작해서 많은 것을 배우고 있다.카운트 기반, 의미 기반, 문맥 기반, PT(Pre-Training) 기반 언어모델, LLM동향과 Data-Centric, Model-Centric, Evaluation-Centric, Prompt engineering, Multimodal, Cross Lingual, Multilingual LLM등 다양한 것을 배운다. 논문들이 엄청 많이 나오는데 정말 간단하게 내용 정리되어 있어서 전반적인 내용을 간단하게 보기는 좋았지만 여러 논문들이 주장하는 내용들을 한 눈에 정리해서 보기에는 어려웠던 것 같다. 그래도 이번에 만들어진 팀의 경우에 각자 공부한 내용들 공유하는 시간이 있어서 그냥 빠르게 강의 듣고 넘어가는 일은 없는 것 같아서.. 공감수 5 댓글수 4 2024. 12. 9.
NLP 경진대회 회고 프로젝트 진행 기간 (11월 11일 - 11월 29일)프로젝트 주제주제 : 주어진 일상 대화를 바탕으로 요약문 생성하기목표 : Rouge-1, Rouge-2, Rouge-l 점수 최적화최소2턴, 최대 60턴으로 대화가 구성되어 있습니다. 대화(*dialogue)를 보고 이에 대한 요약(*summary) 를 예측하는 것이 최종 목표 학습시 사용한 데이터train : 12457dev : 499test : 250hidden-test : 249fname : 대화 고유번호 입니다. 중복되는 번호가 없습니다.dialogue : 최소 2명에서 최대 7명이 등장하여 나누는 대화 내용입니다. 각각의 발화자를 구분하기 위해#Person”N”#: 을 사용하며, 발화자의 대화가 끝나면 \n 으로 구분합니다. 이 구분자를 기준.. 공감수 6 댓글수 3 2024. 12. 2.
CV 경진대회 회고 프로젝트 진행 기간 (10월 29일 - 11월 08일)프로젝트 주제주제 : 17개의 class 문서 타입 분류목표 : 최근 기업에서 디지털, 전산화가 많이 이루어지다보니 그 초기 작업으로 이 문서가 어떤 문서인지 판별하는게 매우 중요하다. 현업에서도 문서분류 Task가 원활하도록 CV Model을 만들어보자. 학습시 사용한 데이터Upstage 내부 데이터셋 (비공개 원칙)팀 개발 문화나뿐만 아니라 다른 팀원 분도 이전 프로젝트를 진행하며 밀린 강의가 좀 있어서 각자 공부하고 최종 마지막 한 주에 모여서 개발하는 문화로 갔다. 그리고 이번엔 처음으로 팀장을 해보았다. 그렇게 어렵지는 않았다. 근데 조금 아쉬운 것은 팀장인데 좀 더 열심히 하면 어땠을까 생각해본다. 그래도 주어진 환경에서 최선을 다했고, 결.. 공감수 4 댓글수 1 2024. 11. 10.
Pytorch, DL 공부 후후 원래 이 블로그는 3주 전에 작성되어야 하는게 맞지만 경진대회+현생이 바빴던 이유로 지금 작성합니다...다음 블로그는 CV 경진대회 블로그로 찾아오겠습니다:) Pytorch란?딥러닝을 위한 framework다.framework가 뭐냐? 공구 상자라고 생각하면 된다. 어떤 걸 고치기 위해서 드라이버, 벤치가 한 번에 다 있으면 좋듯이 Pytorch는 딥러닝을 하기 위해 필요한 도구가 한 번에 모여 있다고 생각하면 된다. 예전에 Tenserflow로 입문하려고 했는데 트렌드를 보니까 Pytorch가 더 많이 사용되고 있다고 해서 빠르게 바꾼 기억이... 학습 하며이번 강의는 Pytorch를 전문적으로 알려준다기보다 기본적인 내용을 포괄적으로 다루었다.그리고 좋았던 건 딥러닝에서 자주 쓰이는 말들에 대한.. 공감수 4 댓글수 3 2024. 11. 9.
MLOps Project 회고 프로젝트 진행 기간 (9월 26일 - 10월 11일)실질적 프로젝트 기간은 위에 적어 놓은 기간과 같다.프로젝트를 진행함에 있어서 필요한 지식들은 사전에 이미 다 교육을 했다.프로젝트 주제주제 : 배운 MLOps를 적용하기 위한 프로젝트목표 : 시각 장애인들에게 손쉽게 OTP인식이 가능하도록 MLOps 진행. 시각 장애인이 손글씨로 비밀번호를 입력하면 이를 인식하여 음성으로 인식된 숫자를 읽어주는 기능, 인식된 숫자는 모델 재학습에 이용. 학습시 사용한 데이터MNIST datasetEMNIST dataset주제 선정 접근 방식이번 프로젝트에서 함께하는 팀원들의 참여도가 좋지 않았다.나를 포함한 5명 중 2명은 취업, 대학원 면접이 수시로 있어서 집중해서 회의하기도 어려웠고,다들 ML경진 대회 이후라서 그.. 공감수 11 댓글수 6 2024. 10. 12.
MLOps 강의를 들으며 강의 내용녹강은 없었다. 100% 줌 수업이었다. MLflow, Docker, Airflow등 실험기록하고 배포하는 내용이 많았다.이전 대회에서 하이퍼파라미터 조절을 하면서 실험을 했는데 이걸 체계적으로 기록할 수 있는 도구가 있으면 좋겠다고 생각하고 있었는데 MLflow가 많은 도움이 될 수 있을 것 같아서 좋은 도구를 배웠다. 배우는 시간이 너무짧아서 사실상 배웠다고 보기는 어렵고 맛봤다가 정확한 표현인 것 같다.나중에 혼자서 다시 공부하면서 조금더 많이 알아가면 유용하겠다는 생각을 했다. 이후에는 AWS, FastAPI, Stremlit을 이용해서 모델을 배포하는 것을 해봤는데 솔직히 말하면 수업 퀄리티가 너무 별로였다.(MLflow는 좋았음. 100% 이해는 아니지만 그래도 좀 되었음)수업 시간에.. 공감수 7 댓글수 3 2024. 9. 25.
ML 경진 대회 (feat. 부동산 가격 예측) 프로젝트 진행 기간 (8월 26일 - 9월 13일)첫 프로젝트가 지나고 두 번째 프로젝트가 시작되었다.Python 모듈 개발이 아닌 본격적으로 ML 경진대회로 시작했다. 그래도 ML이랑 DL관련해서 학교에서 MNIST 데이터 셋 분류를 해본 경험이 있어서 생각보다 수월하리라 생각했다. 프로젝트 진행기간에는 공부 기간도 있었고, 실질적으로 프로젝트에 온전히 집중한 것은 9/9-13 한 주라고 봐야 한다.프로젝트 주제주제 : 아파트 가격 예측 (House Price Prediction)목표 : 서울시 아파트 실거래가 예측 모델 개발평자 지표 : Root Mean Squared Error (RMSE) 제공 데이터아파트 실거래가 데이터 (국토교통부 제공)지하철 정보 데이터 (서울시 제공)버스 정류장 정보 데이터.. 공감수 17 댓글수 11 2024. 9. 18.
AI를 위한 기초 수학 Zoom 강의와 인강 강의로 나눠서 들었다.Zoom 강의를 진행하는 요일 중 하루를 내가 휴가를 써서 실강은 못 듣고 교재 내용만 봤는데 가설검증 내용이었다. 그리고 인강 강의는 학교에서 배운 내용들로 구성되어 있었다.심지어 학교에서 가르쳐준 것들이 더 구체적이었다. (아무래도 수학이다보니 그런 듯...) 강의를 들으며강사님께서는 수학과 출신이라고 하셨다.그래서 그런지 정말 체계적으로 설명해주신다는 인상을 받았다. 근데 들으면서 아쉬웠던 건 너무 자세하지 않았나 싶기도 했다. 그리고 잡담이 너무 많으셨다.논리적으로 투머치하게 알려주시는 부분은 그렇다고 치고 넘어가도 잡담이 너무 많고 쉬는 시간은 별로 안 주셔서 힘들었다.그리고 막상 AI를 다룰 때 필요한 부분들은 이미 학교에서 봐서 익숙했던 부분들이라 .. 공감수 1 댓글수 0 2024. 8. 26.
인생 첫 개발 프로젝트 프로젝트 진행 기간 (8월 12일 - 19일)저번시간에 Git/Github를 배웠다.배웠으면 뭐를 해야할까? 프로젝트를 해야지! 첫 프로젝트는 RAG 실습 프로젝트였다.QA 엔진과 Chatbot을 만드는 프로젝트를 선택하는 것이 있었는데 솔직히 말하자면 인강 진도를 다 못따라가서 뭐가 뭔지 모르고 그냥 아무거나 괜찮다고 이야기하고 QA엔진을 선택했다. QA엔진을 해보니까 이거 선택하길 잘했다는 생각을 했다. 우선 난이도는 Chatbot보다 난이도가 높은 것 같다.그리고 RAG에 대한 전반적인 구조를 이해하기가 좋았다.프로젝트 주제한국공항공사의 실시간 항공운항 현황 정보 상세 조회 서비스와 인천국제공항공사의 여객편 운항현황 서비스를 활용해서 실시간 운항정보문의 QA 엔진을 구축하는 거였다. 팀에서 이렇게 .. 공감수 3 댓글수 6 2024. 8. 26.
Git 학습일지 2 오늘은 저번 시간에 말했던fast-forward merge, 3-way merge, git rebase(drop, reword, squash)에 대해 다루면서협업과 관련된 github를 다루는 것에 대해 작성해보도록 하겠다 #1. Gitfast-forward mergemerge과정에서 포인터를 이동시키는 방식으로 작동함.두 branch 사이에서 다른 변경 사항이 없고, 병합 대상 branch가 현재 branch 최신 commit 이후에 추가된 commit만 포함할 때 가능하다.단순히 branch 포인터를 이동시키는 방식으로 진행된다. topic 브랜치를 main 브랜치로 병합하고 싶으면 main 브랜치에서 아래와 같은 명령어를 사용하면된다.$ git merge topic3-way merge공통 조상(co.. 공감수 0 댓글수 0 2024. 8. 11.
Git 학습 일지 # 학습 경험이틀 동안 git에 대한 것을 배웠다. 학교에서 OSS를 들었던 경험이 있어서 github에 대한 것이 어렵거나 그러지 않았다.다만 git과 github를 나눠서 인식해야 하는데 정확하지 않게 인식을 하고 있다가이번 수업과 강의를 통해 정확하게 인식 할 수 있어서 좋았다. (feat.최주호 강사님) 그리고 협업에 맞춰서 git강의가 구성되어 있었는데 그것도 좋았다. 이번 학습 일지는 다른 학습 일지와 다르게 내가 알았던 내용을 적을 예정이다.이미 알았거나 익숙하게 사용하고 있는 내용은 적지 않을 예정이다.그럼 시작한다. ()# 공부 내용git -> 파일 관리 시스템github -> 로컬에서 했던 파일 관리를 협업을 할 수 있도록 도와주는 도구(OSS)[완벽한 정의는 아니지만 나의 기존 이해를.. 공감수 3 댓글수 0 2024. 8. 10.
Python 학습 일지 전반적인 총평대부분 그렇게 어렵지 않았다. 학교에서 python에 대해 알려주는 내용 정석대로 커리 큘럼이 구성되어 있었다.녹화된 인터넷 강의랑 실시간 인터넷 강의가 동시에 진행되었다. 두 개로 나뉘어서 작성해보겠다.#1 실시간 Zoom 강의김용담 강사님께서 강의를 해주셨다.강의의 전반적인 구성과 진행 방식은 좋았다. 수업을 받을 때마다 '여러번 많이 진행해본 분이시구나'라는 생각이 들었다. 적절한 쉬는 시간의 분배, 적절한 난이도의 분배가 좋았다.조금은 난이도가 있었던 것은 프로그램이 작동할 때 CS단위에서 어떻게 프로그램이 작동되고 구성되는지에 대해 알려주실 때이다. 그래도 대부분이 아는 내용이라 크게 어려운 것은 없었다. 가장 많이 배운 부분은 API이용해서 날씨 정보 가져오고, 모듈 단위 개발하는.. 공감수 0 댓글수 0 2024. 8. 6.
컴퓨터 구조 + 부트캠프 생활 특강 진행사항부트캠프를 시작하고 7/17(수) - 7/25(목)까지 컴퓨터 구조에 대한 내용으로 수업을 했다. 기본적인 CS지식을 강의로 제공 받았다.컴퓨터구조OS네트워크시스템 프로그래밍DB리눅스 운영오후에 진행되는 Zoom강의로 실습에 가까운 수업을 했는데데이터 모델링 실습html과 python을 활용해서 간단한 서비스 페이지 구조와 서버자료구조, 알고리즘 실습리눅스 실습 및 AWS로 서버 만들기위와 같은 수업을 진행했다. 그리고 마지막 날인 25일에는 Upstage 현직자로 근무하고 계시는 김남혁 강사님께서 특강을 해주셨다.일주일간 진행하며강의로 주입되는 지식은 생각보다 많았고, 어떤 것은 어려웠다. 컴퓨터 구조, OS는 그래도 할만 했는데 네트워크, 시스템 프로그래밍은 솔직히 들어도 이해가 되지 않는 순.. 공감수 0 댓글수 0 2024. 7. 25.
컴퓨터 구조 부트캠프 정보의 주입 속도가 어마어마하게 빠르다.걱정이 되는 거는 이렇게 많은 정보를 소화할 수 있을까, 어떻게 하면 시간과 돈이 아깝지 않게 만들 수 있을까 고민을 많이 하고 있다. 그래서 내린 결론!1. 포트폴리오도 같이 생각해야 함 -> 블로그 작성 꾸준히2. 폭풍처럼 몰아치는 정보의 양 -> 얼만큼 소화하느냐에 성공 여부가 있음 -> 당일 학습, 당일 복습 원칙으로 공부 그렇다. 화이팅이다. #1 컴퓨터 구조프로그램을 이루는 두 정보명령어데이터컴퓨터의 핵심 부품CPU (레지스터[값을 임시 저장], ALU[연산 수행], 제어장치[명령어 해석하고 제어 신호를 내보내기])메인 메모리 & 캐시 메모리 (전원꺼지면 삭제)보조기억장치(전원꺼져도 저장 유지), 입출력장치+ 메인 보드(마더 보드) : 핵심 부품.. 공감수 0 댓글수 2 2024. 7. 22.
OT 및 인공지능 기술 특강 진행 기간 : 24.07.16(월) - 25.02.14(금) 첫 시간이다.24년에 세운 개인적인 목표중 하나가 학업적인 스킬을 쌓는 것이었다.상반기에는 혼자 공부하려고 했으나 생각보다 잘 되지 않았다. 만학도 학술동아리 들어갔으나... 부캠 합격하고 CCC와 병행 여부를 생각하니 뭐 하나 잘 할 수 없을 것 같아서 학술 동아리를 포기했다.(근데 수업 시작 전날에 만학도 운영진 중 한 분께서 이런 카톡을🫢 열심히 해보자!) 스마트인재개발원, 구름, 패캠의 Upstage 중에서 패캠을 선택했는데 시작 시기도 그렇고 가장 좋아보였다.아직 구체적인 진로를 정하지 못해서 다양한 경험을 하고 싶은데 Upstage에서 CV/NLP/RS 다 해준다고 해서 골고루 배워보자는 마음으로 참여했다. 우선은 대학원가서 AI최.. 공감수 0 댓글수 0 2024. 7. 16.
Numpy 공부 Numpy란?Python의 과학 계산용 라이브러리. 벡터나 행렬 같은 선형대수의 표현법을 Python 코드로 처리하는 표준 라이브러리로 사용되고 있음.Numpy 배열 객체 다루기array 함수함수 설명배열을 생성하는 함수array(데이터, 데이터 타입)예시 코드import numpy as nptest_array = np.array([1,2,3,4], float)arange 함수함수 설명range 함수와 같이 차례대로 값을 생성해줌.arange(시작 인덱스, 마지막 인덱스, 증가값)증가 값에 실수 형이 입력되어도 값을 생성할 수 있다예시 코드예시1np.arange(10)array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])예시2np.arange(0,5,0.5)array([0., 0.5, 1.,.. 공감수 0 댓글수 1 2024. 7. 10.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.