일상

10기 글또를 마무리하며... 바야흐로 때는 2024년 9월... 전직장 동료의 추천으로 글또(글쓰는 또라이가 세상을 바꾼다...'세상을 바꾼다'까지가 full name 입니다!) 커뮤니티를 하게 됐습니다.  그 당시 글또를 시작할 때는 사실 그렇게까지 큰 기대를 갖지 않고 글또를 참여했습니다.일단 이런 커뮤니티가 처음이기도 하고, 집좋아 인간인 제가 글또를 하며 글이나 밀리지 않고 열심히 쓰면(ㅋㅋㅋ)그나마 다행이다,,란 생각이 강했거든요. 근데 벌써 6개월이 지났고, 그동안을 돌아보면 제가 생각보다 글또에서 뭘 많이 했더라구요..?!?!아니 그동안 커피챗도 생각보다 많이 하고 모임도 나름 열심히 참여한 걸 보면서 '오.. 내가 이렇게까지 열심히 했다고..?' 생각이 들면서 제가 다시보이더라구요. 그리..

안녕하세요! 오늘은 작년 데이콘에서 진행했던 '재정 정보 AI 검색 알고리즘 경진대회 공모전' 후기 2편을 가지고 왔습니다!저번 후기에선 대회소개부터 시작해 데이터셋 소개, 전체적인 대회 전략 그리고 model selection까지 다뤄봤습니다.이번엔 이어서 RAG를 한 번 다뤄보도록 하겠습니다. RAG 모든 부분을 다루진 못하고 그 중에서도 문서 전처리, chunk를 어떻게 나눴는지에 대해서 어떤 고민이 있었고 어떻게 문제를 해결하려고 노력했는지 등 작성해 보도록 하겠습니다! 제 글이 비슷한 고민을 하시는 분들께 조금이나마 도움이 되길 바라며, 시작하도록 하겠습니다!   4. RAG(Retrieval-Augmented Generation)대회의 데이터셋이나 규칙을 보면 확실히 대회의 의도가 Fine-t..

안녕하세요! 오늘을 conda 명령어와 pip 명령어의 차이점에 대해 알아보도록 하겠습니다!앞에서 GCP 사용법을 정리할 때, cudnn을 깔면서 여러 패키지를 깔았는데(하도 많이 깔았어서 뭘 깔았는지 기억도 안납니다...)그때 어디선 conda 명령어로 패키지를 설치하고 어디선 pip 명령어로 패키지를 설치했기 때문에 차이점이 궁금했었고, 언젠가 이 부분에 대해서 정리를 해봐야겠다! 하고 다짐했었는데 그 언젠가가 지금인거죠.!!  ※참고로 저도 모든걸 다 아는건 아니고 공부하는 과정입니다! 제 글이 틀릴 수 있습니다!※   1. conda와 pip란 뭔가요?conda란?conda는 패키지 관리자이자 가상환경 관리자를 의미하며, Anaconda 및 Miniconda에서 제공합니다.conda 패키지 관리자..

안녕하세요! 오늘은 작년 여름에 참가했던(많이 늦었지만^^) 공모전 후기에 대해 작성해보려고 합니다!관련된 코드를 보시고 싶으시다면 제 Github에서 확인하실 수 있습니다~! 많이 많이 방문해주세요> 1. 재정정보 AI 검색 알고리즘 경진대회란?어떤 공모전인가요?작년 7월 Chatgpt 및 LLM이 매우 Hot 할 시절, 모든 기업에서 너 나 할 것 없이 자사의 LLM 모델을 선보이고 있었는데요.meta에선 Llama를, google에선 gemma를 선보이며 LLM 춘추전국시대(?)가 펼쳐지고 있었습니다.이렇게 LLM이 뜨거운 감자인 상황에서 LLM 공모전도 하나씩 등장하게 됐는데, 그 중 하나가 재정정보 AI 검색 알고리즘 경진대회였습니다. 대회 주제는 열린재정의 중장정부 재정 정보 검색 및 제공 편..

오늘은 글또 모임에서 있었던 '일의 철학' 책을 읽고 같이 일의 우선순위에 대해 생각했던 내용에 대해 정리해보고자 합니다.  일의 철학 모임은 어떻게 갖게 되었나? 이번주에 글또 반상회가 있었는데, 거기서 제 전 직장 동료분이신 H님과 S님을 오랜만에 오프라인으로 뵙게 되었습니다. 그때 H님께서 "이번주 일요일에 S님과 같이 일의 철학 읽고, 각자 일의 우선순위에 대한 질문에 답변을 갖는 시간 가지려고 하는데 수연님 관심있으시면 같이 하실래요?" 라고 저에게 제안해 주셨습니다. 안그래도 요즘 만나는 사람들한테 "퇴사하고 싶어요 퇴사퇴사" 징징징 거리고 있던 참이라, 제 일에 대한 가치관을 다시한번 재정립하고 그 안에서 내 고민이 정말 뭘지, 여기서 내가 어떤 행동을 취할 수 있을지에 대해 생각해 볼 수 ..

안녕하세요!오늘은 GCP사용법의 대장정을 찍을 마지막으로 cuDNN 사용법에 대해 간략하게 작성한 뒤 GCP 사용법에 대해 마무리할까 합니다! ※참고로 저도 GCP 사용이 처음이라 미숙하고 다 알지는 못합니다!따라서 아래 포스팅 내용 중 틀린 부분이 있다면 댓글로 알려주시면 감사하겠습니다!!  먼저 cuDNN을 설치하기 전에 cuDNN이란 뭘까요? 0. cuDNN이란?cuDNN이란 cuda Deep Neural  Netework Library의 약자로 딥러닝 및 인공 신경망(ANN) 프레임워크를 가속화하기 위한 라이브러리이다. 간단히 말해서 GPU의 궁극적인 목표는 딥러닝 계산을 가속화하는 것이고, cuDNN은 이런 가속을 더욱 최적화해주는 라이브러리입니다. 특히 합성곱 신경망(CNN) 연산을 빠르게 수..

이전 시간까지 GCP의 VM 인스턴스를 생성하고, VS Code까지 연결하는 방법에 대해 알아봤습니다.오늘은 이제 사용가능해진 GCP에 nvidia-driver, cuda 등 GPU 가속기를 사용할 때 필요한 라이브러리 설치방법에 대해 알아보고 GCP 사용법에 대해 마무리를 지으려고 합니다!(시간이 안된다면 cudnn은 따로 추가적으로 작성하겠습니다!)  ※참고로 저도 GCP 사용이 처음이라 미숙하고 다 알지는 못합니다!따라서 아래 포스팅 내용 중 틀린 부분이 있다면 댓글로 알려주시면 감사하겠습니다!!  0. 그 전에GCP 무료 크레딧을 사용하시는 분들이라면 비용적인 측면때문에 VM 인스턴스를 계속 켜두시는 건 무리라고 생각됩니다. 아무래도 VM 인스턴스를 '시작-중지'를 많이 하실 거 같은데요.여기서 ..

저번 주 수요일, 12월 25일에 글또에서 크리스마스 회고모임을 가졌는데, 꽤 유익한 시간이 될 거 같아서 참여했었습니다. '회고가 회고지 뭐..' 라는 생각과는 달리 2024년의 저를 샅샅히 뒤져가며 정리해보니 제가 지금 어떤 생각을 가지고 있고, 어떤 부분을 잘했고, 어떤 부분에 아쉬움이 있었는지 알 수 있는 매우 값진 시간이었습니다. 저와 조금 친해지고, 잘 몰랐던 저에 대해 알아갈 수 있어서 정말 좋았습니다. 그래서 오늘은 그때 가졌던 2024년 회고에 대해 정리하는 시간을 가져보려고 합니다. 지금 이 글을 쓰는 시점이 2024년 12월 31일이긴 하지만 오늘 다 못 쓸 경우 몇 차례에 걸쳐 나눠 쓸 예정이기 때문에 2025년에 걸쳐서까지 2024년을 돌아볼 수도 있겠네요.(결국 2025년까지 넘..

이전 시간까지 GCP의 할당량을 늘리는 법을 알아봤는데요!그렇다면 이번에 원하는 GPU에 대한 VM 인스턴스를 생성하고 VS Code까지 연결하는 방법을 알아보도록 하겠습니다.!   ※참고로 이전에는 A100을 기준으로 작성했는데, 아무리 모든 리전과 영역을 설정해도 A100은 할당이 안돼서 v100으로 바꿔 진행했습니다.(내가 뭘 잘못 알고있어서 안된건가..? 했는데 V100으로 바꾸자마자 귀신같이 할당되더라구요..ㅋㅋㅋ A100은 점유율이 높은가봅니다.) ※참고로 저도 GCP 사용이 처음이라 미숙하고 다 알지는 못합니다!따라서 아래 포스팅 내용 중 틀린 부분이 있다면 댓글로 알려주시면 감사하겠습니다!! 1. vm인스턴스 생성 자신이 사용하고 싶은 gpu의 리전 및 영역을 확인한 뒤 머신 구성에 해당 ..

오늘은 LLM 공모전 때 사용한 GCP 사용법에 대해 간략히 작성해보려고 합니다. GCP란? Google Cloud Platform(GCP)의 약자로 Google이 클라우드상에서 제공하는 서비스들의 총칭입니다. GCP 사용배경?때는 바야흐로 2024년 07월... 어쩌다 Dacon을 탐방(?) 하는데 LLM 관련 공모전 안내가 떴지 뭐에요!  '재정정보 AI 검색 알고리즘 경진대회'로 공모전 주제는 LLM을 이용한 질의 응답 솔루션을 만드는 것이었습니다.안그래도 요즘 LLM에 대해서 공부중이었고 관련 공모전이 있으면 참가하고 싶었는데 마침 타이밍 좋게 발견한 거에요!! 그래서 당장 팀원을 모아서 참가신청을 했죠!!그렇게 순조롭게 진행이 되는가 싶었는데.. 가장 큰 문제가 있었습니다... LLM은 말 그대..