일상

10기 글또를 마무리하며... 바야흐로 때는 2024년 9월... 전직장 동료의 추천으로 글또(글쓰는 또라이가 세상을 바꾼다...'세상을 바꾼다'까지가 full name 입니다!) 커뮤니티를 하게 됐습니다.  그 당시 글또를 시작할 때는 사실 그렇게까지 큰 기대를 갖지 않고 글또를 참여했습니다.일단 이런 커뮤니티가 처음이기도 하고, 집좋아 인간인 제가 글또를 하며 글이나 밀리지 않고 열심히 쓰면(ㅋㅋㅋ)그나마 다행이다,,란 생각이 강했거든요. 근데 벌써 6개월이 지났고, 그동안을 돌아보면 제가 생각보다 글또에서 뭘 많이 했더라구요..?!?!아니 그동안 커피챗도 생각보다 많이 하고 모임도 나름 열심히 참여한 걸 보면서 '오.. 내가 이렇게까지 열심히 했다고..?' 생각이 들면서 제가 다시보이더라구요. 그리..

안녕하세요! 오늘은 작년 데이콘에서 진행했던 '재정 정보 AI 검색 알고리즘 경진대회 공모전' 후기 2편을 가지고 왔습니다!저번 후기에선 대회소개부터 시작해 데이터셋 소개, 전체적인 대회 전략 그리고 model selection까지 다뤄봤습니다.이번엔 이어서 RAG를 한 번 다뤄보도록 하겠습니다. RAG 모든 부분을 다루진 못하고 그 중에서도 문서 전처리, chunk를 어떻게 나눴는지에 대해서 어떤 고민이 있었고 어떻게 문제를 해결하려고 노력했는지 등 작성해 보도록 하겠습니다! 제 글이 비슷한 고민을 하시는 분들께 조금이나마 도움이 되길 바라며, 시작하도록 하겠습니다!   4. RAG(Retrieval-Augmented Generation)대회의 데이터셋이나 규칙을 보면 확실히 대회의 의도가 Fine-t..

안녕하세요! 오늘을 conda 명령어와 pip 명령어의 차이점에 대해 알아보도록 하겠습니다!앞에서 GCP 사용법을 정리할 때, cudnn을 깔면서 여러 패키지를 깔았는데(하도 많이 깔았어서 뭘 깔았는지 기억도 안납니다...)그때 어디선 conda 명령어로 패키지를 설치하고 어디선 pip 명령어로 패키지를 설치했기 때문에 차이점이 궁금했었고, 언젠가 이 부분에 대해서 정리를 해봐야겠다! 하고 다짐했었는데 그 언젠가가 지금인거죠.!!  ※참고로 저도 모든걸 다 아는건 아니고 공부하는 과정입니다! 제 글이 틀릴 수 있습니다!※   1. conda와 pip란 뭔가요?conda란?conda는 패키지 관리자이자 가상환경 관리자를 의미하며, Anaconda 및 Miniconda에서 제공합니다.conda 패키지 관리자..

안녕하세요! 오늘은 작년 여름에 참가했던(많이 늦었지만^^) 공모전 후기에 대해 작성해보려고 합니다!관련된 코드를 보시고 싶으시다면 제 Github에서 확인하실 수 있습니다~! 많이 많이 방문해주세요> 1. 재정정보 AI 검색 알고리즘 경진대회란?어떤 공모전인가요?작년 7월 Chatgpt 및 LLM이 매우 Hot 할 시절, 모든 기업에서 너 나 할 것 없이 자사의 LLM 모델을 선보이고 있었는데요.meta에선 Llama를, google에선 gemma를 선보이며 LLM 춘추전국시대(?)가 펼쳐지고 있었습니다.이렇게 LLM이 뜨거운 감자인 상황에서 LLM 공모전도 하나씩 등장하게 됐는데, 그 중 하나가 재정정보 AI 검색 알고리즘 경진대회였습니다. 대회 주제는 열린재정의 중장정부 재정 정보 검색 및 제공 편..