2023년 회고
2023년의 끝자락에 서서, 기억에 남는 일들을 돌아보고, 올해 무엇을 했는지, 어떤 걸 느꼈고 내년엔 어떻게 더 잘할지 고민해보자. 회고는 중요한 & 내가 했던 공부들 위주로 2개월씩 묶어 진행해보겠다!
1월, 2월: 기계학습에 발 들여놓기
📚 한국외대 데이터전문가 입문 수업 수료
📚 한국외대 코딩테스트대비캠프(중급) 수료
📚 한국외대 IT동아리 내 데이터사이언스 스터디
사실 1월, 2월 뭐 했는지 확인하면서 조금 놀랐다. 프로그래밍 언어나 JavaScript 를 조금 배워 웹사이트를 만들어본 게 다였던 내가 기계학습 공부를 시작하고, 본격적으로 공부한지가 올해 초라니! 나는 1년차 애송이였던 거다.. 지금와서 돌아보면, 이때의 공부 수준과 (같은 시간을 공부해도 얻어가는 양과) 요령이랄까, 하는 것들은 당연히 지금보다 퀄리티가 훨씬 떨어지겠지만, 뭐에 이끌려서인지 정말 열심히 했던 달로 기억한다. 사실 이때는 공부하는 책 안에 있는 내용, 푸는 알고리즘 문제 자체가 재밌기보단, 하루종일 열심히 할 무언가가 생겼다는 기쁨이 더 컸다. 무언가 재밌어지기 전까지는, 일단 그 기술을 능숙하게 만들어보겠다고 마음을 먹었고, 지금도 항상 익숙하진 않지만, '이거 더 열심히 해보고 싶다', '하루종일 앉아있어도 피곤하지 않은데?'하며 점점 이 분야에 대한 관심과 애정을.. 올리는 시기였던 거 같다. 최종적으론, 교내에서 진행된 데이터 수업 수료를 하며 크롤링하고 인사이트 도출하는 분석 과제 3개를 냈는데, 이게 지금 보면 참 귀엽기도 하면서 열심이였구나 생각이 든다.
3월, 4월: 가장 빠른 발전과 규칙
📚 캐글 Home Credit Default Risk 참가 (Late Submission, 인프런 강의참고)
📚 한국외대 IT동아리 내 데이터사이언스 스터디: 핸즈온머신러닝 스터디
📚 한국외대 IT동아리 내 알고리즘 스터디
1,2월에 공부한 내용을 바탕으로 호기롭게 어떤 AI동아리에 지원한 후 면접탈..하고 아래와 같이 분노의 계획을 세웠다. 그리고, 동아리 내 스터디2개와 매주 정해둔 수업 모두 velog 에 기록, 챗봇 프로젝트를 하기로 마음먹고, 모두 1학기가 끝나기 전까지 완료했다. 가장 신경을 많이 썼던 건.. 핸즈온머신러닝 스터디였다. 아래는 스터디를 시작하며 마음에 정했던 나만의 규칙이다. '모르는 것은 넘어가지 않고 찾아보는 것이 당연'하다는 말을 적은 이상.. 대충 할 수가 없었다. 그게 나를 빠르게 발전시키는덴 아주 좋았으나, 지금 생각하면 스터디장으로써 부족한 점이 많았다. 준비를 잘 해가는 것 뿐만 아니라 전달도 잘 했어야하고, 1시간 30분이라는 정해진 시간 내에서 적당히 넘어갈 줄도 알아야 하는데, 적어도 스터디 전반기땐 그러지 못했다.
그럼에도 수학 책, 공식문서, 유튜브 영상자료 등 할 수 있는 건 총동원해서 이해해가서, 설명하고, 같이 고민하고, 하는 시간이 나에게 점점 즐거움으로 다가왔고, 지금까지도 이때 공부한 내용이 나의 단단한 밑거름이 되어준다. 논문에서 나오는 수식들을 이때 공부한 체력으로 이해하기도 하고, 물고 늘어져서 고민하는 게 습관이 되어서 지금 새로운 정보를 찬찬히 이해하는데 좋은 태도를 만들어주기도 했다. 또 실제로 기억이 안날 땐 이때 잘 정리해둔 포스트를 다시 뒤적거리기도 한다. 책을 다 읽었을 때는, 아직 모르는 건 많지만, 그것마저도 공부하고 이해해보면 내 것으로 만들 수 있겠다! 라는 자신감을 얻었다.
5월, 6월: 1차 방전, 버티기
📚 네이버커넥트재단 부스트코스 AI코칭스터디
📚 핸즈온 머신러닝 스터디, 알고리즘 스터디 계속..
돌아보면 욕심이지만 원래 하던 일이 중간고사 이후로 하나 빠졌으니 (나만의 프로젝트 만드는 일) 하나를 기말고사 이후 추가해도 된다는 계산에, 네이버커넥트 재단에서 주관하는 AI코칭스터디에 리더부스터로 참여했다. 아래는 수료증.
결론적으로 5,6 월은 학교에서 배우는 CS 수업과 계속하는 스터디 공부들로 이론이나 구현에 있어 경험을 계속해서 쌓는 기간이었기도 하면서, 23년들어 처음으로 방전이 와버린 달이기도 하다. 시험 공부하는 기간은 시험 전 2주로 잡고 그 사이에는 시험공부만 했음에도, 과목 하나하나가 양이 너무 방대했고 이전까지 스터디들로 지쳐버린 상태에서 시험에 돌입하는 게.. 참 버티기 힘들었다. 그래서, 부끄럽지만 2학년때 잘 올려놓은 학점을 3-1때 완전히 말아먹었다. 그것도 대학때 받은 최저 학점을 기록하면서.. 하나하나 공개되는 성적을 보면서, 일의 집중도와 내 능력치에 대해 다시금 돌아봤던 기억이 난다.
그러나 Input이 많았던만큼 머리가 아무리 밑빠진 독이었어도 많이 채울 수 있었던 시기였다. 부스트코스에서 리더부스터 역할을 하며 일주일에 한 번씩 퀴즈, 미션을 제출해야 했는데, 이렇게 필수적으로 해야하는 일들을 그래도 시간내어 하는 과정에서 기초체력을 더 기르고, 강의에 중간중간 포함된 논문 이야기들을 통해 학습의 수준을 한차원 올렸다. 그리고, 전반기 데싸 스터디에서는 마음에 들지 않았던 부분을 4.08일 기록한 것이 있는데(아래), 아쉬웠던 부분들을 보완하여 아래와 같은 스터디 회고도 잘 남겼다.
7월, 8월: 또 한번의 Quantum Leap
💡 한국외대 ELLT교수님 하 학부연구생: Mitigating Bias 연구
🏅 한국데이터산업진흥원 데이터청년캠퍼스, 과학기술정보통신부 장관상 수상
그야말로 양자도약한 달이면서, 올해 스트레스가 극에 달했던 2달을 꼽자면 이 두달이 될 거 같다. (이정도면 스트레스와 성장은 정비례 관계에 있을 수도..)
공부한 내용을 바탕으로 이젠 제대로 된 프로젝트 결과물을 보고싶다는 생각도 했고 (-> 이건 데이터청년캠퍼스에서 프로젝트하며 경험해볼 수 있었다) 운이 좋게도 같은 시기에 학과 교수님의 학부연구생 활동에 지원하여 연구에도 참여해볼 수 있었다. 그당시 5,6월에 호되게 당했던 기억 때문에 활동 두개를 같이 하는 게 맞는지 고민을 많이 했으나 지금 생각하면 둘 다 정말, 정말 잘했다!
데청캠에선 이제까지 정말 못해봤던 걸 다 해볼 수 있었다. 공부한 걸 우리가 함께 낸 아이디어에 써먹어보는 경험 / 그 과정에서 생기는 수많은 에러를 해결하는 경험 / 에러는 해결했음에도 항상 쓰던 구글 드라이브, 코랩(무려 프로플러스를 썼음에도!)에 매일같이 문제가 생겼던 경험 / 부담감에, 막막함에, 기술적인 해결 때문에 밤을 샌 경험 / 그럼에도 이 모든 것들을 해결하고 하나의 결과물을 만들었던 경험 / 발표자로 나서 고생한 결과물을 어떻게하면 더 잘 전달할지 한 번 더 고민했던 경험. 또, 기술적으로는 GPU를 크게 요구하는 Pretraining 경험 / 모델 학습, 저장, 추론, API로 사용 기술 전반을 직접 해보며 이해 / Fine-tuning / Speech to Text, Classification, Question&Answering 각 태스크에 맞는 필요한 모델 서치 -> 하나의 제품에 적용하는 경험을 모두 해볼 수 있었다.
써보니 장황하면서도 글에서 다 담아내지 못하는 무언가가 더 있다. 다른 학교에서 했던 프로젝트와 달리, 관심있는 사람들이 다같이 열심히 하는 프로젝트가 이렇구나 느끼기도 했으며, 결과적으로도 과학기술정보통신부 장관상을 수상해서 내 첫 상이 되어주기도 했다. 좋은 팀원과 교수님, 현직자 분들의 조언 덕에 처음에 기획한 무언가와 거의 근접한 결과물을 만들어낼 수 있었으며, 한국외대 내부적으로 2번의 발표를 거쳐 2팀을 뽑고, 최종 발표, 시상식 발표까지 프로젝트 발표를 총 4번이나..했다. 아래는 시상식에서 이루어졌던 발표.
매번 썸네일만 보고 직접 보지 못하는 데청캠 대상 발표영상
학부연구생 활동은 언어모델의 편향을 완화하자는 주제로, 매주 내부적으로 세미나를 진행하고, 직접 나도 세미나 발표를 진행해보기도 하고, 세미나를 준비하면서 논문 읽기라는 것도 경험하고 / 아이디어도 내보고 / 관련 실험을 준비하면서 8월을 정말 바쁘게 보냈다. 특히나 데청캠이 매일 10시-오후4,5시까지 진행되었기에 학부연구생까지 제대로 하려면 지친 몸을 이끌고 꼬부랑 남의나라 논문을 읽어야한다는 게 처음엔 큰 부담이었다. 그러나 이것도 1,2주 지나니 할만했고, 그러면서 집중해서 읽은 논문을 바탕으로 내가 원하는 novel 한 실험들, method 들을 하나하나 제대로 기획해나갈 수 있었다. 학부연구생 시작할 때 적었던 다짐 글을 한번씩 보곤 하는데, 처음에 먹었던 마음가짐을 잘 지키고 있기도 하고, 이젠 적었던 5가지 말고도 이루고 싶은, 하고싶은 6,7,8..번들을 스스로 더 만들 수 있겠다라는 생각에 뿌듯하기도 하다. 글 중에, '나는 아이디어를 내는 활동'을 좋아하고, 꼭 하고싶다라 했는데, 실험 method 와 관련해서 실제로 그렇게 되었고, 이젠 더 발전시킬 준비까지 하고 있으니..감개무량하다. 아래는 첫 세미나 발표였던 ppt 첫 장.
9월, 10월: 변화와 알아가기
💡 한국외대 ELLT교수님 하 학부연구생: Mitigating Bias 연구
🏅 한국외대 ELLT교수님 하 학부연구생: 국립국어원 인공지능 언어능력평가 경진대회 참여: 은상, KT기업특별상 수상
2년간 이제 학교 다닐 일도 없겠다, 학부연구생 활동은 계속 할 거 같은데 기존에 내가 하던 연구 말고도 경진대회까지 참여할 지 고민했고, 또다시 고민 끝에 둘 다 잘해보자고 결정했다. 결론적으로, 휴학 덕분인지(?) 두 활동 모두에 시간 투자를 많이 할 수 있었고, 특히나 하던 연구쪽에서 성능이 괜찮게 나와 가속이 붙었다. 참여한 국립국어원 인공지능 언어능력평가 경진대회에서는 참가팀 중 유일하게 본 상(은상)도 받고, 기업 특별상도 받는 2관왕에 올랐다!
사실 경진대회는, 이전에 내가 해본 Kaggle 경험에 비추어보아 이렇게 재밌을지 몰랐다. 위에도 적었듯이, 나는 조금 더 앞과 뒤에 인사이트를 추가하고 첫 실험부터 다음실험, 그 다음 실험으로 넘어가는 전개과정도 좋아했기에 (뭔가 스토리가 있는 활동을 원했던 거 같다) 경진대회 참여 초기에는 단순 '점수올리기'라 생각했던 대회도 좋아할지 의문이었다. 그러나, 대회를 거듭하며 여기에도 '아이디어'가 필요하고 (연구에서 아이디어가 새로운 Learning 방법, 데이터, 문제 발견과 Conclusion 까지를 포함한다면 경진대회는 모델에 집중된 아이디어였다.) 노가다 처럼 보이는 실험도 때론 하이퍼파라미터 변환 시에 머리를 써야했고, 마지막 앙상블 할 때도 재밌었다. 수많은 NLP task 와 기술, 주제 중에서 결국 내가 좋아하는 게 무언지 알려면 많이 해봐야 하고, 기술적인 성장도 이때 이루어짐을 깨달았던 순간들이었다. 마지막 날 Public Score로 점수가 1등이 아니어서 상을 받을 수 있을까 했지만, 전반적인 모델 기술과 발표 평가에서 좋은 점수를 받은 거 같다! 프로젝트를 모두 마무리하고 내가 맡았던 역할과 하고싶은 말들을 역시나 경진대회참여 회고로 잘 남겨두었다!
11월, 12월: NAACL 논문 Submission
NLP 학회 중 하나인 NAACL 에 논문을 Submission 하겠다는 목표를 세우고, 실제로 2024 NAACL에 이전부터 해오던 연구를 바탕으로 논문을 작성하고, 제출했다! 아직 ARR 로 리뷰단계지만, 이후 어떻게든 발전시켜서 생각하는 학회든, 저널이든, 논문 2편을 완성할 거 같다.
11월은 사회복무요원을 위해 3주간 논산훈련소에 들어간 달이기도 하다. 제출 마감은 12월 15일이고, 수료날짜는 12.7일인데.. 다녀오면 1주일 남짓 남은 시간이고, 실험과 논문 Writing 퀄리티가 마음에 들지 않아서 정말 마지막까지 최선만 다했던 기억이 있다. 11월이 되니 갑자기 뒤숭숭해지는 마음을 잡고 카페를 돌아다니며 나머지 남은 실험과 초고를 완성하고, 다녀와서 할 것들을 정리했다. 그리고, 내가 없는 기간동안 교수님과 연구실 다른 분들이 실험 & 내가 쓴 초고를 많이 뜯어고쳐주시고, 마지막날까지 조언해주셔서 그게 가장 큰 힘이 되었다. 제출은 했고.. 이제 Accept/Reject 여부에 상관없이, 이어지는 실험과 논문 내용을 계획 중에 있고, 내년 안으로 새로운 논문을 작성해 Accept 받는 게 목표다 ㅎㅎ. 잘 될 수 있을지.. 걱정이 많다.
마무리하며..
사실 글을 쓰면서 느끼건데, 정말 내 인생 가장 많은/다양한 경험을 한 1년이 아니었나 싶다. 그리고, 내가 막연히 생각해왔던 걸 실행으로 옮기고, 구체화시키며, 운이 좋게도 손에 잡히는 결과까지 얻어냈기에 모아두고 보면 뿌듯하기도 하다. 그러나 이면에는, 그만큼 스트레스, 일 양을 조절하는데 실패해서 밤을 샌 날도 모아보면 꽤 되었고, 정해둔 일들만 보느라 챙기지 못한 다른 중요한 가치들도 하나하나 눈에 들어오기 시작한다. 고백하지만 다가오는 해에는 또 어떻게, 무엇을 해나가야 할 지 걱정이 되기도 하고 심지어는 두렵기도 하다. 올해만큼 할 수 있을지, 무엇을 얼만큼 어떻게 해야할지, 아니 올해 잘 한 건 맞는지.
결국은 부딪혀보며 깨닫자는 결론을 내었다. 내가 좋아하는, 잘하는 일을 올해 한없이 부딪혀보며 깨달았고, 내년에도 그럴 것이다. 내가 부족한 점이 무엇이고, 잘하는 걸 잘하기 위해서 어떻게 할 지 시행착오를 겪을 것이다. 앞서 고민하는데 에너지를 갖다쓰기보다 올해 한 것처럼, 몇 가지 규칙을 정해두고 나를 믿고 전진, 전진하는 거다! 인사이트나 깨달음은 길을 다 지나온 후에 저절로 따라올 것이니 말이다. 더불어, 올해 여러 활동들을 하며 '아 이것도 공부하고 싶은데', '아직 잘 모르는데 또 맨땅에 헤딩해야하네..'하는 순간들이 많았는데, 복무요원의 신분으로 이것들을 채워나갈 좋은 기회라 판단했다. 여기에 맞게 새로운 계획들을 세우고 있으며, 결론적으로 올해보다 더 잘 하는 내가 되자! 라는 Simple 한 목표를 세워본다.
고생했고, 고생하자!
