[강의후기] 김기현 BERT,GPT-3를 활용한 자연어처리 올인원 패키지 Online

필자가 21년 8월에 수강했었던 온라인 강좌입니다. 여태 들은 골라들은 강좌는 많지만, 주기적으로 강의 후기를 작성하고자 합니다. 많은 분들이 교육 신청 시에 구매 의사결정에 도움이 되면 좋겠습니다. (참고로 저는 패스트캠퍼스와 아무런 관련이 없음을 알립니다.)

 

강의 소개 페이지

---

소개 페이지는 아래와 같습니다. 

https://fastcampus.co.kr/data_online_bertgpt3

김기현의 BERT, GPT-3를 활용한 자연어처리 | 패스트캠퍼스

 

커리큘럼은 여기 를 참고하세요.

 

강의 신청 이유

---

Pretrained Model에 대해 명확한 이해를 위해 수강을 했었고, 프로젝트 또는 공모전을 수행 시 미리 base를 닦아 놓기 위해 수강을 하였습니다. 놓치고 있는 부분들도 점검할 수 있었고 기본을 닦기 위해 수강했었는데, 듣기 잘했다는 느낌이 들었습니다. 또한 생성 부분과 경량화는 익숙하지 않았기 때문에 이 부분들도 점검하기 좋았었습니다. 

 

강의 장점

---

NLP에 대한 기초가 어느정도 잡혀 있는 사람들에게는 상당히 좋은 내용의 강의라고 생각합니다. 이론과 실전을 나눠서 평을 하자면 다음과 같습니다.  

- 이론 :

Pretrained Language Model을 알기 위해 소개하는 부분과 워드임베딩 부분을 점검합니다. 또한 Transformer(seq2seq ~ attention ~ transformer) 부분에 대해 이론적으로 점검합니다. 최근에 나온 수많은 PLM 모델 들 중 가성비가 좋은 모델(ROBERTa, BART)들과 개념적으로 중요한 모델(BERT, GPT)들에 대해서 잘 정리를 해줍니다. 또한 수강 당시에 gpt3가 나온 지 크게 오래되지 않았습니다. (올해 gpt4가 나온다고 하니, 세월이 빠르네요.) 경량화 부분과 Fine tuning 없이 추론하는 부분에 대해 점검할 부분에 대해 잘 설명을 해줬다고 생각합니다. 수강 당시에 생각했을 때에는 트렌드를 잘 쫓은 강의라고 생각합니다.

- 실전 :

huggingface 패키지를 중점적으로 설명을 잘 해줍니다. 가장 많이 활용되는 분류 문제에 대해서 간결한 코드 중심으로 설명해주어서 응용할 여지를 많이 줍니다. 텍스트 분류 Task 기준으로 설명을 해주며 pytorch ignite와 tortchtext 이용하여 상대적으로 low level로 구현하는 것을 먼저 보여줍니다. 그 이후에 huggingface Trainer로 더 간결하게 구현하는 방법을 소개해줍니다. 이 부분이 제일 좋았었다라는 생각이 듭니다. 분류 Task 수행 시 정말 편하게 응용하여 프로젝트나 공모전을 수행하였던 기억이 납니다. 

 

 

강의 단점

---

이론 부분은 필요한 부분에 대해 점검을 잘 해주었습니다. 하지만, 실습에서 다루는 scope이 너무 작다는 생각이 들었습니다. 가장 많이 활용하는 부분이 Classification이라는 점은 인정하지만 NLU 분야에서 MRC나 NER 등 상대적으로 많이 다루는 부분에 대해서도 다루었으면 좋겠다는 점도 생각이 들었습니다. 또한 gpt3 쪽도 모델이 heavy 하여 실습을 못한다고 하지만, context learning에서 prompt 안정성 키우는 부분이나 Bias를 없애는 부분 등 풍부하게 예시를 더 들여서 설명해 주면 좋았겠다는 생각이 들었습니다. 물론 다루는 내용을 더 키웠다가 강의료가 더 비싸지는 것은 어쩔 수 없지만, 내용을 더 알고 싶은 것이 어쩔 수 없는 수강생의 마음인 것 같습니다.

 

강의 수강 시 유의점

---

자연어처리 관련 모델링과 전처리 부분은 해본 경험이 반드시 있어야합니다. 그리고 Embedding, Attention과 Transformer 부분에 대한 기초는 반드시 숙지하고 있어야 합니다. introduction 부분과 사전 지식으로 점검할 부분은 빠르게 점검하고 넘어가기 때문입니다. 내용의 깊이는 이전에 제가 요약한 글 (아래 url 참고) 내용 수준보다 더 얕은 수준으로 점검하고 넘어간다고 생각하시면 좋을 것 같습니다.

2021.10.09 - [AI/NLP] - Pretrained Language Model - 7. Attention

2021.10.15 - [AI/NLP] - Pretrained Language Model - 8. Transformer

2021.10.24 - [AI/NLP] - Pretrained Language Model - 9. Language Model

 

총평

---

자연어 기초(사람마다 기초의 기준이 너무나 다르지만)를 어느 정도 아는 인원이라 가정했을 때, 별 5개 중 ★★★★☆ 를 주고 싶습니다. 실습 부분 범위만 조금 더 넓었다면 정말 완벽했을 것 같습니다.

또한 수강하면, 응용할 부분도 생겨서 활용한다는 기쁨은 항상 좋지만 지식의 단면이 넓어질수록 더욱 공부할 것이 많구나 라는 벽을 느끼게 되어서 배우면 배울수록 기쁨과 고통이 동반되는 것은 어쩔 수 없는 것 같습니다. 저는 현업에서 여러 문제에 당면하여 해결했을 때에 갈증이 해소되었는데, 자연어처리에 관심 있는 학부생이나 대학원생들에게도 정말 좋을 것 같습니다. 

이 글이 수강하려는 많은 분들에게 구매 이전에 참고되면 좋겠습니다.