[Edwith] '부스트캠프 AI Tech 3기 Pre-Course' - '인공지능(AI) 맛보기' 파트 정리

다른 파트 정리를 보고 싶다면 아래 링크를 확인하세요

1) 인공지능(AI) 맛보기 : https://aigong.tistory.com/334

2) 꼭 알아야 하는 파이썬 기초 지식 : https://aigong.tistory.com/344

3) 핵심만 담은 AI를 위한 수학 지식 : https://aigong.tistory.com/345

4) 인공지능 본격 탐구: 딥러닝 기초 : https://aigong.tistory.com/346

개인적인 호기심때문에 본 강좌를 수강하게 되었습니다. 해당 코스의 boostcourse를 보며 제가 중요하다고 판단된 내용 중 일부만 간단히 정리하는 공간으로 마련하였습니다. 이 내용으로 공부를 하신다기보다 그냥 이런게 있구나 정도로만 판단하시면 좋겠고 모든 저작권은 Edwith / boostcourse / boostcamp 그리고 강연해주신 분들(최성준, 임성빈, 최성철)께 있습니다.

https://www.boostcourse.org/onlyboostcampaitech3

[부스트캠프 AI Tech 3기] Pre-Course

부스트코스 무료 강의

www.boostcourse.org

인공지능 AI 맛보기

딥러닝 기본 용어 설명 - Historical Review

최성준 (고려대학교 인공지능학과) 교수님께서 강의를 해주심.

훌륭한 Deep Learning Learner란

1) 구현 능력 (Tensorflow, Pytorch)

2) Math Skills (선형대수, 확률론)

3) Knowing a lot of recent papers

인공지능의 정의 : 사람의 지능을 모방하는 것

Deep Learing의 4가지 관점

Data / NN model / Loss function / Algorithm (optimizer)

1) 풀고자 하는 문제에 맞는 Data가 필요

2) 여러 Model의 성질에 따른 효율성

3) 모델을 어떻게 학습할지를 정하는 Loss (MSE, Cross Entropy, MLE) : 이루고자하는 것의 근사치

4) Optimization Algorithm 다양한 기법들과 더불어 실환경에서 잘 작동하는 모델을 만드는 것이 목적

'Deep Learning's Most Important Ideas - A Brief Historical Review'를 기반으로 역사 흐름에 대해 설명

https://dennybritz.com/blog/deep-learning-most-important-ideas/

Deep Learning's Most Important Ideas - A Brief Historical Review

The goal of this post is to review well-adopted ideas that have stood the test of time. I will present a small set of techniques that cover a lot of basic knowledge necessary to understand modern Deep Learning research. If you're new to the field, these ar

dennybritz.com

2012 - ALexNet : ILSVRC (ImageNet)에서의 Deep Learning 최초의 모델

2013 - DQN : 강화학습

2014 - Encoder/Decoder, Adam : Seq-to-Seq, Adam Optimizer

2015 - GAN, ResNet : Ian Goodfellow의 생성모델 GAN, 네트워크를 깊게 쌓을 수 있게 하는 ResNet (Gradient Vanishing/Exploding Problem 해결에 도움)

2017 - Transformer : Attention을 활용하는 Transformer를 NLP에 사용하여 효과적인 성과를 도출한 연구

2018 - Bert (fine-tuned NLP models) : Bidirectional Encoder Representations from Transformers 풀고자하는 문제를 해결하기 위해 많은 데이터가 존재하는 데이터를 토대로 훈련을 진행하는 것

2019 - Big Language Models (GPT-X) : OpenAI GPT3 finetuning을 통해 sequential model을 사용하지만 많은 parameter를 사용함. 1750개 parameter

2020 - Self-Supervised Learning : SimCLR : a simple framework for contrasive learning of visual representations 학습 데이터는 한정적. 모델. loss를 바꿔가며 하는 것도 방법이나 label이 되지 않은 데이터를 활용하여 모델을 훈련시킴