newhaneul

본 포스팅은 서울대학교 이준석 교수님의 M3224.000100 Machine Learning for Visual Understanding을 수강하고 공부한 내용을 정리하기 위한 포스팅입니다. https://youtu.be/p1fdYbs9W0c?si=4d87BJ3pcIUCCgV5 1. Attention Mechanism Attention Mechanism은 입력 시퀀스 중에서 중요한 부분에 집중(attend)하도록 학습하는 메커니즘이다. 즉, 모든 입력 요소 간의 상호작용을 계산하고, 중요한 정보에 더 많은 가중치를 부여한다. Query: Decoder hidden stateKey, Value: Encoder hidden stateAttention Value: Weighted average of enco..

본 포스팅은 Stanford University School of Engineering의 CS231n: Convolutional Neural Networks for Visual Recognition을 수강하고 공부한 내용을 정리하기 위한 포스팅입니다.https://github.com/cs231n/cs231n.github.io/blob/master/assignments/2025/assignment3.md cs231n.github.io/assignments/2025/assignment3.md at master · cs231n/cs231n.github.ioPublic facing notes page. Contribute to cs231n/cs231n.github.io development by creatin..

본 포스팅은 서울대학교 이준석 교수님의 M3239.005300 Machine Learning & Deep Learning 1을 수강하고 공부한 내용을 정리하기 위한 포스팅입니다.이준석 교수님에게 강의 자료 사용에 대한 허락을 받았음을 알립니다.https://youtu.be/8QDbm0qSKCI?si=DauUnYoTxRUVFOAV1. More Details on Transformers 이번 Lecture에서는 Transformer의 작동 원리와 어떤 문제를 해결하는지에 대해 자세히 알아보도록 한다. Token Aggregation (Average Pooling) Transformer 모델에서는 입력이 여러 개의 토큰(Token) 단위로 나뉘어 처리된다. 하지만 최종적으로는 이 여러 개의 토큰들을 하나의..

본 포스팅은 서울대학교 이준석 교수님의 M3239.005300 Machine Learning & Deep Learning 1을 수강하고 공부한 내용을 정리하기 위한 포스팅입니다.이준석 교수님에게 강의 자료 사용에 대한 허락을 받았음을 알립니다.https://youtu.be/o3UEbQ24zhQ?si=uWK-3V97Yb_tp4rm 이번 Lecture에서는 LSTM/GRU보다 오래된 sequence를 더 잘 다루는 Attention model에 대해 배우도록 한다. 그리고 Attention에서 나아가 최근에 chatgpt 등에 사용하는 Transformers의 기본적인 idea에 대해 공부한다. 1. Attention Mechanism Information Loss with RNN RNN model들..