본문 바로가기

전체 글67

Optimization Theory (Convex Sets) IntroOptimization theory 포스팅에서는 Stephen Boyd 교수님의 Convex Optimization 을 정리합니다. 사실 저는 ML 보다는 좀 더 응용에 가까운 딥러닝 연구에 관심이 있지만, 학부때 수업을 듣기도 했고, 정리 해두면 언젠가 도움이 될 거 같아 블로그에 정리합니다.  수학 전공은 아니라, 포스팅 내용에 오타나 오류가 있을 수 있습니다. 댓글로 코멘트 주시면 감사드리겠습니다.Optimization Problem일단 최적화 이론 자체는 응용분야가 상당히 많습니다. 신호처리나 제어공학, 통신 시스템 등 다양한 분야에서 사용이 될 수 있지만, 제가 관심을 가지는 머신러닝/딥러닝에서도 최적화는 많이 활용이 됩니다. 애초에 neural network의 학습 자체가 최적화 문제.. 2022. 4. 23.
[CVPR 2021] Action Unit Memory Network for Weakly Supervised Temporal Action Localization Before Review 이번에도 Weakly supervised temporal localization 논문으로 준비를 했습니다. LSTM을 공부할 때 접했던 개념인 memory 개념을 Weakly supervised temporal action localization에 처음으로 도입한 논문이라고 합니다. Weakly supervised temporal localization 관련 리뷰는 이전에도 몇 개 진행을 했었는데 아래에 링크를 첨부하도록 하겠습니다. 본 리뷰부터 진행되는 Weakly supervised temporal localization 리뷰에서는 task에 대한 자세한 설명은 다루지 않을 것이기 때문에 잘 모르시는 분들은 과거의 리뷰를 통해 이해해주시면 감사하겠습니다. [1] [CVPR 2.. 2022. 3. 23.
[CS231n] 03. Backpropagation and Neural Networks 이번 포스팅에서는 오차 역전파에 대해 알아보도록 하겠습니다. 지난 포스팅에서는 손실 함수에 대해서 알아보았고, 이를 최소화시킬 방법이 경사 하강법이라는 것까지 얘기했습니다. 경사 하강법은 결국 가장 가파른 방향으로 step을 조금씩 밟아나가 근처에 있는 최소점에 수렴하게 만들어주는 알고리즘입니다. 가장 가파른 방향이라는 것은 결국 Gradient로 정의가 되는데 이는 알고 보면 각 parameter에 대한 편미분 계수로 이루어진 벡터입니다. 즉, Gradient를 구하려면 Loss함수에 대해서 각 parameter에 대한 편미분 계수를 구해야 parameter를 업데이트할 수 있을 것 같습니다. Chain Rule 미분 계수야 뭐 미분 공식만 잘 적용해주면 구할 수야 있겠지만 문제는 복잡한 신경망을 통과.. 2022. 3. 6.
[AAAI 2020] Background Suppression Network for Temporal Action Localization Before Review 이번에도 Weakly Supervised Temporal Localization 논문을 들고 왔습니다. 2020년도 AAAI에 나온 논문이고 반가운 건 한국인이 저자인 논문이네요. 네이버 클로바와 연세대학교 연구진이 같이 작성한 논문인 것 같습니다. 최근 논문을 수정하면서 비디오의 Background를 어떻게 처리해야 되나 고민이 많은 상황인데, 이 논문이 참고할만한 Filtering module를 제안한 논문이라 읽게 되었습니다. Method나 실험 부분이 어렵지 않아서 가볍게 읽었습니다. 리뷰 시작하도록 하겠습니다. Introduction Weakly supervised temporal localization은 비디오 단위의 라벨만을 가지고 Localization을 수행하는 .. 2022. 3. 6.
[TPAMI 2021] Background-Click Supervision for Temporal Action Localization Before Review 이번 논문 리뷰는 Temporal Action Localization으로 준비했습니다. 그중 Supervised 방식이 아니라, Weakly Supervised 방식으로 논문을 선택했습니다. TPAMI 저널에 투고된 논문은 처음 읽어보는 것 같은데, 글씨도 작고 내용 자체가 일단 컨퍼런스 논문에 비해서는 좀 많은 편인 것 같네요. 페이퍼 양이 너무 많아 읽는 데 좀 오래 걸렸습니다. 리뷰 시작하도록 하겠습니다. Introduction 사람들이 Weakly supervised temporal localization에 관심을 가지는 이유는 언제나 Annotation의 부담 때문이라고 한결같이 얘기합니다. 하지만 Weakly supervised temporal localization은.. 2022. 3. 6.
[CVPR 2021] Towards Long-Form Video Understanding Before Review 기존 비디오 연구 흐름과는 다르면서 조금 새로운 방향을 제시하는 논문입니다. 어떻게 보면 당연히 나아가야 할 방향이기도 하지만 연구가 많이 되지 않은 부분이라고도 볼 수 있을 것 같습니다. 비디오의 길이가 긴 상황에서의 효과적인 Video Understanding을 위한 방법을 제시한 논문입니다. 논문 리뷰 시작하도록 하겠습니다. Introduction 비디오 데이터는 일반적으로 상당히 길이가 다양합니다. 뭐 요즘 유행하는 Youtube short나 Tik-Tok 같은 것들을 생각해보면 short-form 형태의 비디오 데이터가 많긴 합니다. 그럼에도 Long-form 비디오 역시 많이 존재한다는 것은 부정할 수 없을 것 같습니다. 현재의 비디오 데이터 자체는 long-form이.. 2022. 3. 6.

티스토리툴바