본문 바로가기

전체 글67

[CVPR 2022] Motion-aware Contrastive Video Representation Learning via Foreground-Background Merging Before Review 이번 논문은 self-supervised 기반의 video representation learning 논문을 읽게 되었습니다. 지난 리뷰랑 비슷한 점이 많습니다. 지난 리뷰 background erasing은 background를 추가하여 오히려 motion pattern에 집중할 수 있는 contrastive learning framework를 제안하였습니다. 본 논문도 비슷한 흐름으로 진행됩니다. 그럼 리뷰 시작하도록 하겠습니다. Preliminaries Bayesian theorem $P(H\mid E)=\frac{P(E\mid H)P(H)}{P(E)} $ 베이즈 정리는 사전 확률과 사후 확률의 관계를 나타내는 정리입니다. 자세하게 정리된 포스팅 글이 있어 링크 달아두겠습니.. 2022. 9. 18.
Optimization Theory (Gradient Descent - Convergence Analysis) Convex Functions우선 convex function의 정의부터 알아보도록 하겠습니다. 우선 함수가 정의되는 정의역이 convex set 이어야 합니다.$\text{dom}(f)=\left\{\mathbf{X}\,|\, x_{1},x_{2} \in \mathbf{X}, \theta \in [0,1], \theta_{1}x_{1}+\theta_{2}x_{2} \in \mathbf{X} \right\}$정의역이 convex set 일 때, 아래의 부등식을 만족하는 함수를 convex function이라 정의합니다.$f(\theta x+(1-\theta )y)\leq \theta f(x)+(1-\theta )f(y),\, \text{where} \, 0\leq \theta \leq 1$여기서 등호가 .. 2022. 9. 8.
Optimization Theory (Unconstrained Optimization) Intro지난 포스팅에서는 optimization problem을 어떻게 정의하고 이를 equivalent한 문제로 어떻게 바꿀 수 있는지 알아보았습니다.  맛보기만 한 상태인데 이번 포스팅부터는 슬슬 optimization solution을 어떻게 도출하는 지에 대해서 알아볼 예정입니다. 많고 많은 방법 중에서 이번에는 convex optimization 상황에서 제약식이 없는 unconstrained optimization을 해결할 수 있는 몇 가지 방법론에 대해서 알아볼 예정입니다.  주된 내용은 우리가 머신러닝/딥러닝에서 많이 활용하는 gradient descent에 대한 내용이 될 것 같습니다.1. Unconstrained Optimization$\min f(x)$ $f:\mathbb{R}^{n.. 2022. 9. 8.
[CVPR 2022] Weakly Supervised Temporal Action Localization via Representative Snippet Knowledge Propagation Before Review 이번 논문도 Weakly Supervised Temporal Action Localization으로 읽었습니다. 인상 깊은 점은 논문의 아이디어가 전통적인 머신러닝 기법이 핵심이 된다는 것입니다. GMM을 이용해 클러스터링 방식으로 비디오를 대표하는 정보를 추출하는 framework를 제안합니다. 그럼 리뷰 시작하도록 하겠습니다. Preliminaries 본 논문을 이해하기 위해서는 Gaussian Mixture Model이 무엇이고 이것의 파라미터를 추정하는 알고리즘 중 하나인 Expectation Maximization을 알아야 합니다. 내용이 깊게 들어가면 어려운데 본 논문을 이해하기 위한 정도로만 설명하도록 하겠습니다. Gaussian Mixture Model 우선 가우시.. 2022. 9. 5.
[CVPR 2022] Exploring Denoised Cross-Video Contrast for Weakly-Supervised Temporal Action Localization Before Review 이번 논문은 Weakly Supervised Temporal Action Localization입니다. 개인적으로는 Code가 공개되지 않아서 아쉬움이 드는 논문입니다. 방법론이 인상 깊어서 원복을 해보려고 코드를 짜보고 있는데 K-Means에서 막혔네요. GPU를 이용해도 K-Means가 너무 오래 걸리는 거 같은데 저자는 어떻게 처리했는지 궁금하네요. 리뷰 시작하겠습니다. Introduction Weakly Supervised Temporal Localization(이하 W-TAL)은 snippet level의 feature를 추출하고 Temporal-Class Activation Sequence (이하 T-CAS)를 생성하고 thresholding을 거쳐 localizati.. 2022. 7. 15.
[AAAI 2021] Weakly-supervised Temporal Action Localization by Uncertainty Modeling Before Review 이전에 리뷰를 작성했던 Bas-Net이라는 논문의 후속작이라 보면 될 것 같습니다. 리뷰 시작하도록 하겠습니다. Introduction Weakly Supervised Temporal Localization(이하 W-TAL)은 snippet level의 feature를 추출하고 Temporal-Class Activation Sequence(이하 T-CAS)를 생성하여 thresholding을 거쳐 localization을 수행하는 것이 일반적인 process 입니다. 그리고 T-CAS를 이용하여 video-level의 score vector를 만들고 video-level에서의 classification을 수행합니다. 결국 video level의 classification에 도움이.. 2022. 7. 15.

티스토리툴바