PR-126 "DensePose: Dense Human Pose Estimation In The Wild" Review (2018 CVPR)(Pose Estimation)

1. Citations & Abstract 읽기

Citations : 2022.01.15 기준 780회

저자

Rıza Alp G¨uler - INRIA-CentraleSup´elec

Natalia Neverova, Iasonas Kokkinos - Facebook AI Research

Abstract

이 연구에서 우리는 RGB 이미지와 표면 기반 인체의 표현 사이의 dense correspondence을 설정하며, 이를 밀도있는 인간 포즈 추정(dense human pose estimation)이라 칭한다. 우리는 효과적인 annotation 파이프라인을 도입함으로써 COCO 데이터 세트에서 5만 명에 대한 dense correspondence에 대해 수집한다. 그 후 우리는 'in the wild' 즉, 다시 말해 배경, 폐색 및 규모 변화가 존재하는 곳에서 dense correspondence를 전달하는 CNN 기반 시스템을 훈련시키기 위해 우리들의 데이터 세트를 사용한다. 우리는 누락된 원본 값들을 채울 수 있고 과거에 달성할 수 있던 최상의 결과의 관점에서 개선사항을 보고할 수 있는 inpainting 네트워크를 훈련시킴으로써 우리들의 훈련 세트의 효과를 개선한다. 우리는 완전 CNN과 지역 기반 모델들을 실험하고 후자의 우수성을 관찰한다. 더욱이 우리는 cascading을 통해 정확도를 향상시켜 단일 GPU에서 초당 여러 프레임에 고정밀 결과를 전달할 수 있는 시스템을 얻는다.

namely 즉, 다시 말해

개인 정리

Dense Human Pose Estimation이 가능한 방법론을 제안함.

이를 위해 annotation을 진행하고 실험에서 정확도 향상을 보임.

2. 발표 정리

공식 논문 링크

https://openaccess.thecvf.com/content_cvpr_2018/papers/Guler_DensePose_Dense_Human_CVPR_2018_paper.pdf

https://arxiv.org/abs/1802.00434

DensePose: Dense Human Pose Estimation In The Wild

In this work, we establish dense correspondences between RGB image and a surface-based representation of the human body, a task we refer to as dense human pose estimation. We first gather dense correspondences for 50K persons appearing in the COCO dataset

arxiv.org

Presentation Slide

없음

https://youtu.be/-bvMCbk_FT8

PR-126 Presentation

https://youtu.be/Dhkd_bAwwMc

Densepose YouTube

Baseline

Mask R-CNN for Human Pose Est. [He et al. ICCV, 2017]

Dense Pose estimation through learning correspondences

Dense correspondence task

들은 바에 따르면 수십명이 annotation 2~3개월 준비

Dense correspondence annotations on COCO for SMPL model

24개의 body part

50k images

Task #1: 몸 부위에 대해 segmentation을 진행

Task #2: 샘플 포인트들과 rendered image와의 매치를 통한 표기

Evaluation

Measuer: geodesic distance on the surface

Geodesic Point Similarity (GPS)

손이나 머리가 결과가 좋음.

Mask R-CNN과 유사.

다만 Output에 대해서 3개의 값 도출

Multi-task cross-cascading arch를 활용하는 것이 좋았음.

Supervision signal through distillation

14개씩 annotation

참조

GitHub

https://github.com/facebookresearch/DensePose

GitHub - facebookresearch/DensePose: A real-time approach for mapping all human pixels of 2D RGB images to a 3D surface-based mo

A real-time approach for mapping all human pixels of 2D RGB images to a 3D surface-based model of the body - GitHub - facebookresearch/DensePose: A real-time approach for mapping all human pixels o...

github.com