2022 Vision & Graphics AI and Acceleration

2022 Vision & Graphics AI and Acceleration

 

목차

 

 

 

 

 

일시 : 2022.02.04 금요일 

 

 

Keynotes 10:30 ~ 12:00

1) 도심 속 자율주행을 위한 AI - 42dot 정성균 박사

 

https://42dot.ai/

42dot.ai

 

교통 혼잡, 공해, 주차

정책적 노력도 있으니 기술로써 문제를 해결하기 위한 모델 제안

 

UMOS - Autonomous / Frictionless

 

자율주행 AKIT을 통해 구현하려는 노력 중

자율주행은 왜 필요한가 - Safety / Convenience

 

교통사고는 안전운전불이행으로 인해 일어남.

 

2004/2005/2007년 DARPA challenge

2010 Google X project

2012 KITTI(데이터 세트 공개 -> 많은 연구자들이 들어옴)

2013 Era of self-driving startups

2016 Debut of robotaxis

 

도심 속 자율주행

Physical infrastructure (차선 수, )/ Environment (주간/야간, 비/눈) / Object (다른 차/사람과의 상호작용)

 

통칭해서 Operational Design Domain (ODD)라고 함.

Highway/Urban 환경이 서로 다름

 

복잡한 상황에 대응하기 위해서는 양질의 데이터가 중요

 

Tesla - AI day, 2021

판매된 차량으로부터 데이터를 수집하는 전략을 취함.

simulation을 적극 활용

 

GM Cruise - Cruise under the hood 2021

수집한 데이터로부터 유의미한 데이터를 추출함.

데이터 선별 시스템을 갖춤.

simulation + 편집 + 알고리즘 개발

 

Mobileye - CES 2022

 

Responsibility-Sensitive Safety(RSS)

안전 거리 유지를 위한 공식

 

Road Experience Management (REM)

 

상암 - 다양한 실험을 진행할 수 있는 자율주행 지구

 

자율주행 순서

1) 센서

2) 차량과 경로 인식

3) 미래 방향 예측

4) 실행가능한 경로 계획

5) 실행

 

Lane Detection

성능이 매우 높음

차량 제어와 연동에는 어려움이 있음. 특히 경사로  --> projection할 경우 경사로가 모이는 현상

3D Lane Detection 또한 존재

 

Auto Labelling for Lane Registration

 

Sensor - Camera 7 , Radar 5

고성능 계산량 요구, 다양한 환경적 요소(e.g. 방향에 따라 조도가 달라짐)

다른 차량의 미래 경로를 예측하는 것. 특히 교차로. 연산량 싸움

 

Summary

1) 다양한 주행 시나리오를 커버할 수 있는 데이터 수집이 매우 중요

2) AI 모델의 성능을 향상시키기 위한 모델 개발

3) AI 기반 자율주행 시스템은 3D 기하학이 매우 중요

4) 실시간 시스템이 요구되는 만큼 계산 자원이 항상 바듯함.

 

2) Meta-Learning for Computer Vision - 서울대 이경무 교수

 

실제 삶을 바꾸는 변화가 아직까지는 일어나지 않았다.

 

Passive / Static / Single Problem / Supervision / Data hungry / Single Modality / Single Task

vs

Active / Dynamic / Physics / Evolving / Complex integrated problem / Less or no data / Multi-modality / Multi-task

 

we need adaptive, progressive, multi-modality, few-shot, embodied, self-learning methods

많은 데이터가 필요하다.

Few-shot Learning

Meta Learning

 

MAML (Model Agnostic Meta Learning)

toy example에서만 성능을 보임, 현실에서는 일반화가 어려움.

 

Task-Adaptive Meta-Learning for few-shot learning

 

Task-Adaptive Initialization

네트워크 layer와 task별로 update 조정이 필요

L2F

 

Task-Adaptive Update Rule

ALFA

 

Task-Adaptive Loss Function

MeTAL

 

Task-Adaptive Optimization

TAO

 

훨씬 안정적인 Tracking

Video Frame Interpolation

 

Conclusion

Effective, Generalization

 

3) Software Defined Vehicle (SDV): A Technological Foundation for Future Mobility - 서울대 홍성수 교수

 

미래자동차의 Megatrends

Mobility Service / Electrification / Connectivity / Automation

 

Softward-Defined Vehicle

소프트웨어가 그 기능 feature, function을 정의 하는 차량

 

Service-orientation

차량 기능을 동적으로 추가, 변경, 제거하도록 하는 메카니즘

 

 

초기 차량, 수십, 수백개의 ECU가 연결된 분산적 구조

ECU마다서로 다른 OS가 장착된 이질적 구조

Tesla의 모델 3는 4개의 ECU만을 탑재

 

전통적인 supply chain

자동차 2만~5만 개의 부품 - 많은 하청 (OEM, Tier 1, Tier 2, Tier 3)

 

(개인 일 처리로 추가 기록 못함)

 

현대 모비스, 만도 소프트웨어 회사로의 변신 중

 

Perception and rendering 13:00 ~ 14:20

1) AI Assisted Driving for Everyone - 스트라드비전 김준환 대표

 

딥러닝 기반의 카메라 인식, 독립적인 플랫폼 소프트웨어 제공

주요 애플리케이션 - Lv2-3 ADAS, Lv4 자율주행차 및 IVI 1)을 포함

 

멀티카메라 지원, 한 개의 칩에서 다양한 기능 제공, 기능 안정성, 낮은 머터리얼 비용

 

회사의 카메라 위주의 기술 설명

 

2) Domain Generalization and Out-of-Class Detection in Urban-Scene Semantic Segementation - 카이스트 주재걸 교수

 

RobustNet: Improving Domain Generalization in Urban-Scene Semantic Segmentation - CVPR 21 Oral

 

https://arxiv.org/abs/2103.15597

RobustNet: Improving Domain Generalization in Urban-Scene Segmentation via Instance Selective Whitening

 

Standardized Max Logits: A Simple yet Effective Approach for Identifying Unexpected Road Obstacles in Urban-Scene Segmentation - ICCV 2021 Oral

 

 

https://openaccess.thecvf.com/content/ICCV2021/papers/Jung_Standardized_Max_Logits_A_Simple_yet_Effective_Approach_for_Identifying_ICCV_2021_paper.pdf

 

RobustNet

어두운 환경, 터널, 비가 오는 환경에서 baseline에서는 성능이 저하되나 제안된 모델이 잘 segmentation 하는 것을 보여줌. 영역 boundary 설정에 용이

 

Sim2Real

 

feature covariance 적절히 control 

 

Instance Selective Whitening (ISW) loss

 

GTAV game dataset

 

논문 보는 것이 좋을 듯.

 

3) Seeing for Moving: Computer Vision with 360-degree Cameras and Event Cameras for Autonomous Driving - 카이스트 윤국진 교수

 

딥러닝의 발전이 자율주행에 있어 중요

보이지 않는 곳에서의 모니터링이 어려운 한계점이 존재

 

(1) Limitation of Conventional ADAS - Limited 

360도 카메라

3d-depth

다뤄야하는 데이터의 양이 많아짐. 

최소한의 카메라만을 사용하는 방식으로 발전

Omni-directional camera - stitching, 드론, robotics에서 많이 사용

영상이 왜곡이 됨.

지평선이 sinusoidal fluctuation of ERP image

 

SpherePHD

정다면체를 fitting시킴으로써 입체의 표현이 가능. 왜곡을 줄이기 위해서는 정12, 정20면체 등을 활용

정20면체 - 픽셀이 삼각형이 됨

 

library가 삼각형을 제안하지 않음. 별도의 구현을 사용

ERP image (극지방 distortion) vs Cubemap vs SpherePHD

 

SYNTHIA

http://synthia-dataset.net/downloads/

Download the SYNTHIA dataset – The SYNTHIA dataset

 

360도 resolution이 떨어지는 것을 super resolution을 통해 성능을 향상

 

(2) Low dynamic range

 

이벤트 카메라?

 

unsupervised super resolution

motion blur에서도 선명한 이미지

 

EOMVS

Event를 활용하여 3차원 정보 획득

 

 

4) Self-Calibrating Neural Radiance Fields - 포스텍 박재식 교수

 

Graphics 관련 ICCV 발표 연구

 

3D 복원 연구가 발전 NERF?

Inverse graphics : 진짜 사진 -> 3D

 

Camera Calibration

 

Neural Radiance Fields(NeRF) ECCV 2020

단점 : 사진의 각도, parameter에 대한 값들을 다 넣어줘야함.

 

제안한 방법은 그냥 사진만 넣으면 수식을 알아서 찾아줌.

 

렌즈의 기하학적 커버를 차별점으로 둘 수 있음.

 

 

 

 

AI model optimization 14:20~15:00

1) Reduced precision DNN inference for efficient computer vision - 한양대 최정욱 교수

 

large computation cost를 완화할 수 있는 것으로 DNN Quantization에 대한 설명

 

많은 계산량을 요구하는 현재의 상황

Tesla Full Self-Driving (FSD) Chip

Neural Processing Unit  (NPU) + GPU

 

(중간에 개인 업무를 봄)

 

QAT

 

2) Practical Network Pruning Algorithms and its applications to Self-driving Cars - Nota 김태호 CTO

 

Network Pruning

 

1) Unstrutured Pruning

element를 0으로 mapping하여 pruning

 

2) Structured Pruning

row, column, channel 단위로 pruning

 

scoring the importance of weight

1) Propagation-based : NISP, LRP, SCOP

2) Magnitude-based : L_p norm, HRank, Gradient, Taylor/Hessian, SVD, Sparsity of output feature maps, Geometric median, Nuclear-norm

 

FLOPs, Model size, Memory footprint, Latency, Data throughput

 

NetsPresso

 

(중간에 개인 업무를 봄)

 

 

Hardward accelerator 15:15~16:35 - 개인 일로 생략

1) AI Assisted Driving for Everyone - FuriosaAI 백준호 대표

 

 

2) FuriosaAI Warboy: the high performance AI inference chips for vision applications - Open Edge 테크놀러지 이성현 대표

 

 

 

3) Mission-Critical AI and AI Accelerators, Rebellion - Rebellion 오진욱 CTO

 

 

 

4) 고성능 AI Accelerator, SAPEON과 자율주행 - SK 사피온 코리아 정무경 박사