PReLU activation function 알아보기

PReLU activation function 알아보기

PReLU(Parametric ReLU)는 leaky relu에서 한층 더 나아간 아이디어로 x <0인 상태에서의 기울기를 network parameter처럼 학습시키기 위해 만든 방식입니다.

일반적으로 기울기 값은 gradient 값을 통해 얻어냅니다.

식으로 나타내면 아래와 같습니다.

pytorch에서는 torch.nn.PReLU()를 통해 바로 사용이 가능합니다.

https://pytorch.org/docs/stable/nn.html

URL : https://pytorch.org/docs/stable/nn.html