딥러닝/활성화 함수
-
활성화 함수 총정리 – 시그모이드, ReLU, 하이퍼볼릭 탄젠트, Swish, SoftPlus딥러닝/활성화 함수 2022. 6. 8. 15:01
최초의 활성화 함수는 매컬러-피츠 모델과 퍼셉트론에서 쓰인 계단 함수입니다. 이후 딥러닝이 활성화 되면서 시그모이드 계열 함수들이 쓰이다가 ReLU 함수들과 그 변형들이 쓰이기 시작했습니다. 활성화 함수 (Activation Function)은 S자형의 시그모이드 계열과 구간 선형 함수인 ReLU 계열로 구분됩니다. 시그모이드 함수 시그모이드 함수는 S자 형의 함수입니다. 함수 값의 결과인 y 축의 범위는 [0,1] 사이의 값입니다. 음수 값은 출력으로 나오지 않습니다. 모든 입력 x축 구간에서 미분할 수 있고 계속해서 증가하는 증가함수이므로 미분 값이 항상 양수입니다. 출력은 [0,1] 항상 양수 값만 출력 증가함수 모든 입력 구간에서 미분 가능 하지만 시그모이드 함수는 문제점이 몇 가지 있습니다. 시..
-
코사인 유사도 Loss딥러닝/활성화 함수 2022. 6. 5. 16:37
뉴런 값들을 벡터로 그룹핑할 수 있습니다. 차원 수가 2인 경우 2차원 평면 상에 그려집니다. 보통 뉴런 값 N개로 이루어져 있으므로 N 차원입니다. 하지만 설명을 위해 2차원 평면 상에서 무언 가를 그려 보도록 하겠습니다. 뉴런의 피처 맵 feature map 값들은 대게 음수 값이 없습니다. 따라서 뉴런 벡터를 시각화 해 보면 2, 3, 4 분면을 지나는 벡터는 없을 것입니다. 코사인 유사도 공식을 알아보겠습니다. 벡터의 내적 공식은 $$ \large \overrightarrow{a}\bullet\overrightarrow{b}=\lvert \overrightarrow{a} \rvert\lvert \overrightarrow{b} \rvert\cos{ \theta }=a_1b_1+a_2b_2 $$ 입..
-
엔트로피와 크로스엔트로피 Cross Entropy딥러닝/활성화 함수 2022. 6. 5. 11:45
엔트로피 엔트로피 공식은 이렇게 생겼습니다. $$ \large -\sum x log({x}) $$ 엔트로피는 불확실성의 정도, 무질서함의 정도를 표현하는 것입니다. 예를 들어 동전과 주사위를 비교해 봅시다. 동전은 앞, 뒷면 2가지 경우의 수가 나오고 주사위는 6면 6가지 경우의 수가 나옵니다. 동전은 앞면과 뒷면 심플하게 2가지 경우이기 때문에 안정적이고 질서가 있습니다. 주사위는 좀 더 경우의 수가 다양하기 때문에 상대적으로 무질서해 보입니다. 엔트로피 공식에 대입해 보면 주사위 엔트로피 값이 큼을 알 수 있습니다. $$ \large -\frac{ 1 }{ 2 }log\frac{ 1 }{ 2 }-\frac{ 1 }{ 2 }log\frac{ 1 }{ 2 }\approx0.3 $$ $$ \large -\..