딥러닝/CNN 모델
-
네이버 RexNet 논문딥러닝/CNN 모델 2022. 6. 10. 09:41
RexNet은 2020년 제가 대학원을 다니던 시절 네이버에서 야심차게 공개한 CNN 모델로 알고 있습니다. 당시 EfficientNet을 근소하게 능가하면서 관행적으로 쓰이던 ReLU와 시그모이드에 대해 일침을 날렸었지요. 당시 페이스북에서는 한동안 "EfficienctNet 대신 RexNet으로.." 란 비슷한 말들이 많이 떠돌았습니다. ReLU 대신 SiLU (Swish) 활성화 함수 사용 Swish는 구글이 메타 AI 로 찾은 활성화 함수라고 합니다. 그동안 잘 알려지지 않았던 것을 네이버가 서치하여 사용한 것으로 보여집니다. 층이 깊어질 수록 채널 차원 수를 완만하게 늘림 아키텍쳐 표를 보면 한눈에 알 수 있습니다. 전체 차원 블록 채널 차원 SE 블록 여부 스트라이드 224x224x3 conv..
-
DenseNet의 아이디어딥러닝/CNN 모델 2022. 6. 9. 15:25
DenseNet은 2016년 발표된 논문입니다. ResNet이 2015년에 발표되었고 다음해에 발표되었습니다. 이 DenseNet에서는 행렬 합으로 퓨전하는 대신 채널 차원별 CAT (Concatenation) 으로 퓨전하는 것을 선택하였고 ResNet보다 더 적은 파라미터와 더 나은 성능을 보여주었습니다. 기본 블록은 BN, ReLU로 시작하고 컨볼루션 1x1, 3x3으로 구성되어 있는 소 블록입니다. 다음 일러스트에서 보겠지만. Conv1x1과 Conv 3x3의 출력 차원은 (배치, 뎁스, X, Y)으로 구성되어 있으며 이 중 뎁스 차원이 각각 항상 같습니다. 모델의 전반적이로 이 소 블록이 쓰이는데 어떤 위치에 있는 소 블록이든지 간에 모두 Conv 1x1 출력 차원의 뎁스는 4x32 이고 Conv..
-
ResNet의 잔차 아이디어딥러닝/CNN 모델 2022. 6. 5. 08:25
ResNet은 2015년 처음 공개되었습니다. Residual (잔차) 란 새로운 개념을 적용하였는데 이 잔차에 대해 알아보겠습니다. 서문 영어로는 Residual Connection (shortcut) 한국어로 잔차라고 합니다. 일찍이 알파고가 처음 나왔을 시절 장병탁 교수님이 지은 저서에 잔차를 강조한 부분이 얼핏 있었던 것으로 기억납니다. 그때 저는 딥러닝이 아닌 옛날 머신러닝을 한참 공부하고 있었던 병아리로써 이해가 되지 않았던 책이지만 잔차란 단어는 지금도 기억납니다. 딥러닝에서는 어떠한 목적을 가진 가중치 흐름이 여러 개가 있을 수 있습니다. 그 흐름들 중 일부 또는 전부를 모델이 진행됨에 따라 계속해서 합쳐지거나 분화됩니다. 그 중 퓨전 행위는 합치는 행위를 뜻합니다. 잔차는 일종의 퓨전 행..