전체 글364 [2025-2] 박제우 - Sharpness-Aware Minimization for Efficiently Improving Generalization https://arxiv.org/abs/2010.01412 Sharpness-Aware Minimization for Efficiently Improving GeneralizationIn today's heavily overparameterized models, the value of the training loss provides few guarantees on model generalization ability. Indeed, optimizing only the training loss value, as is commonly done, can easily lead to suboptimal model quality. Motivatearxiv.org Abstract현대 딥러닝 모델은 대부분 Overpar.. 2025. 12. 20. [2025-2] 김지은 - Deep Residual Learning for Image Recognition 본 글에서는 CNN의 발전 과정을 대표적인 네 편의 논문을 중심으로 살펴보고, 그 흐름 속에서 ResNet: Deep Residual Learning for Image Recognition이 갖는 의미를 집중적으로 분석한다.AlexNet (2012)AlexNet은 ImageNet 대규모 시각 인식 챌린지(ILSVRC)에서 CNN이 기존 전통적 기법들을 압도할 수 있음을 증명하며 CNN을 컴퓨터비전 연구의 주류로 끌어올린 모델이다. AlexNet은 5개의 합성곱 레이어와 3개의 완전 연결 레이어, 총 8개의 학습 레이어로 구성된 심층 신경망이다. 이러한 대규모 모델의 핵심 요소는 다음과 같다.ReLU 활성화 함수 $f(x)=\max(0,x)$를 도입해 기존 sigmoid나 tanh 대비 훨씬 빠른 수렴을.. 2025. 12. 20. [2025-2] 정재훈 - Going deeper with convolutions https://arxiv.org/pdf/1409.4842 0. Abstrct이 논문은 ILSVRC 2014에서 이미지 분류(Classification)와 객체 탐지(Detaction)에서 SOTA를 달성한 architecture Inception 을 제안합니다.Computational budget을 유지하며 architecture의 width 와 depth를 증가시켰습니다. Hebbian principle과 multi-scale processing의 직관을 참고하여 architecture을 설계하였습니다. 1. Introduction2012~2014동안 이미지 인식 성능이 많이 성장하였으나 이는 하드웨어의 발전이나 데이터 양의 증가보다 새로운 아이디어, 알고리즘, 네트워크 구조의 영향이 더 큽니다.본 .. 2025. 12. 20. [2025-2] 정유림 - Descending through a Crowded Valley —Benchmarking Deep Learning Optimizers paper link :https://arxiv.org/pdf/2007.01547 Descending through a Crowded Valley— Benchmarking Deep Learning Optimizers (ICML 2021)딥러닝에서 optimizer 선택은 중요한 결정 중 하나.Adam, SGD 부터 수많은 Adam 변형까지, 최근 수년간 제안된 optimizer는 수백개에 이른다.이 중 실제로 얼마나 의미 있는 차이가 있는지에 대한 대규모의 체계적인 optimizer 벤치마킹 연구 논문.논문 결과 요약optimizer 성능은 task-dependent어떤 optimizer도 모든 task에서 좋진않았음.여러 optimizer를 default로 설정해서 돌려보는것이 성능면에서 효율적인 선택... 2025. 12. 19. 이전 1 2 3 4 ··· 91 다음
