Fancier Optimization Optimization: Problems with SGD 기존의 SGD를 사용하게 되면 몇 가지 문제가 발생한다. 첫번째로 Poor Conditioning 문제가 있다. 가령 우리의 손실 함수가 위와 같이 생겼다고 생각해 보자. 수평 축의 가중치는 업데이트를 해도 손실 함수가 아주 느리게 변할 것이다. ...

Activation Function이란? Neural Network의 모습을 그림으로 표현하면 위 사진과 같다. 각 뉴런에서 들어온 입력값 $x_i$를 $w_i$와 곱한 것을 모두 합하고, 바이어스(bias)를 더한 다음 비선형 연산인 활성화 함수(Activation Function)를 거친다. Sigmoid 함수 Sigmoid 함수는 위...

Convolutional Neural Networks 오늘은 CNN(합성곱 신경망)에 대해 알아볼 것이다. Convolutional layer의 가장 큰 특징이자, Fully connected layer와 구분되는 특징은 기본적으로 “공간적 구조”를 유지한다는 사실이다. A bit of history Hubel & Wiesel의 연구...

Backpropagation에 대해서 이전 강의에서 어떻게 Gradient Descent를 사용해서 최적화를 시킬 수 있는지에 대해 다루었다. 이번 강의에서는 임의의 복잡한 함수의 Analytic gradient를 계산하는 방법인 역전파(Backpropagation)에 대해 다룬다. Backpropagation은 gradient를 얻기 위해 co...

Loss function이란? Weight(가중치) 값이 지금 얼마나 안 좋은지를 정량화시켜 보여주는 함수로 [L=\frac{1}{N}\sum_iL_i(f(x_i,W),y_i)] 라는 식으로 표현된다. Multi-class SVM loss Binary SVM의 일반화된 형태로, 정답 스코어가 다른 스코어들보다 충분히 좋은지를 판단하는 손실함수...

문제 설명 n명의 권투선수가 권투 대회에 참여했고 각각 1번부터 n번까지 번호를 받았습니다. 권투 경기는 1대1 방식으로 진행이 되고, 만약 A 선수가 B 선수보다 실력이 좋다면 A 선수는 B 선수를 항상 이깁니다. 심판은 주어진 경기 결과를 가지고 선수들의 순위를 매기려 합니다. 하지만 몇몇 경기 결과를 분실하여 정확하게 순위를 매길 수 없습니다....

Image Classification이란? 이미지를 보고, 그 이미지가 어떤 카테고리에 속하는지 구분하는 것 Image Classification의 Challenges 카메라를 옆으로 옮기거나, 조명이 다르거나, 일부밖에 안 보이던가 하는 다양한 변형에도 잘 구분할 수 있어야 하고 클래스 내의 다양성을 다룰 수 있어야 한다. (생김새, 크기, 색...

컴퓨터 비전(Computer Vision)이란? 통계에 따르면 최근 인터넷 트래픽 중 80%가 비디오 데이터이다. 이런 시각데이터를 자동으로 이해, 분석하는 알고리즘을 개발하는 것을 컴퓨터 비전(Computer Vision)이라고 한다. 컴퓨터 비전의 역사 생물학적 비전의 역사 5억 4천만년 전, 최초의 눈이 등장하면서 폭발적인 종 분화의 시기...

문제 설명 Finn은 편의점에서 야간 아르바이트를 하고 있습니다. 야간에 손님이 너무 없어 심심한 Finn은 손님들께 거스름돈을 n 원을 줄 때 방법의 경우의 수를 구하기로 하였습니다. 예를 들어서 손님께 5원을 거슬러 줘야 하고 1원, 2원, 5원이 있다면 다음과 같이 4가지 방법으로 5원을 거슬러 줄 수 있습니다. 1원을 5개 사용해서 ...

문제 설명 일렬로 나열된 n개의 풍선이 있습니다. 모든 풍선에는 서로 다른 숫자가 써져 있습니다. 당신은 다음 과정을 반복하면서 풍선들을 단 1개만 남을 때까지 계속 터트리려고 합니다. 임의의 인접한 두 풍선을 고른 뒤, 두 풍선 중 하나를 터트립니다. 터진 풍선으로 인해 풍선들 사이에 빈 공간이 생겼다면, 빈 공간이 없도록 풍선들을 중앙...