wooing

Alexnet이란? Alexnet은 ILSVRC(ImageNet Large-Scale Visual Recognition Challenge)2012년 대회에서 1위를 한 CNN구조이다. 논문 제목: ImageNet Classification with Deep Convolutional Neural Networks https://papers.nips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf 순서 1. Overall 2. The Dataset 3. The Architecture 4. Reducing Overfitting 5. Details of learning Overall 5개의 Convolutional layers와 3개의 Full-con..

합성곱 신경망이란? 합성곱 신경망은 크게 합성곱층(Convolution layer)과 풀링층(Pooling layer)으로 구성되어있다. 위의 그림에서 CONV는 합성곱 연산을 의미하고, 합성곱 연산의 결과가 활성화 함수 ReLU를 지난다. 이 두 과정을 합성곱층이라고한다. 그 후에 POOL이라는 구간을 지나는데 이는 풀링 연산을 의미하며 풀링층이라고한다. 합성곱 신경망은 이미지 처리에 탁월한 성능을 보이는 신경망이다. 이미지 처리를 하기 위해 다층 퍼셉트론을 사용할 수 있지만 한계가 있었다. 그 이유로는 2차원 텐서 구조의 이미지를 1차원 배열로 변환하여 사용하였기 때문이다. 1차원으로 변환하였기 때문에 공간적인 구조 정보가 유실된 상태이기때문에 성능이 떨어진것 이다. 이미지의 공간적인 구조 정보를 보..

과적합(Overfitting)이란? 과적합은 기계 학습 모델이 학습 데이터에 대한 정확한 예측을 제공하지만 새 데이터에 대해서는 제공하지 않을 때 발생하는 바람직하지 않은 기계 학습 동작한다. 데이터 과학자는 기계 학습 모델을 사용하여 예측을 수행할 때 먼저 알려진 데이터 세트에 대해 모델을 훈련시킨다. 그런 다음 이 정보를 기반으로 모델은 새 데이터 세트에 대한 결과를 예측하려고 시도한다. 과적합 모형은 부정확한 예측을 제공할 수 있으며 모든 유형의 새 데이터에 대해 제대로 수행되지는 않는다. 과적합을 막는 방법들 1. 데이터 양을 늘리기 모델은 데이터의 양이 적을 경우, 해당 데이터의 특정 패턴이나 노이즈까지 쉽게 암기하기 되므로 과적합 현상이 발생할 확률이 늘어난다. 그렇기 때문에 데이터의 양을 늘..

퍼셉트론 이란? 퍼셉트론(Perceptron)은 프랑크 로젠블라트(Frank Rosenblatt)가 1957년에 제안한 초기 형태의 인공 신경망으로 다수의 입력으로부터 하나의 결과를 내보내는 알고리즘이다. 실제 뇌를 구성하는 신경 세포 뉴런의 동작과 유사하다. 퍼셉트론의 정의에서 다수의 입력으로부터 하나의 결과를 내보내는 알고리즘이라고 했다. 왼족의 그림과 같이 다수의 입력 x들에 각각 가중치 W를 곱해 출력값 y를 만들어내는 알고리즘 이다. 이때 가중치W의 값이 클수록 해당 입력 값이 중요하다는것을 의미한다. 가중치가 곱해진 입력값들을 통해 출력값을 변경시키는 함수를 활성화 함수(Activation Finction)이라고 한다 퍼셉트론은 단층 퍼셉트론, 다층 퍼셉트론으로 나눌 수 있다. 단층 퍼셉트론은..

다중 클래스 분류(Multi-class Classification) 3개 이상의 선택지 중에서 하나로 분류하는 문제이다. 다중 클래스 분류 문제를 해결하는 방법 중 하나로 소프트맥스 회귀가 있다. 소프트맥스 회귀 X: 입력 W: 가중치 B: 편향 Y^ 또는 H(X) : 출력 결과 소프트맥스 회귀는 선택지의 갯수만큼의 원소를 가지는 벡터를 만들고 모든 원소의 합이 1이 되도록 하며 각 선택지마다 소수의 확률을 할당한다. H(X) = softmax(WX + B) 소프트맥스 함수(Softmax function) z_i : k차원의 벡터에서 i번째 원소 p_i: i번째 클래스가 정답일 확률 각 선택지에 대한 확률을 구하는 공식은 아래와 같다. 즉 softmax(WX+b)를 하게 되면 결과값으로 [특성 갯수, 입..

인코딩이란? 인코딩이란 정보의 형태나 형식을 변환하는 처리나 처리 방식이다. 정수 인코딩 인코딩의 방식으로 데이터를 정수로 표현하는 방법이 있다. {red, green, blue} => {0, 1, 2} 그러나 일반적인 다중 클래스 분류 문제에서는 정수 인코딩 방식이 올바르지 않을 수 있다. 그 이유로는 선형회귀에서 사용된 MSE(평균제곱오차)를 예로 들어보자 실제 값이 red일때 예측값이 green이었다면 제곱 오차는 (0 - 1)^2이 된다. 실제 값이 red일때 예측값이 blue이었다면 제곱 오차는 (0 - 2)^2이 된다. 즉, red - green사이의 오차보다 red-blue사이의 오차가 더 크므로 green이 blue보다 red에 더 가깝다는 정보를 주는 것과 다름이 없다. 원-핫 인코딩 ..

로지스틱 회귀란? 두가지 선택지 중 정답을 고르는 문제를 이진 분류(Binray Classification)이라고 한다. 이진 분류 문제를 풀기 위한 대표적인 알고리즘이 로지스틱 회귀(Logistic Regression)이다. 이진 분류(Binary Classification) 왼쪽의 표와 같은 데이터셋이 있을때 오른쪽과 같이 그래프로 나타낼 수 있다. 로지스틱 회귀는 오른쪽의 그래프와 가장 유사한 S자 모양의 그래프를 만드는 모델이다. S자 모양을 그리는 함수를 찾는 이유로는 함수의 특징을 보면 알 수 있다. 성공과 실패를 구분하는 부분만 경사가 급하고 나머지는 경사가 완만하기 때문이다. S자 모양의 그래프를 그리는것 중 가장 널리 알려져 있는 시그모이드 함수(Sigmoid function)를 사용한다..

회귀(Regression)란? 종속 변수(목표)와 하나 이상의 독립 변수(예측 변수)간의 상관관계를 예측하는 것. 선형 회귀(Linear Regression) Concept 선형 회귀는 훈련 데이터셋을 관통하는 가장 합리적인 직선을 찾아내는 모델이다. 가설(Hypothesis) 분포를 가장 잘 나타내는 그래프, 선형 회귀에서는 직선의 방정식을 가설이라고 한다. 가설 H(x)에서 W는 가중치(기울기) b는 편향(y절편)이다. 비용 함수(Cost function) 위에 사진과 같이 데이터 셋이 분포해 있다고 가정해보자. 우리의 목표는 데이터 분포를 가장 잘 나타내는 직선을 찾는 것이다. 직선을 찾는 데 사용하는 방법으로는 데이터 값과 직선 값의 오차를 이용하는 것인데 이를 비용 함수라고 한다. 비용 함수 =..