[A.I] Non-linear Problem을 Linear Problem으로 바꿔주기

 

🧐 만약 아래 그래프처럼 Perceptrone을 거쳐 나온 Output값들이 선형적으로 나눠지지 못한다면?

 

XOR 그래프

💡 우선, Linear, Non-linear Problem이 무엇일까?

 

Linear Problem(선형 문제)

 하나의 직선이나 평면, 초평면으로 모든 sample의 class를 분리할 수 있는 문제 

 

Non-linear Problem(비선형 문제)

 하나의 직선으로 모든 sample의 class를 분리할 수 없는 문제 

우리는 비선형 문제(Non-linear Problem)는 분류를 해줄 수 없기 때문에 이를 나눌 수 있게 하도록 선형 문제(Linear Problem)로 바꿔줘야 한다.

 

💡 Solution

 

1. Input vectors의 차원을 높여보자

• 새로운 특징을 만드는 것이 아닌 새로운 데이터를 조합해 vector의 차원을 높여 해결하자.
• 차원을 높였기 때문에 평면(2차원)으로 분리가 가능하다.

 

2. Non-linear Activation Function을 사용해 Perceptrone의 층을 높여보자.

 

• 한 개의 직선이 아닌 두 개의 직선으로 분리하면, 두 개의 직선으로 분리된 노드들을 분리해서 정리할 수 있다.
• 즉, Perceptrone의 층(Layer)을 높여 Single-layered에서 N-layerd로 만들어 해결할 수 있다.

Layer를 높이면서 Perceptrone에 생긴 새로운 노드를 히든 노드(Hidden Node)라고 부른다.

 

자! 이렇게 해주면 아래 그림처럼 처음 선형적으로 나눌 수 없었던 문제가 선형적으로 나뉠 수 있게 된다.

 

📃 정리

이렇게 분류를 하기 위해서는 선형적으로 나뉘어야 하는데, 비선형 문제일 경우 선형적으로 바꿔줘야 한다.

이를 Non-linear Activation Function을 통해 Layer를 높여 해결해주자!

 

이렇게 여러 개 층을 높여 NonLinear Problem을 Linear Problem으로 바꿔줘 생긴 모형(네트워크)을 DNN이라 부른다.

 

DNN ( Deep Neural Network )

궁금하신 것이 있으시면 언제든지 댓글 달아주세요!