[스마트 시티] AI Express ( 딥러닝을 활용한 이사 지역 추천 플랫폼 )

😄 프로젝트 주제

스마트시티라는 주제를 배경으로 서울로 이사를 올 계획에 있는 사람들에게 딥러닝을 기반으로 다양한 고려사항에 맞게 적절한 이사지역을 추천해주는 플랫폼

 

 

🧐 주요 기능

15가지의 특징 ( 학교, 의료시설, 학원 등 )과 나이와 성별을 고려해 키워드 기반으로 추천해주는 기능이다.

딥러닝 기술로 15가지의 서울시 공공데이터와 서울시 내 동별 인구수를 비교해 학습시켜 모델을 만든다.

 

😄 프로젝트 중 발생한 문제점

1. 서울시 동별 인구 수

서울시 동별 인구 수를 갖고 DNN 모델을 만들기 때문에 동별 인구 수 데이터가 중요했다. 하지만 교수님께서 많이 피드백해주신 내용이 동별로 인구 수가 많다고 해도 동 내 인구밀집도, 즉 인구가 사는 지역의 크기에 따라 결과 값이 달라지지 않을까라는 피드백을 해주셨다.

동별로 어떻게 하면 테스트 값을 만드는데 공평하게 만들 수 있을까 고민을 했고, 많은 회의 끝에 각 동의 면적에 대한 데이터를 활용해 인구 수를 구할 때 면적 비율로 구하는 방법을 생각해냈고, 학습 데이터를 만들었다.

그 결과 더욱 정확도가 높은 모델을 만들 수 있었다.

2. 모델 설계

 모델 설계 과정에서 Accuracy를 높이기 위해 다양한 요소들을 적용하는데 Accuracy가 생각보다 많이 나오지 않아 Accuracy를 높이기 위해 많은 고민을 했었다.

 처음에는 Layer 수를 높이고, Neural Network의 층을 많이 만들어 복잡하게 구성해 Accuracy를 높여가는 방법으로 접근을 했다. 하지만 오버피팅의 문제가 계속 발생했고 Activation Function을 ReLU로 바꿔보고 Leaky ReLU로도 바꿔봐도 Accuracy가 눈에 띄게 높아지지 않을 뿐더러 오버피팅의 문제가 계속 발생했다.

 쉽게 바뀌지 않아 오버피팅의 문제를 해결해주기 위해 Dropout을 적용했다. 다행히 각 Hidden Layer마다 Dropoupt을 적용하고 Hidden Layer의 수와 Layer마다의 노드 수를 줄여 단순화를 시켰더니 Accuracy가 높아지며 오버피팅 문제가 해소되는 것을 볼 수 있었다.

 

3. 테스트 케이스의 부족 - K-fold 교차검증

 서울시 내 동의 총 수는 424개로 모델을 학습시키기 위해 터무니 없이 부족한 수이다. 모델을 학습시키기 위해 최소한 3000개의 데이터의 수가 필요하기 때문에 424개의 데이터를 갖고 데이터를 늘려야만 했다.

그래서 인접한 동별로 최소한의 공통점이 있을 것이라고 생각해 같은 구에 있는 동을 2개씩 골라 더한 후 2로 나눠 데이터를 증가시켰다. 

 또한 K-fold 교차검증을 사용해 오버피팅 문제 발생률을 최소화시키며 모든 데이터를 training과 validation으로 사용할 수 있도록 해 Accuracy를 최대로 끌어올렸다.

 

4. 키워드 생성 문제

 

 우리는 15가지에 특징들에 키워드 별로 가중치를 부여해 사용자로 하여금 키워드를 사용해 추천지역 검색할 수 있는 서비스를 만들기 위해 수 많은 키워드를 만들어줘야 했었다.

 하지만 모든 사용자들의 키워드를 예측할 수 없었기 때문에 만드는데 많은 어려움과 고민이 필요했었다.

 나중에 키워드 분석을 텍스트 마이닝 기술을 통해 구현할 예정이다.

 

 

 

😎느낀 점

 딥러닝 기술을 사용해 만든 첫 프로젝트였다.  

 역시나 적절한 모델을 만들어 Accuracy를 최대한으로 끌어올려야만 플랫폼의 주요 기능이 동작하기 때문에 Deep Neural Network의 모델을 만드는데 많은 시간을 들여야만 했다. 

 모델을 만들면서 오버피팅 문제를 위한 Genralization, Regularization을 하기 위한 방법들을 공부할 수 있었고, Vanishing Gradient 문제를 해결하기 위해 다양한 가중치 업데이트 기법을 사용할 수 있었다.

 

다행히 아래 영상과 같이 좋은 모델과 그에 따른 결과가 나와 다행이였다...... 휴......

 

🎥 AI Express 시연 영상

 

 

📄 발표 자료

03조 최종발표.pptx

7.15MB

 

궁금하점이 있으시면 댓글 달아주세요!~

 

소스 코드 : https://github.com/withseungryu/AI_Express