[DAY-18] 머신러닝과 회귀에 대해 알아보자

아직 우주에 와 있는 상태지만, 블로그에 정리하면서 조금 더 이해할 수 있지 않을까... 하는 생각이다.

누구에게 정보를 주고자 쓰는 글도 아니고 단순한 일지이니 가볍게 봐주시길ㅎㅎ (틀린 정보 지적은 대환영합니다)

---

머신러닝

: 인공지능(AI)의 한 분야로, 데이터 안에서 패턴(규칙)을 찾아내어 학습하고 결과를 예측하는 분석방법.
사람이 일하면 러닝머신 / 기계가 일하면 머신러닝 ← 이거 웃겼다...^^

 

머신러닝의 다양한 학습방법

지도학습(supervised Learning)

• '정답이 있는 데이터'를 활용해 데이터를 학습시킨다.
• 훈련데이터(입/출력 데이터)를 통해 훈련.
• 따라서 입력값(X data)이 주어지면 그에 대한 정답(Y data)을 데이터에서 지정해주어야 한다.

분류(classfication)과 회귀(regression)

• 분류: 이진분류(True/False), 다중분류
• 회귀: 어떤 데이터들의 특징을 토대로 값을 예측하는것.
  ex) Q: 어디 동네에 어떤 평수 아파트면 집 값이 어느정도야?
  A: 어디 동네에 24평이면 얼마, 어디 동네에 32평이면 얼마, 어디 동네에 45평이면 얼마입니다.

 

비지도학습(Unsupervised Learning)

• '정답 라벨이 없는 데이터'를 훈련을 통해 비슷한 특징끼리 군집화하여 새로운 데이터에 대한 결과를 예측한다.
• 입력 데이터를 학습한 뒤, 관련성이 있고 학습 가능한 데이터를 모두 사용해 패턴과 상관관계를 인식한다.
• 머신러닝 기준 '이용 가능한 입력 데이터의 양' = '경험' 이다.
• 때문에 데이터의 양, 데이터의 질이 중요하다.
• 안면인식, 유전자 서열 분석, 시장 조사, 사이버 보안 등 다양한 분야에서 쓰인다.

군집(Clustering)

: 서로 유사한 정도에 따라 다수의 객체를 군집으로 나누는 작업 / 이에 기반한 분석

• 계층형 클러스터링 / 비계층형 클러스터링
• K-means Clustering: 데이터를 사용자가 지정한 K개의 군집으로 나눔.
• Hierarchical Clustering(계층적 군집분석): 나무 모양의 계층 구조를 형성해나가는 방법
• DBSCAN: k개를 설정할 필요없이 군집화할 수 있는 방법

 

강화학습(Reinforcement Learning)

: 머신러닝의 꽃! 이라 한다.

• 분류할 수 있는 데이터가 존재하는것도 아니고, 데이터가 있어도 따로 정답이 정해져있지도 않다.
• 자신이 한 행동에 대해 보상(reward)을 받으며 학습하는것.
  예전에 Ford자동차 연구원님의 강연을 들은 적이 있었는데, 자율주행 서비스에 강화학습을 사용하셨다는 말씀을 하셨다.(아마도)
  '보상'이라 하니 떠오르는 기억 ㅎㅎ

 

준지도학습(Semi-Supervised Learning)

• 라벨링 데이터 중에 결측치가 있을때 사용.

---

머신러닝 개발 순서

무작정 따라하기 실습!

1. 데이터 import

CSV파일 읽어들이기, 함수 호출(사이킷런 등), Zip파일로 압축된 파일 읽기, API호출 등 방법은 다양하다.
오늘 실습에서는 사이킷런을 이용해 타이타닉 데이터셋을 호출했다.

from sklearn.datasets import fetch_openml

# fetch_openml을 사용하여 타이타닉 데이터셋을 불러옵니다.
titanic = fetch_openml('titanic', version=1, as_frame=True)

# 데이터 프레임으로 변환
titanic_data = titanic.frame

 

2. 데이터 확인

describe()나 display()함수를 사용한다.

# 데이터의 처음 5행을 출력하여 데이터를 살펴봅니다.
print(titanic_data.head())

# 데이터셋의 통계적 요약을 출력합니다.
print("<요약>")
print(titanic_data.describe())

# 결측치가 있는지 확인합니다.
print("<결측치 확인>")
print(titanic_data.isnull().sum())

 

3. 데이터 전처리

중요한 파트다.

 

<결측치 처리>
만약 1300개 중 250개의 값이 결측치라면?

(1) 데이터 제거
> 약 20%의 데이터 손실이 일어난다. 모델 성능이 떨어질 수 있다.

(2) 데이터 대체
> 값을 잘 모르는 상태에서 대체한다면(살린다면), 1300개를 온전히 쓸 수 있으니 데이터 자체는 확보된 셈이다.
하지만 신빙성이 떨어질 수 있다.
=> 준지도학습 다른 데이터에 기반해서 추정해보자!

또는 새로운 변수가 없는지 생각해보자.

import pandas as pd

# ('age')변수의 평균값으로 null값을 채워라 => 기존 데이터에 업데이트 해라
titanic_data['age'].fillna(titanic_data['age'].mean(), inplace=True)

# 성별 인코딩을 해줘야 분석하기 편하다. 남자는 0 여자는 1로 인코딩해줌.
titanic_data['sex'] = titanic_data['sex'].map({'male': 0, 'female': 1})

# 열에 대해서 제거
titanic_data = titanic_data.drop(['name', 'ticket', 'cabin', 'embarked', 'boat', 'body', 'home.dest'], axis=1)

print(titanic_data.info())

실행 결과

 

'fare'컬럼의 결측치도 제거해주자.

titanic_data['fare'].fillna(titanic_data['fare'].mean(), inplace=True)
print(titanic_data.info())

fare의 not-null 데이터 갯수가 1308개에서 1309개로 변경됨

결측치가 잘 제거된것을 확인할 수 있다.

 

4. 데이터 분할

: 데이터를 상하 좌우로 나누는 것. 이를 나누어 정확도를 평가하거나 다양한 케이스로 비교해보는것이 목적이다.

보통은 정확도를 기준으로 평가를 하지만 기준은 다양하며, 테스트 데이터에는 절대 train 데이터가 들어가있지 않게 주의해야합니다. 만약 100%가까운 정확도를 train data를 적합했을때 보이지만 test에서는 낮은 성능이 나온다면 과적합을 의심해야합니다.

from sklearn.model_selection import train_test_split

# 입력 변수와 타겟 변수 분리
X = titanic_data.drop(['survived'], axis=1) # 'survived' 컬럼 제외 # X에는 타겟이 있으면 안됨!
y = titanic_data['survived'] # 타겟 변수 # y에만 정답이 있어야한다.

# 데이터 분할: 훈련 세트 80%, 테스트 세트 20%
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # random_state -> 고정된 값으로 분할이 가능

 

5. 알고리즘 선택하기

대부분은 Sklearn이나 XGBoost등을 활용하여 라이브러리 안에 내장되어있는 알고리즘을 사용한다.
실습에서는 사이킷런의 랜덤 포레스트를 사용했다.
(랜덤 포레스트는 앙상블 알고리즘 중 대표격. 끝판왕이라고 하는데 나는 잘 모른다!)

from sklearn.ensemble import RandomForestClassifier

# 랜덤 포레스트 분류기 인스턴스 생성
model = RandomForestClassifier(random_state=42)

6. 학습

: 데이터와 모델이 모두 준비된 상태. fit함수를 사용하여 모델을 학습한다.

model.fit(X_train, y_train)

7. 예측

# 테스트 데이터를 가지고 predict(예측)한다.
predictions = model.predict(X_test)

8. 평가

실제값과 예측된값이 실제로 잘 일치하는지 점검! → 정확도

from sklearn.metrics import accuracy_score
accuracy = accuracy_score(y_test, predictions) # 실제값과 예측값을 비교해줘.
print(f"Accuracy: {accuracy}") # 두 데이터가 얼마나 일치하는지 점검

# 출력
# Accuracy: 0.7862595419847328

 

이제 두가지 방법이 있다...
(1) EDA로 다시 돌아가서 처음부터 진행! → 78% 마음에 안들어 → 90%(자의적, 타의적)
(2) 나는 이 성능에 만족하니까 하이퍼파라미터 튜닝!
>> 실제로는 1번을 한 10번하고 2번은 맨 마지막에 하는게 현실이라고 한다ㅎㅎ

import matplotlib.pyplot as plt

# 변수 중요도 추출
feature_importances = model.feature_importances_

# 변수 이름과 중요도를 매핑
feature_names = X_train.columns
feature_importance_dict = dict(zip(feature_names, feature_importances))

# 중요도에 따라 변수 정렬
sorted_importance = sorted(feature_importance_dict.items(), key=lambda x: x[1], reverse=True)

# 중요도 시각화
plt.figure(figsize=(10, 8))
plt.barh([item[0] for item in sorted_importance], [item[1] for item in sorted_importance])
plt.xlabel('Importance')
plt.ylabel('Feature')
plt.title('Feature Importances in Random Forest Model')
plt.gca().invert_yaxis() # 높은 중요도가 위로 오게 정렬
plt.show()

실행 결과값 그래프

# pclass, sibsp, parch를 합친값이 위의 값보다 높아야 가치가 있는 데이터다.
# 그러므로 사실 이 데이터는 틀린 데이터임.

9. 튜닝

어느정도의 정확도가 나왔다면 튜닝으로 풀어갈 수 있다.
알고리즘을 재선택하거나 파라미터 조정, 특징값 최적화 등 다양한 방법론을 사용할 수 있으며 이건 개인의 몫.

from sklearn.model_selection import GridSearchCV

param_grid = {'n_estimators': [50, 100, 200], 'max_depth': [5, 10, 20]} # 1000~2000번 경우의 수를 구비!
grid_search = GridSearchCV(model, param_grid, cv=5)
grid_search.fit(X_train, y_train)

predictions_grid = grid_search.predict(X_test)

from sklearn.metrics import accuracy_score
accuracy = accuracy_score(y_test, predictions_grid) # 실제값과 예측값을 비교해줘.
print(f"Accuracy: {accuracy}") # 두 데이터가 얼마나 일치하는지 점검
# 출력
# Accuracy: 0.7748091603053435 ← 큰 차이는 없지만 변화가 있다.

---

머신러닝을 사용할 때 고려해야할 사항들

1. 기존보다 성능이 좋아졌는가?(중요) → 무엇을 하던간에 기존보다 좋아야 성과
2. 변수 중요도는 고르게 잘 구성되었는가? → 계단식으로 구성되어야함
3. 새로운 변수로 사용할만한 것은 없는가?
4. 모델 비교는 충분하게 했는지?
5. 과적합이 발생하지 않았는가?(중요)
6. Train과 Test간 성능차이가 10% 이상 차이나지는 않는가?
7. 모델에 대한 설명이 가능한가?

과적합

: 학습된 데이터만 잘 맞추는것을 의미한다. 보통 학습과 평가간에 10%이상 차이가 발생하면 과적합이라 판정한다.

---

 

그리고 회귀분석 파트로 넘어갔다. 나는 우주를 넘어 그 어딘가로 향하기 시작했다...(강사님은 최고셨다)

사실 회귀 파트에서는 너무 혼미했기 때문에... 복습할 시간이 더 필요하다.
기억나는 부분은 '오즈비'에 대해서만 정리해보겠다.
나머지 부분은 복습을 한 뒤에 추가로 적어넣겠다.

오즈비(Odds Ratio, OR, 교차비, 승산비)

: 어떤 사건이 일어날 확률(P)을 사건이 일어나지 않을 확률(1-P)로 나눈 값.

아무튼 데이터의 세계는 넓다.

---

https://colab.research.google.com/drive/18v2HYocFraQ_9pg8z_OOHk-JB3NaGYCk?usp=sharing

240123_머신러닝_무작정따라하기.ipynb

https://colab.research.google.com/drive/1M_5yezOd0C8LoL4Um64rIr8bq8HjRdeQ?usp=sharing

240123_머신러닝_회귀.ipynb

---

 

오늘 내 상태

차원이 다른 우주였다... 이번주말에는 정말 복습해야겠다... 화이팅...!!!!!!