특성교차: 비선형성 인코딩

그림 1과 2에서 다음을 상상해 보세요.

• 파란색 점은 병든 나무를 나타냅니다.
• 주황색 점은 건강한 나무를 나타냅니다.

그림 1. 선형 문제

병든 나무와 건강한 나무를 깔끔하게 구분하는 선을 그릴 수 있나요? 예. 그릴 수 있습니다. 이 문제는 선형 문제입니다. 완벽한 선을 그릴 수는 없습니다. 병든 나무 한두 개가 '건강한' 쪽에 있을 수도 있지만, 이 선을 기준으로 나무의 상태를 적절히 예측할 수 있습니다.

이제 다음 그림을 보세요.

그림 2. 선형 문제

병든 나무와 건강한 나무를 깔끔하게 구분하는 직선 하나를 그릴 수 있나요? 아니요. 그릴 수 없습니다. 이 문제는 비선형 문제입니다. 어떤 선을 그려도 나무의 상태를 적절히 예측할 수 없습니다.

그림 3. 하나의 선으로 두 클래스를 구분할 수 없음

 

그림 2에 표시된 비선형 문제를 해결하려면 특성 교차를 만드세요. 특성 교차는 두 개 이상의 입력 특성을 곱하여 특성 공간에서 비선형성을 인코딩하는 합성 특성입니다. 교차라는 용어는 교차 곱에서 따온 것입니다. x1과 x2를 교차하여 x3이라는 특성 교차를 만들어 보겠습니다.

x3=x1x2

새로 만든 x3 특성 교차는 다른 특성과 마찬가지로 취급합니다. 선형 수식은 다음과 같습니다.

y=b+w1x1+w2x2+w3x3

선형 알고리즘에서 w1 및 w2와 마찬가지로 w3의 가중치를 학습할 수 있습니다. 다시 말해 w3이 비선형 정보를 인코딩해도 w3의 값을 결정하기 위해 선형 모델의 학습 방식을 변경하지 않아도 됩니다.

특성 교차의 종류

여러 종류의 특성 교차를 만들 수 있습니다. 예를 들면 다음과 같습니다.

• [A X B]: 두 특성의 값을 곱하여 구성되는 특성 교차
• [A x B x C x D x E]: 다섯 개의 특성 값을 곱하여 구성되는 특성 교차
• [A x A]: 단일 특성을 제곱하여 구성되는 특성 교차

확률적 경사하강법을 활용하여 선형 모델을 효율적으로 학습시킬 수 있습니다. 결과적으로 예전부터 조정된 선형 모델을 특성 교차로 보완하는 방법으로 모델을 대규모 데이터 세트에 효율적으로 학습시켜 왔습니다.

 

 

 

주요 용어

특성 교차

합성 특성