상관과 독립 그리고 가우시안 분포

두 확률 변수 X,Y가 독립 관계이면 상관은 0이다.

 

두 확률변수 X,Y가 상관이 0이면 반드시 독립은 아니다. 

 

상관 관계가 0이다. -> 두  변수의 관계가 선형적인 관계가 아니다. 다만 의존성은 있을 수 있다. 

독립 관계이다.  -> 두 변수의 분포가 서로 의존성이 없다.

 

 

공분산 : 두 변수가 서로 함게 증가 또는 감소하는 정도를 보여줌, 상관 정도와 방향에 대한 정보를 담고 있음. 

분산 : 하나의 변수 내에서 값들이 평균과 얼마나 퍼져 있는가?, 공분산에 속하는 개념.

일반적인 분포의 경우 두 확률 변수의 상관관계가 0이어도, 반드시 독립은 아니다. 

 

가우시안 분포는 다르다. 

가우시안 분포를 가지는 두 확률 변수의 상관관계가 0이면, 반드시 독립이다.

 

가우시안 분포는 평균값과 공분산값으로 완전히 정의 될 수 있는 분포이다. 

가우시안 분포를 가지는 두 확률 변수의 확률 밀도 함수는 다음과 같다. 

 

 

확률 밀도함수의 지수 부분을 상수로 고정하면,

위 식은 같은 확률밀도 값을 갖는 점들의 모양을 표현하는 것임 → 이것이 등확률션

 

상관계수가 0이면 등확률선의 모양이 타원형 또는 원이다. 

상관계수가 0이 아니면, 등확률션의 모양이 틀어진 타원형이 된다. 

 

특히 상관계수가 0이면 

 

확률 밀도 함수가 분리되며, 이것이 두 확률 변수의 관계가 독립임을 의미한다.