Bayesian Decision Theory
Bayesian Decision Theory (베이지안 결정 이론)은 패턴 인식을 위한 통계적 접근 방법이다. 베이즈가 제시한 통계적 방법을 통해 의사 결정을 하는 방법이다. 전통적 통계 방식은 통계적 추리를 할 때 표집으로 얻은 정보 만 사용한다. 베이지안 확률이 전통적 통계 방식과 다른 점은 학습자가 기존에 가지고 있는 사전 정보를 활용한다는 것이다. 불확실한 상황에서 통계적으로 얻은 정보를 가지고 의사 결정을 해야 하는 경제학, 경영학 등 여러 분야에서 많이 사용된다.
간단한 예를 들어보자.
어느 외딴 섬에서 빨간 열매와 검은 열매가 동시에 열리는 나무를 발견하였다. 나무를 관찰한 결과 열매는 하루에 한 개의 꼴로 열매가 열리는 것을 확인하였고, 현재 나무에는 빨간 열매가 3개, 검은 열매가 7개 열려있다. 그렇다면 내일은 어떤 열매를 얻을 수 있을까?
현재 주어진 정보를 통해 알 수 있는 것은 빨간 열매와 검은 열매가 열려 있는 수 외의 추가 정보를 확보하지 못하였다. 이와 같이 특정 사건이 일어날 것에 대한 추가 정보를 획득하지 못한 확률을 선험적 확률(prior probability)라고 한다.
위의 예시에서의 선험적 확률은 다음과 같이 정의할 수 있다.
일반적인 상황에서 전체 상황의 선험적 확률의 합은 1이다.
Prior 정보만 알고 있는 상황에서 내일 열릴 열매를 예측하면 다음과 같은 식을 세울 수 있다.
현재 주어진 상황에서 보면 가장 합리적인 상황이라고 볼 수 있다. 하지만 실제 상황에서는 이렇게 간단하게 예측하기는 힘들다. prior 정보가 항상 같은 상황(uniform)일 수도 있고, 여러 외부 요인에 의해 확률 정보가 달라질 수도 있기 때문이다. 여러 외부요인이 결과에 미치는 영향을 계산하기 위해 현재 결과에서 찾을 수 있는 특징요소를 만든다. 찾은 특징 요소를 가지고 특징 공간(feature space)를 만들어 의사결정을 하게된다. 이 때 특징의 갯수에 따라 특징 공간의 차원이 결정된다. 
위의 상황에서 예를 들어보자. 열매가 열리는 상황을 잘 분석해 보니 온도에 따라 열리는 열매가 달라지는 것을 확인하였다. 관찰한 결과 검은색 열매와 빨간색 열매가 열리는 날의 온도를 측정하였더니 빨간색 열매는 비교적 낮은 온도일때, 검은색 열매는 비교적 높은 온도일 때 열리는 것을 확인하였다. 즉, 열매가 열리는 특징을 온도로 생각하고 분석하니 다음과 같은 결과를 얻었다.
이러한 정보를 알고 있을 때 의사 결정은 새로운 정보를 획득하여 획득한 정보를 통해 사전 정보를 가지고 알 수 있을 것이다. 이러한 확률 계산 방식을 사후 확률(posterior probability)라고 한다. 특징을 찾을 때 상황에 더 알맞는 좋은 특징을 많이 찾을 수 있다면 더 좋은 의사결정을 할 수 있을 것이다. 우리가 알고 싶은 정보 
이를 통해 내일 열릴 열매의 색깔은 다음과 같이 표현할 수 있다.
Posterior를 최대화 함으로써 선택할 수 있는 확률의 에러값은 최소가 된다.
의사 결정은 사전 확률과 사후 확률 두 정보 모두에 의존적이고, Bayesian 의사 결정은 두 정보를 결합하여 선택 확률 오류값을 최소화한다.
Bayesian Decision Theory를 이용해 선택 영역을 결정하는 프로그램을 예시로 들어보자.
데이터는 아래 그림과 같이 임의의 2차원 데이터가 3개의 그룹으로 나누어져 있다. 이 때 특정 영역이 어느 그룹에 속하는 것이 가장 합리적일지 결정하려고 할 때 Bayesian Decision Theory를 사용하였다. Prior 값은 각 그룹의 데이터의 갯수를 전체 데이터의 갯수로 나누어 구하였다.
1 - 3개의 그룹으로 나누어진 2차원 데이터
2 - 데이터 영역 계산
출처 : 교육학용어사전, 서울대학교 교육연구소, 1995. 6. 29., 하우동설,
https://www.cse.buffalo.edu/~jcorso/t/CSE555/files/lecture_bayesiandecision.pdf