[딥러닝을 위한 수학] CHAPTER 2. 확률 1부

2.1 기본 개념들

• 확률 : 어떤 일이 일어날 가능성을 [0, 1] 사이의 수치로 표현한 것

2.1.1 표본 공간과 사건

• 표본 공간(sample space) : 주어진 한 사건의 모든 가능한 결과(outcome)를 나타내는 이산 집합(discrete set) 또는 연속 구간(continuous range)
• 개별 사건 : 표본 공간에서 뽑은 하나의 표본(sample)
• 가능도(likelihood) : 어떠한 사건이 일어날 가능성이 어느 정도인지를 나타내는 값

2.1.2 확률 변수

• 확률 변수(random variable) : 해당 표본 공간에서 하나의 값을 특정한 확률로 취하는 변수
  • 이산 확률 변수(discrete random variable) : 표본 공간이 이산적인 경우, $X$로 표기함
  • 연속 확률 변수(continuous random variable) : 표본 공간이 연속적인 경우, $x$로 표기함

2.1.3 인간은 확률에 약하다

2.1.3.1 몬티 홀 딜레마

• 세 문 중 하나에만 자동차가 존재함
• 참가자가 세 문 중 하나를 고르면, 몬티 홀은 자동차가 없고 참가자가 고르지 않은 두 문 중 하나를 염 → 문을 바꾸는게 이득, 안 바꾸는게 이득?
  • 문을 바꾸지 않는다면, 차를 얻을 확률은 1/3
  • 문을 바꾼다면, 차를 얻을 확률은 2/3

2.1.3.2 암 진단

• 유방조영상 사진 진단 결과가 양성인 40대 여성이 실제로 유방암을 가지고 있을 확률
• 세 가지 정보가 주어져 있음
  • 무작위로 선택한 40대 여성의 유방함 보유 확률은 0.8%(1000명 중 8명)
  • 유방암이 있는 여성의 유방조영상 진단이 양성일 확률은 90%
  • 유방암이 없는 여성의 유방조영상 진단이 양성일 확률은 7%
• 8 * 0.9 = 7.2, 992 * 0.07 = 69.4, 즉 유방조영상 진단이 양성인 여성은 76명
• 따라서, 유방조영상 진단이 양성일 때 실제로 유방암이 있을 확률은 7/76 = 0.092

2.2 확률의 법칙들

2.2.1 단일 사건의 확률

• 표본 공간의 임의의 사건 $A$에 대해

  \[0 \leq P(A) \leq 1\]

• 표본 공간의 모든 사건 $A_i$에 대해

  \[\sum_i{P(A_i)} = 1\]

• 사건 $A$가 발생할 확률이 $P(A)$라고 할 때, 그 사건이 발생하지 않을 확률

  \[P(\bar{A}) = 1 - P(A)\]

2.2.2 합의 법칙

• 상호 배반(mutually exclusive) : 하나가 발생하면 다른 하나는 발생하지 않을 때

• 합의 법칙(sum rule) : 둘 이상의 상호 배반 사건들에 대해, 두 사건 중 하나라도 발생할 확률

  \[P(A \cup B) = P(A) + P(B)\]

2.2.3 곱의 법칙

• 곱의 법칙(product rule) : A 그리고 B가 발생할 확률

  \[P(A \cap B) = P(A)P(B)\]
  • 위 식은 서로 독립인 사건들에 적용되는 법칙이라는 것을 유의

2.2.4 합의 법칙 보충

• 사건들이 상호 배반이 아닌 경우

  \[P(A \cup B) = P(A) + P(B) - P(A \cap B)\]

2.2.5 생일 역설

• 한 방에 있는 사람 중 생일이 같은 사람이 적어도 두 명일 확률이 50%를 넘으려면 방에 최소 몇 명의 사람이 있어야 하는지
  • 그 어떤 쌍도 생일이 같지 않을 확률이 50% 미만이려면 방에 몇 명이 있어야 하느냐는 관점에서 접근

• n개의 쌍이 모두 생일이 다를 확률

  \[P(\text{모두 생일이 다름}) = (\frac{364}{365})^n\]

• n이 253 이상일 시, 적어도 한 쌍은 생일이 같을 확률이 50%를 넘으므로 필요한 사람 수는 다음과 같음

  \[\binom{23}{2} = \frac{23!}{2!(21!)} = 253\]

2.2.6 조건부 확률

• 조건부 확률(conditional probability)

  • $P(B

    A)$

  • 사건 A가 발생했다고 할 때 사건 B의 확률

• 두 사건이 종속인 경우 곱의 법칙

  \[P(A \cap B) = P(B|A)P(A)\]

2.2.7 전체 확률

• 모든 분할에 관한 한 사건의 확률

  \[P(A) = \sum_i{P(A|B_i)P(B_i)}\]

2.3 결합 확률과 주변 확률

• 결합 확률(joint probability)
  • $P(X=x,Y=y)$
  • $X$의 값이 $x$임과 동시에 $Y$의 값이 $y$일 확률
• 주변 확률(marginal probability) : 하나 이상의 조건이 참일 확률을 그 밖의 조건들의 참, 거짓 여부는 신경 쓰지 않고 계산한 것

2.3.1 결합 확률표

• 분할표(contingency table)

  	색맹	비색맹	합계
  남성	42	456	498
  여성	3	499	502
  합계	45	955	1000

• 결합 확률표(joint probability table)

  	색맹	비색맹	합계
  남성	0.042	0.456	0.498
  여성	0.003	0.499	0.502
  합계	0.045	0.955	1.000

2.3.2 확률의 연쇄 법칙

• 확률 변수 $n$개의 결합 확률을 위한 연쇄법칙의 일반형

  \[P(X_n,X_{n-1},\dots,X_1) = \prod^n_{i=1}(X_i|\bigcap^{i-1}_{j=1}X_j)\]