https://pgrer.net/freedom/100828
이전 글 “사람은 왜 랜덤을 인식하지 못하는가”를 요약해보자면,
1) 랜덤은 무작위이되 고르지 않다 (전기쥐님 감사합니다)
2) 사람은 자신의 가설들을 베이즈 정리에 따라 업데이트한다
3) 랜덤의 고르지 않은 속성은 2)에 따라 특정한 가설의 확률만 올려준다
4) 따라서 사람은 고르게 퍼져서 아무 가설도 강화하지 않는 상황이 진정한 랜덤이라고 착각한다

이렇게 되겠습니다. 여기에서 2) 사람은 자신의 가설들을 베이즈 정리에 따라 업데이트한다고 설명했는데, 더 나아가서 사람의 뇌 속에서 벌어지는 인식의 과정이 정확하게 베이즈 정리에 따른다는 이론이 인식에 대한 베이즈주의입니다. 사람이 경험을 바탕으로 자신의 인식을 업데이트한다는 것 자체는 그럴싸하지만, 그게 정확히 베이즈주의냐 아니냐는 논쟁거리 중 하나입니다. 위 글에 소금물님이 단 댓글 중 “베이즈 정리가 들어보면 매우 당연한 소리 같은데 그걸 제대로 하는게 참 어렵죠.”라는 내용이 있는데, 그만큼 사람들이 베이즈 정리를 잘 활용하지 못하는 모습을 보이기 때문입니다. 이는 단순한 실수 정도가 아니라 사람에게 있는 편향과 큰 관련이 있습니다.

이번 글에도 문제를 내 보겠습니다. 발견법과 행동경제학으로 유명한 트베르스키와 카네만의 연구에 나오는 질문입니다.

린다는 31세고, 독신이며, 자기 주장을 거침없이 말하며, 매우 활달하다. 대학에서 철학을 전공했다. 학생 시절 차별과 다른 사회 문제에 골몰했고, 반핵 운동에 참여했다.

1) 활동적으로 여성주의 운동에 참여한다. 2) 은행원이다. 3) 활동적으로 여성주의 운동에 참여하는 은행원이다.

이 주장들을 가능성이 높은 순으로 나열하십시오.

정답은 여러 가지가 가능하겠지만 뭐가 되었든 2)가 3)보다는 앞섭니다. 3)은 어쨌거나 은행원 중의 일부니까요. 그러나 적잖은 사람들이 2)보다 3)을 앞에 두었다고 합니다.

이런 현상을 대표성 발견법에 따른 오류라고 합니다.. 대표성 발견법은 대표적, 전형적이라고 생각하는 확률을 과대평가하는 발견법(휴리스틱)을 가리키는데, 물론 발견법인 만큼 유용하긴 하지만 특정 상황에서는 이처럼 틀리게 하는 원인이 됩니다. 그런데 이 대표성 발견법은 베이즈 정리와 정면으로 충돌하는 것같이 보입니다.

수학적으로는 대표성 발견법은 조건부 확률의 조건을 혼동하는 데에 원인이 있습니다. 위에 있는 조건을 A라고 하고, 1)은 B, 2)는 C라고 할게요. 그러면 이 문제는 A라는 조건 하에서 B의 확률은? 또는 B면서 C의 확률은? 하고 물어보는 것입니다. 그런데 사람은 A면 B라면, B면 A도 자동으로 맞겠지 하고 착각하기 쉽습니다.

이런 착각을 하면 B라는 조건에서 A의 확률은?과 B면서 C라는 조건에서 A의 확률은? 이라는, 비슷하지만 전혀 다른 문제의 확률을 생각하게 됩니다. 이때에는 B나 C가 얼마나 A를 잘 대표하느냐가 중요하고, 대표성 발견법은 정답을 골라내게 되죠.

조건부 확률에서 조건과 결과가 서로 뒤바뀔 때를 정확하게 풀어주려면 베이즈 정리를 이용해야 하는데, 이 뒤바뀔 때 고려해줘야 하는 것이 조건의 확률과 결과의 확률입니다. 예를 들어, “어떤 사람이 페이스북 알고리즘이 테러리스트로 지목되었다면, 무고한 사람일 확률은 얼마인가?”와 “어떤 사람이 무고한 사람이라면, 페이스북 알고리즘에서 테러리스트로 지목될 확률은 얼마인가?”는 비슷해 보이지만 조건과 결과가 뒤바뀌어 있습니다. 두 확률의 비는 결과가 일어날 확률과 조건이 일어날 확률의 비로, 결과를 H, 조건을 D라 하고 베이즈 정리를 써보면

P(H|D) = P(D|H)*P(H)/P(D)

P(H|D)가 조건 D에서 H의 확률, P(D|H)가 조건 H에서 D의 확률인데 이 둘을 전환하면 P(H)/P(D)가 곱해집니다. 이 확률을 기저 확률, 기저율이라고 하고, 대표성 발견법처럼 P(H)/P(D)를 무시하고

P(H|D) = P(D|H)

라고 가정하는 것을 기저율을 무시했다고 해서 기저율 무시의 오류라고 합니다. 페이스북 알고리즘의 테러리스트 판별 문제도 무고한 사람일 확률과 테러리스트로 지목될 확률 사이에 큰 차이가 있어서 기저율 무시의 오류가 큰 영향을 줍니다.

대표성 발견법은 베이즈 정리를 올바르지 못하게 사용하는 전형적인 발견법입니다. 이렇게 인간의 편향에 베이즈 정리를 벗어나는 오류가 있다는 점은 베이즈주의에 한 가지 논란을 일으킵니다.

“기저율 무시의 오류는 베이즈주의의 반례인가?”

얼핏 보면 그렇다고 생각할 수 있습니다만, 베이즈주의를 주장하는 쪽에서는 이런 추론에 동의하지 않습니다.

https://www.quora.com/Does-the-base-rate-fallacy-imply-that-our-brain-is-not-Bayesian

이 문제를 질문한 쿼라에 올라온 답변 하나를 번역해볼게요.

“그러나 사람들이 뇌가 베이즈주의적이라고 할 때에는 뇌가 백분율과 연관된 수학 단어 문제를 푸는 능력을 말하는 것이 아니고, 직접 경험에서 직관적인 추론을 하는 능력을 말하는 것이다.

네가 경찰관이라고 하고 1000번 음주 측정을 했다고 하자. 너는 개인적으로 51번 양성이었음을 겪었는데, 이어지는 측정에선 1번만이 진짜 양성이라고 나왔다. 네 감각으로는 이 측정은 매우 못 미덥고 이 측정 결과가 양성이라고 하면 거의 다 잘못되었다고 할 것이다. 너는 일반적으로 이 이 테스트를 믿지 않을 것이고 매우 의심스럽게 여길 것이다. 이런 관점은 너의 관찰 경험에서 나온 베이즈 통계에서 형성된 너의 '직관'에서 나온 것이다.”

또 한 가지 기저율 무시의 오류에서 짚고 넘어가야 할 점은, 이것이 항상 일어나는 현상이 아니고, 문제를 제시하는 방법에 따라 달라진다는 점입니다. 그렇다면 기저율 무시가 반드시 베이즈주의의 반례라고 속단하기에는 이릅니다. 다른 경로를 통해 베이즈주의적인 직관이 생겨났고, 이 직관들이 모이고 모이다 보니 기저율 무시라는 직관이 나중에 생겨났을 수도 있으니까요.

여러분의 생각은 어떠신가요? 미시적인 베이즈주의적 판단이 모여서 거시적으로 베이즈주의에서 벗어난 것처럼 보이는 걸까요? 아니면 정말로 뇌의 기반이 베이즈주의가 아닌 걸까요?

참고 문헌
https://medium.com/@uxdaysseoul/%EB%8C%80%ED%91%9C%EC%84%B1-%ED%9C%B4%EB%A6%AC%EC%8A%A4%ED%8B%B1-representativeness-heuristic-8393d57a9a65
https://en.wikipedia.org/wiki/Representativeness_heuristic
아모스 트베르스키, 다니엘 카네만, Extensional vs. Intuitive Reasoning: The Conjunction Fallacy in Probability Judgment, Psychological review 90.4 (1983): 293 https://apps.dtic.mil/sti/pdfs/ADA131801.pdf
조지 월포드, 홀리 A. 테일러, J. 로버트 벡, The conjunction fallacy? Mem Cogn 18, 47–53 (1990) https://link.springer.com/article/10.3758/BF03202645
조던 앨런버그, 《틀리지 않는 법: 수학적 사고의 힘》