개념 한 쪽
인간공학기사 정보량 — log₂N과 평균 정보량
정보량 계산은 경우의 수를 이진 로그로 바꾸는 일에서 시작해, 확률이 서로 다른 사건의 평균으로 확장된다. 이 카드에서는 대안이 같은 확률일 때의 식, 8가지 상태가 주는 비트 수, 확률이 다를 때의 평균 정보량 계산, 그리고 확률 분포가 달라질 때 정보량이 줄어드는 정도를 본다.
이 개념을 문제로 확인하고 싶으면 이 개념 문제 10개 풀기 회원용
가입 없이 오늘의 10문제 바로 풀기 →
뜻
실현 가능성이 같은 N개의 대안이 있으면 총 정보량은 H=log₂N으로 계산한다. 계기판 등이 8개 있고 그중 하나만 켜지는 경우라면 경우의 수가 8이므로 log₂8, 곧 3비트가 된다.
확률이 서로 다르면 각 사건의 정보량을 확률로 가중해 더한다. 어떤 사건의 정보량은 I=-log₂P이고, 평균 정보량(엔트로피)은 H=Σ P·log₂(1/P)로 구한다. 붉은 공 0.25, 검은 공 0.125, 흰 공 0.5처럼 추출 확률이 주어진 경우에도 각 확률에 그 사건의 정보량을 곱해 모두 더하는 방식이 그대로 쓰인다.
확률이 한쪽으로 치우치면 평균 정보량은 줄어든다. 발생 확률이 0.1과 0.9로 다른 두 사건은 0.5와 0.5로 같은 두 사건에 비해 정보량이 약 53% 감소한다. 동전던지기처럼 앞면 0.4, 뒷면 0.6으로 확률이 갈리는 경우에도 앞면의 정보량과 뒷면의 정보량을 각각 구한 뒤 확률을 곱해 합산한다.
예제
선지 판단은 대안이 같은 확률일 때 H=log₂N을 쓰는지, 8가지 상태를 3비트로 계산하는지, 확률이 다른 사건에 I=-log₂P와 확률 가중 합을 적용하는지, 확률이 치우치면 평균 정보량이 줄어든다고 보는지에서 갈린다. 경우의 수와 확률 가중을 맞게 연결한 선지가 맞고, 8가지 상태를 8비트로 두거나 확률이 치우칠수록 정보량이 커진다고 한 선지는 어긋난다.
자주 묻는 물음
- 대안이 같은 확률일 때 정보량은 어떻게 구하나요?
- H=log₂N입니다. 대안의 수 N을 밑이 2인 로그로 취합니다.
- 계기판 등 8개 중 하나만 켜질 때 정보량은 얼마인가요?
- log₂8이므로 3비트입니다. 경우의 수가 8개인 상태를 구별하는 정보량입니다.
- 확률이 다를 때 평균 정보량은 어떻게 구하나요?
- 각 사건의 정보량 I=-log₂P를 구한 뒤 그 확률을 곱해 모두 더합니다. 확률이 치우치면 평균 정보량은 줄어들며, 0.1과 0.9인 두 사건은 0.5와 0.5인 경우보다 약 53% 감소합니다.
인간공학기사 풀이 세트에서 이 개념의 문제 10개를 바로 풀어 보세요.