계산

정보량 (엔트로피 H)

H = -Σ(P log₂ P)

핵심 개념

정보량은 결과의 불확실성을 비트 단위로 나타내며, 동일한 확률의 사건이 N개일 때 다음처럼 계산한다.

$I = \log_2 N$

사건의 확률이 서로 다르면 엔트로피는 각 확률의 로그 항을 합산한다.

$H = -\sum_i p_i \log_2 p_i$

핵심 검산

동일확률 대안 64개: log₂64 = 6 bit → 20210814_026 1번
4지택일 문제: log₂4 = 2 bit → 20180428_040 1번
신호등 확률 0.5, 0.25, 0.25: H = 1.5 bit → 20190427_028 4번

로그의 밑이 2이므로 단위는 bit다. byte로 바꾸려면 8 bit가 필요하지만, 연결 문항은 bit를 묻는다.

시험 판단 기준

동일확률이면 가능한 결과 수의 밑 2 로그를 취한다.
서로 다른 확률이면 각 확률과 로그의 곱을 합산한다.
정보량과 엔트로피를 모두 bit 단위로 읽는다.

자주 틀리는 포인트

64를 그대로 정보량으로 쓰지 않는다.
4지택일의 정보량을 4 bit나 4 byte로 바꾸지 않는다.
확률의 합이 1인지 확인한 뒤 엔트로피를 계산한다.

연결 기출 근거

세 연결 문항은 동일확률 정보량과 불균등 확률 엔트로피를 각각 묻는다. 로그 밑과 확률을 문제 조건 그대로 적용하면 정답을 재현할 수 있다.

기출 출제 이력

2018~2021년 기출 3회 · 3개 연도

관련 챕터