계산

정보량 (엔트로피 H)

H = -Σ(P log₂ P)

핵심 개념

정보량은 결과의 불확실성을 비트 단위로 나타내며, 동일한 확률의 사건이 N개일 때 다음처럼 계산함

I=log⁡2NI = \log_2 N

사건의 확률이 서로 다르면 엔트로피는 각 확률의 로그 항을 합산함

H=−∑ipilog⁡2piH = -\sum_i p_i \log_2 p_i

계산 기준

핵심 검산

  • 동일확률 대안 64개: log₂64 = 6 bit → 2021년 8월 시험 26번 1번
  • 4지택일 문제: log₂4 = 2 bit → 2018년 4월 시험 40번 1번
  • 신호등 확률 0.5, 0.25, 0.25: H = 1.5 bit → 2019년 4월 시험 28번 4번

로그의 밑이 2이므로 단위는 bit임 · byte로 바꾸려면 8 bit가 필요하지만, 기출문항은 bit를 물음

시험 판단 기준

  • 동일확률이면 가능한 결과 수의 밑 2 로그를 취함
  • 서로 다른 확률이면 각 확률과 로그의 곱을 합산함
  • 정보량과 엔트로피를 모두 bit 단위로 읽음

시험 포인트

문제에서 보이는 키워드정답으로 연결
동일확률 N개I=log⁡2NI = \log_2 N
서로 다른 확률H=−∑ipilog⁡2piH = -\sum_i p_i \log_2 p_i
동일확률 64개6bit
4지택일2bit
확률 0.5·0.25·0.251.5bit
로그의 밑2 · 단위는 bit

자주 틀리는 포인트

  • 64를 그대로 정보량으로 쓰지 않음
  • 4지택일의 정보량을 4 bit나 4 byte로 바꾸지 않음
  • 확률의 합이 1인지 확인한 뒤 엔트로피를 계산함

기출 출제 이력

아래 기출은 위에서 정리한 개념이 실제 시험에서 어떻게 출제됐는지 확인하기 위한 근거 자료입니다.

수록 기출 3문항 · 3개 시험 회차 · 2018~2021년

출제 경향 — 수록 기출 3문항이 전체 14개 회차 중 3개 회차에서 확인되며, 동일확률 정보량과 불균등 확률 엔트로피를 밑 2 로그와 bit 단위로 계산함

기출문제
문항을 불러오는 중입니다.

    관련 챕터