1. 정보 이론의 기초

양자 정보를 공부하기 전에 고전적 정보 이론의 기초에 대해 아주 간단하게 살펴봅시다.

여기서 설명할 고전적 정보이론이란 양자 컴퓨터에서 사용되는 정보 처리와의 구분하기 위해 사용된 용어로

우리에게 익숙한 정보처리 방식을 말합니다.

---

고전적 정보 개념

고전적 정보는 0 또는 1, 즉 이진수를 사용합니다.

고전컴퓨터에서 각각의 상태는 전압이 0v인 상태(이진수 0)와 5v인 상태(이진수 1)로 이를 나타낼 수 있습니다.

십진수	이진수
0	00
1	01
2	10
3	11

십진수 0~3을 이진수로 표현하려면 최소한 2비트가 필요합니다.

만약 0부터6까지의 수를 이진수로 표현하려면 2비트로는 모두 표현할 수 없습니다.

따라서 3비트가 필요하고 3비트는 0부터7까지의 수를 이진수로 표현할 수 있습니다.

따라서 m가지 다른 상태를 나타내기 위해서 n비트가 필요하다고 할 때 아래와 같은 부등식이 성립합니다.

반대로 m이라는 메세지를 받았을 때는 이 메세지가 담고 있는 정보량은 밑이 2인 로그를 취함으로써 얻을 수 있습니다.

즉, n비트로 2^n개의 메세지를 저장할 수 있음을 뜻합니다.

---

엔트로피와 섀넌의 정보이론

Claude Shannon

클로드 섀년(Claude Elwood Shannon)은 미국의 수학자이자 전자공학자로, 정보 이론의 아버지라고 알려져있습니다.

섀넌이 제시한 정보 추정방법이 이와 같습니다.

"제시된 정보의 발생 가능성이 얼마나 되는가?"

정보의 발생 가능성을 통해 얼마나 많은 정보를 알아 낼 수있는지에 대한 통찰이었습니다.

 

• 발생가능성이 작은 정보는 정보량의 값이 크다.
• 발생가능성이 높은 정보는 정보량의 값이 작다.

위의 정리를 이해하기 쉽게 예를 들어봅시다.

지진이 자주 일어나는 A라는 도시가 있고, 지난 100년동안 지진이 일어나지 않은 B라는 도시가 있다고 합시다.

A라는 도시는 지진이 자주 일어났기에 지진에 대한 대비가 B도시에 비해서는 잘되어있을 것입니다.

만약 내일 A도시에 지진이 일어난다는 정보가 있다고 합시다.

이는 지진이 자주 일어나는 A도시 사람들에게 그다지 큰 정보가 아닐 것입니다.

반면에 내일 B도시에 지진이 일어난다는 정보가 있다고 합시다.

이 정보는 B도시 사람들에게는 아주 큰 정보일 것입니다.

 

정보량을 I, 정보 발생확률을 p라고 했을 때 섀넌은 이를 아래와 같은 식으로 정량화 했습니다.

정보의 발생 확률이 크다면 I가 작아지는 반면, 정보의 발생확률이 작다면 I는 커지게 됩니다.

발생확률이 99.5%인 정보와 0.5인 정보의 정보량의 값은 아래와 같습니다.

다음으로는 섀넌의 엔트로피(entropy)에 대해 살펴봅시다.

엔트로피란 물리학에서 무질서도를 측정하는 양입니다.

섀넌은 정보의 불확실성을 엔트로피를 이용해 표현했습니다.

어떤 랜덤변수 X(x1,x2,...,xn)이 확률변수 P(p1,p2,...,pn)을 갖는다고 할 때 

X에 대한 섀넌의 엔트로피는 아래와 같이 정의합니다.

1,2,3을 이용해 정보를 보내는 예시를 생각해봅시다.

항상 1만 전송하는 111111111111...과 같은 정보가 있다고 합시다.

이때는 1이 나올 확률이 1이고, 2와3이 나올 확률은 0입니다.

그렇다면 아래와 같이 엔트로피를 계산할 수 있습니다.

다음으로는 1,2가 나올 확률이 같고 3이 나오는 확률은 없을 때를 생각해 봅시다.

이때 엔트로피는 아래와 같습니다.

마지막으로 1,2,3이 나오는 확률이 모두 같은 경우를 생각해 봅시다.

이때 엔트로피는 아래와 같습니다.

다음에 나올 숫자의 불확실성이 커질수록 엔트로피가 커지는 것을 볼 수 있습니다.

• 다음 나올 정보가 확실 하다면 섀년의 엔트로피는 0이다
• 다음 나올 정보가 불확실 할 수록 섀넌의 엔트로피 값은 커진다.

즉, 섀넌의 엔트로피 값이 증가할 수록 불확실성이 증가하고, 엔트로피 값이 감소할 수록 불확실성이 감소합니다.

 

아주 간단하게 정보 이론에 대해 살펴보았습니다.

다음 포스팅부터 양자 정보처리의 이해를 위한 선형대수

양자 상태를 다루는 방법과 필요한 표기법에 대해 공부해보도록 하겠습니다. 

 

긴글 읽어주셔서 감사합니다.