Entropia da Informação - Shannon

Resolução de Questão do concurso público para Oficial Técnico de Inteligência na Agência Brasileira de Inteligência - ABIN - Prova Cebraspe/2018

1. [email protected]

2. [email protected]

3. Enunciado ABIN/2018 Cebraspe
Considerando1;6como valor aproximado paralog
23, julgue os próximos itens, a
respeito de entropia na teoria da informação.
131.
distância de duas distribuições de um conjunto de dados, uma correta e outra
incorretamente assumida, e é sempre um número positivo.
132.A entropia de um dado honesto é igual a3;6.

4.



Teoria da Informação
A Teoria da Informação dá um tratamento matemático (ou quantitativo)
rigoroso a medidas de informação, suas propriedades e aplicações em vários
ramos do conhecimento. Foi desenvolvida inicialmente emtelecomunicações
por Claude E. Shannon.
A medida chave em teoria da informação é aentropia. A entropia quantica
a quantidade de incerteza envolvida no valor de uma variável aleatória ou na
saída de um processo aleatório.

5. Entropia de Shannon
132. fx1; x2; : : : ; xngem quepi=
1
n
é a probabilidade
associada axi. Partindo da denição de entropia de Shannon:
H
S
(p1; p2; : : : ; pn) =
n
X
i=1
pilogpi=
n
X
i=1
pi

log
2
1
n

=

log
2
1
n




7
1
n
X
i=1
pi=log
2

n
1

= log(n)
Portanto para um dado honesto,
=f1;2;3;4;5;6g )pi=
1
6
; i= 1;2; : : : ;6:
H
S
= log
26 = log
223 = log
22 + log
23 = 1 + 1;6 = 2;6bits<3;6:

6. GABARITO ABIN/2018 Cebraspe
Considerando1;6como valor aproximado paralog
23, julgue os próximos itens, a
respeito de entropia na teoria da informação.
131.
distância de duas distribuições de um conjunto de dados, uma correta e outra
incorretamente assumida, e é sempre um número positivo.
132.A entropia de um dado honesto é igual a3;6:)ERRADO!