Série 3.3

Exercice 3.1

• a) On s'attend à une distribution de k-grammes bimodale et équirépartie, donc à une entropie d'ordre k H_k égale à log(2) = 1 bit. L'entropie conditionnelle d'ordre k sera donc égale à 1 bit pour k = 1 (h₁ = H₁), et nulle pour k > 1. De même, l'entropie résiduelle d'ordre k vaudra 1 bit pour k = 1 (d₁ = h₁ - h₂ = 1 - 0 = 1 ) et 0 sinon.

• b) La distribution des symboles sera ici encore bimodale et équirépartie: H₁ = h₁ = 1 bit. A partir de k = 2, les distributions de k-grammes sont à 4 modalités (toujours équiréparties), et l'on a H₂ = H₃ = ... = log(4) = 2 bits. On en déduit que h₂ = 2 - 1 = 1 bit, et h₃ = h₄ = ... = 0. Enfin, on obtient d₁ = 1 - 1 = 0, d₂ = 1 - 0 = 1 bit, et d₃ = d₄ = ... = 0.

• c) Ce dernier cas s'avère très similaire au premier. On a, pour tout k positif, des distributions de k-grammes à 3 modalités et équiréparties, d'où h₁ = H₁ = H₂ = ... = log(3) = 1.58 bits. On trouve également h₂ = h₃ = ... = 1.58 - 1.58 = 0. Enfin, on a d₁  = 1.58 - 0 = 1.58 bits, et d₂  = d₃  = ... = 0.