信息熵是信息论中的一个重要概念. 设随机变量 X 所有可能的取值为 1, 2, … , n, 且 P (X = i) = pi >0 (i = 1, 2, …, n), =1, 定义 X 的信息熵 H(X) = −log2 pi.【 】
A、若 n = 1, 则 H(X) = 0
B、若 n = 2, 则 H(X) 随着 p1 的增大而增大
C、若 pi = 1/n (i = 1, 2, … , n), 则 H(X) 随着 n 的增大而增大
D、若 n = 2m, 随机变量 Y 所有可能的取值为 1, 2, … , m, 且 P (Y = j) = pj + p2m+1−j (j = 1, 2, … , m), 则 H(X) ⩽ H(Y )