[size=100] 以下是第一张图片，在此图片中，包含的信息量3张下雨图，1张下雪图和1张刮风图。[/size]

[size=100] 所以，各天气情况出现的概率是：[br][/size][size=100] 按照信息熵的计算公式可得：下雨：[math]p_1=\frac{3}{5}[/math]，下雪：[math]p_2=\frac{1}{5}[/math]，刮风：[math]p_3=\frac{1}{5}[/math][br][/size] 那这张图片所包含的信息量，按照信息熵的计算公式可得：[br] [math]H=-\frac{3}{5}log\left(\frac{3}{5}\right)-\frac{1}{5}log\left(\frac{1}{5}\right)-\frac{1}{5}log\left(\frac{1}{5}\right)=0.9502[/math][br][br] 在第二张图中，包含的信息量是3张下雨图，2张下雪图，没有刮风图。

[size=100] 所以，各天气情况出现的概率是：[br][/size][size=100] 按照信息熵的计算公式可得：下雨：[math]p_1=\frac{3}{5}[/math]，下雪：[math]p_2=\frac{2}{5}[/math]。[br][/size] 那这张图片所包含的信息量，按照信息熵的计算公式可得：[br] [math]H=-\frac{3}{5}log\left(\frac{3}{5}\right)-\frac{2}{5}log\left(\frac{2}{5}\right)=0.673[/math][br][br] 在第三张图中，包含的信息量是5张下雨图，[size=100]没有下雪图，也没有刮风图。[/size]

[size=100] 所以，各天气情况出现的概率是：[br][/size][size=100] 按照信息熵的计算公式可得：下雨：[math]p_1=\frac{5}{5}[/math][size=100][size=100]。[/size] [br] 那这张图片所包含的信息量，按照信息熵的计算公式可得：[/size] [math]H=-\frac{5}{5}log\left(\frac{5}{5}\right)=0[/math][/size][br] [br][br] 在这个启发案例中，可以有一个对信息熵的初步认知，即信息越混乱，信息熵越大。同理，数据越纯净，信息熵就越小，当所有的样本只有一种类别的时候，信息熵就为零，即信息的确定性最大。[br] [br] 信息熵在机器学习、自然语言处理及图像处理中都有着广泛的应用，用来衡量数据的不确定性和纯度，是人工智能学习的一个重要概念。[br][br] [color=#0000ff][b][url=https://www.geogebra.org/m/c9zduzbg]返回[/url][icon]/images/ggb/toolbar/mode_zoomin.png[/icon][/b][/color]