随机森林评价变量重要性可以无条件信任吗？

  很多生态环境类的文章会不加思考地利用随机森林对变量的重要性进行评价，似乎随机森林是万金油一般可以解决一切的变量重要性的问题，下面我们可以利用代码说明随机森林的局限之处。

1. 代码思路与实现：

• 生成三个自变量，x₁, x₂ ,x₃:每个自变量根据正态分布（mean = 0, sd = 1）随机生成100个数值;

x1 <- rnorm(100,mean = 0,sd = 1)
x2 <- rnorm(100,mean = 0,sd = 1)
x3 <- rnorm(100,mean = 0,sd = 1)
1
2
3

• 根据某一函数规则，将自变量转化为中间变量y₁, y₂, y₃。其中:
  y 1 = 1.2 x 1 + 0.3 y 2 = − x 2 2 + 0.8 x 2 + 0.2 y 3 = { 0.2 ( x 3 < 0.5 ) 2 x 3 + 0.2 ( x 3 ≥ 0.5 )
  \begin{aligned} &y_1 = 1.2x_1+0.3 \\ &y_2 = -x_2^2 + 0.8x_2 +0.2\\ &y_3=\left\{ \begin{aligned} &0.2 (x_3<0.5)\\ &2x_3+0.2(x_3\geq0.5) \\ \end{aligned}" role="presentation" style="position: relative;">\begin{aligned} &y_1 = 1.2x_1+0.3 \\ &y_2 = -x_2^2 + 0.8x_2 +0.2\\ &y_3=\left\{ \begin{aligned} &0.2 (x_3<0.5)\\ &2x_3+0.2(x_3\geq0.5) \\ \end{aligned}$$\text{begin{aligned} \&y\_1 = 1.2x\_1+0.3 \&y\_2 = -x\_2^2 + 0.8x\_2 +0.2 \&y\_3=left{ begin{aligned} \&0.2 (x\_3<0.5) \&2x\_3+0.2(x\_3geq0.5) end{aligned}}$$
  \right. \end{aligned} ​y1​=1.2x1​+0.3y2​=−x22​+0.8x2​+0.2y3​={​0.2(x3​<0.5)2x3​+0.2(x3​≥0.5)​​

y1 <- 1.2*x1+0.3
y2 <- -x2^2 + 0.8*x2 +0.5
y3 <- ifelse(x3<0.5,0.2,2*x3+0.2)
1
2
3

• 生成最终的因变量：$y=y_1+y_2+y_3$

y=y1+y2+y3
1

2. 自变量与因变量的统计关系

3. 利用随机森林评价变量重要性

library(randomForest)
rf <- randomForest(y~.,data=df,importance=TRUE,ntree=5000)
importance(rf, scale = TRUE)
1
2
3

随机森林得到的结果是 $x_3$ 最为重要。$x_1$与$x_2$的作用相差不大。

4. 生成机理的角度：$y_1$, $y_2$, $y_3$与$y$的关系

cor(y1,y)
[1] 0.4859979
cor(y2,y)
[1] 0.6067846
cor(y3,y)
[1] 0.6012034
1
2
3
4
5
6

可见，$y_2$与$y$的相关性最大，联系最为紧密，因此实际上$x_2$对$y$的影响最大，这与随机森林的结果并不一致。

5.统计关系的角度：$R^2$

随机森林得到的结果是 $x_3$ 最为重要，但$x_3$的$R^2$低于$x_1$的$R^2$，与随机森林的结果也不相符。

6. 结论

  虽然随机森林被广泛用于评价变量的重要性，但其结果并不一定能反映真实的变量重要性。理解过程的原理（专业知识确定自变量与因变量的函数关系，再利用统计方法来确定参数）依然是重中之重，不能过分依赖机器学习。随机森林可以作为探索数据的重要工具，但不能对其获得的结果无条件信任，或许其它机器学习算法应用于生态环境研究时也有同样的问题。

资源链接：随机森林评价变量重要性可以无条件信任吗？R分析与可视化代码