数值分析复习：误差

本篇文章适合个人复习翻阅，不建议新手入门使用
本专栏：数值分析复习 的前置知识主要有：数学分析、高等代数、泛函分析

定义：截断误差、舍入误差
当数学模型不能得到精确解时，通常要用数值方法求它的近似解，其近似解与精确解之间的误差称为截断误差（或方法误差）
用计算机做数值计算时，由于计算机字长有限，原始数据在计算机上表示时会产生误差，计算过程又可能产生新的误差，这种误差称为舍入误差。

以下介绍舍入误差的相关概念
定义：绝对误差、相对误差
称准确值 $x$ 和近似值 $x^{\ast }$ 之差 $e^{\ast }=x^{\ast }-x$ 为绝对误差，称 $e_r^{\ast }=\frac{x^{\ast }-x}{x}$ 为相对误差
称绝对误差上界为（绝对）误差限，记为 ${\epsilon }^{\ast }$，相对误差上界称为相对误差限，记为 ${\epsilon }_r^{\ast }$

注1：绝对误差和误差限是有量纲的，相对误差和相对误差限是无量纲的。
注2：在实际计算中，由于真值 $x$ 总是不知道的，通常取 $\frac{x^{\ast }-x}{x^{\ast }}$ 作为相对误差

当准确值 $x$ 有多位数时，常常按四舍五入的原则得到 $x$ 的前几位近似值 $x^{\ast }$，例如
$$x=\pi =3.14159265\cdots$$

取三位：$x_3^{\ast }=3.14,{\epsilon }_3^{\ast }\le 0.002$
取五位：$x_5^{\ast }=3.1416,{\epsilon }_5^{\ast }\le 0.000008$

它们的误差都不超过末位数字的半个单位，即
$$|\pi -3.14|\le \frac{1}{2}\times 10^{-2},|\pi -3.1416|\le \frac{1}{2}\times 10^{-4}$$

定义：有效数字
若近似值 $x^{\ast }$ 的误差限是某一位的半个单位，该位到 $x^{\ast }$ 的第一位非零数字共有 $n$ 位，则称 $x^{\ast }$ 有 $n$ 位有效数字，它可表示为
$$x^{\ast }=\pm 10^m\times (a_1+a_2\times 10^{-1}+\cdots +a_n\times 10^{-(n-1)})$$

其中 $a_i(i=1,2,\dots ,n)$ 是 0 到 9 中的一个数字，$a_1\ne 0$，$m$ 为整数，且
$$|x-x^{\ast }|\le \frac{1}{2}\times 10^{m-n+1}$$

定理：有效数字和误差限的关系
设近似数 $x^{\ast }$ 表示为
$$x^{\ast }=\pm 10^m\times (a_1+a_2\times 10^{-1}+\cdots +a_l\times 10^{-(l-1)})$$

其中 $a_i(i=1,2,\dots ,l)$ 是 0 到 9 中的一个数字，$a_1\ne 0$，$m$ 为整数

若使 $x^{\ast }$ 具有 $n$ 位有效数字，则绝对误差限为
$${\epsilon }^{\ast }=\frac{1}{2}\times 10^{m-n+1}$$

相对误差限为
$${\epsilon }_r^{\ast }\le \frac{1}{2a_1}\times 10^{-(n-1)}$$

反之，若 $x^{\ast }$ 的相对误差限 ${\epsilon }_r^{\ast }\le \frac{1}{2(a_1+1)}\times 10^{-(n-1)}$，则 $x^{\ast }$ 至少有 $n$ 位有效数字

证明
由有效数字的定义，绝对误差限是显然的

由于 $$a_1\times 10^m\le |x^{\ast }|<(a_1+1)\times 10^m$$

当 $x^{\ast }$ 具有 $n$ 位有效数字时，
$${\epsilon }_r^{\ast }=\frac{|x-x^{\ast }|}{|x^{\ast }|}\le \frac{0.5\times 10^{m-n+1}}{a_1\times 10^m}=\frac{1}{2a_1}\times 10^{-n+1}$$

反之，由
$$|x-x^{\ast }|=|x^{\ast }|{\epsilon }_r^{\ast }<(a_1+1)\times 10^m\times \frac{1}{2(a_1+1)}\times 10^{-n+1}=0.5\times 10^{m-n+1}$$

故 $x^{\ast }$ 至少具有 $n$ 位有效数字

注：该定理说明，有效位数越多，绝对误差限和相对误差限就越小

命题：四则运算的误差
设两个近似数 $x_1^{\ast },x_2^{\ast }$ 的误差限分别为 $\epsilon (x_1^{\ast }),\epsilon (x_2^{\ast })$，则

1. $\epsilon (x_1^{\ast }\pm x_2^{\ast })\le \epsilon (x_1^{\ast })+\epsilon (x_2^{\ast })$
2. $\epsilon (x_1^{\ast }{x}_2^{\ast })\le |x_1^{\ast }|\epsilon (x_2^{\ast })+\epsilon (x_1^{\ast })|x_2^{\ast }|$
3. $\epsilon (x_1^{\ast }/x_2^{\ast })\le \frac{|x_1^{\ast }|\epsilon (x_2^{\ast })+\epsilon (x_1^{\ast })|x_2^{\ast }|}{|x_2^{\ast }{|}^2},x_2^{\ast }\ne 0$

命题：一元可微函数的误差
设 $f(x)$ 是一元可微函数，$x$ 的近似值为 $x^{\ast }$，以 $f(x^{\ast })$ 近似 $f(x)$，其误差界记作 $\epsilon (f(x^{\ast }))$，由Taylor展开，
$$f(x)-f(x^{\ast })=f^{\prime }(x^{\ast })(x-x^{\ast })+\frac{f^{\prime \prime }(\xi )}{2}(x-x^{\ast }{)}^2$$

其中 $\xi$ 介于 $x,x^{\ast }$ 之间，取绝对值得
$$|f(x)-f(x^{\ast })|\le |f^{\prime }(x^{\ast })|\epsilon (x^{\ast })+\frac{|f^{\prime \prime }(\xi )|}{2}{\epsilon }^2(x^{\ast })$$

假设 $\frac{f^{\prime }(x^{\ast })}{f^{\prime \prime }(x^{\ast })}$ 不太大，则可忽略 $\epsilon (x^{\ast })$ 的高阶项，可得计算函数的误差限
$$\epsilon (f(x^{\ast }))\approx |f^{\prime }(x^{\ast })|\epsilon (x^{\ast })$$

命题：多元函数的误差
设足够光滑的多元函数 $A=f(x_1,x_2,\dots ,x_n)$，设 $x_1,x_2,\dots ,x_n$ 的近似值为 $x_1^{\ast },x_2^{\ast },\dots ,x_n^{\ast }$，设 $A^{\ast }=f(x_1^{\ast },x_2^{\ast },\dots ,x_n^{\ast })$，于是由
Taylor公式得 $A^{\ast }$ 的误差 $e(A^{\ast })$ 为
$$\begin{array}{rl}e(A^{\ast })& =A^{\ast }-A=f(x_1^{\ast },x_2^{\ast },\dots ,x_n^{\ast })-f(x_1,x_2,\dots ,x_n)\\ & \approx \sum _{k=1}^n(\frac{\partial f(x_1^{\ast },x_2^{\ast },\dots ,x_n^{\ast })}{\partial x_k})(x_k^{\ast }-x_k)\\ & =\sum _{k=1}^n(\frac{\partial f}{\partial x_k}{)}^{\ast }{e}_k^{\ast }\end{array}$$

于是误差限
$$\epsilon (A^{\ast })\approx \sum _{k=1}^n|(\frac{\partial f}{\partial x_k}{)}^{\ast }|\epsilon (x_k^{\ast })$$

参考书籍：《数值分析》李庆扬 王能超 易大义 编