最小二乘法（又称最小平方法）是一种 数学优化技术。它通过最小化误差的平方和来寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
最小二乘法的基本思想是找到一组模型参数，使得模型预测值与实际观测值之间的误差平方和最小。对于线性回归模型，假设我们有一组数据点 $（x_i, y_i）$，最小二乘法的目标是找到参数 $w$ 和 $b$，使得预测值 $y = wx + b$ 与实际观测值 $y_i$ 之间的误差平方和最小。即最小化以下表达式：
$$\sum_{i=1}^{n} （y_i - wx_i - b）^2$$
其中，$n$ 是数据点的数量。
最小二乘法有多种实现方式，包括普通方程表示的简单线性拟合问题和矩阵表示的高维度线性拟合问题。普通最小二乘法适用于二维数据点，而矩阵表示的方法适用于多维数据点和高维度的线性回归模型。
最小二乘法在统计学、数据分析和曲线拟合等领域有着广泛的应用，特别是在回归分析中，它可以帮助我们找到一个最能代表数据关系的模型。