回归问题与分类问题相似，它也是一个已知的训练集，设此训练集可表示为：
$$T=\\{(x_1,y_1,\cdots,(x_n,y_n)\\}\in (\mathcal{X\times Y})^n$$
其中 $x_i\in\mathcal{X}=R^n$ 是输入指标向量，或称输入或模式，$y_i\in\mathcal{Y}=R$ 是输出指标，或称输出。与分类问题不同的是，这里的 $y_i$ 并不限定取 -1 或1，而是可取任意实数。回归学习需要解决的是，给定一个新的输入模式，根据训练集 $T$ 推断它所对应的输出 $y$ 是多少。
线性回归问题与硬 $\varepsilon$-带超平面
线性回归问题
线性回归问题就是寻找函数 $f(x)$ 为线性函数：
$$y=f(x)=w\cdot x+b$$
这个线性函数对应与空间 $R^n\times R$ 上的一个超平面。所以从几何上看，线性回归问题就是在给定训练集的条件下，寻找一个 $n+1$ 维空间 $R^{n+1}$ 上的超平面。
超平面的 $\varepsilon$-带：设 $\varepsilon>0$，一个超平面$ y=w\cdot x+b $ 的 $\varepsilon$-带是指该超平面沿 $y$ 轴依次上下平移扫过的区域。
硬 $\varepsilon$-带超平面：对于训练集 $T$，如果超平面 $y=w\cdot x+b$ 满足：
$$-\varepsilon\le y_i-(w\cdot x_i+b)\le \varepsilon$$
则称该超平面为硬 $\varepsilon$-带超平面。
从给定的训练集 $T$ 出发构造出两类点，具体做法是将训练集 $T$ 中每个训练点的 $y$ 值分别增加 $\varepsilon$ 和减少 $\varepsilon$，得到正类点和负类点两个集合，分别记它们为 $D^+$ 和 $D^-$，即：
$$D^+=\\{(x^T_i,y_i+\varepsilon), i=1,2,\cdots,N\\} \\\
D^-=\\{(x^T_i,y_i-\varepsilon), i=1,2,\cdots,N\\}$$
对于给定的训练集 $T$ 和 $\varepsilon>0$，则一个超平面 $y=w\cdot x+b$ 是硬 $\varepsilon$-硬带超平面的充要条件是 $D^+$ 凸壳和 $D^-$ 凸壳分别位于该超平面的两侧。当 $\varepsilon\ge \varepsilon_{min}$ 时，硬 $\varepsilon$-硬带超平面等价于分离集合 $D^+$ 和$D^-$。这样就将回归问题转化为集合 $D^+\cup D^-$ 的分类问题。
硬 $\varepsilon$-带超平面的构造
首先将训练集变形。令 $(x^T_{N+i},y_{N+i}-\varepsilon)^T=(x^T_i,y_i-\varepsilon)$，则训练集可表示为：
$$\\{((x^T_1,y_1+\varepsilon);1),\cdots,((x^T_N,y_N+\varepsilon);1),((x^T_{N+1},y_{N+1}-\varepsilon);-1),\cdots,((x^T_{2N},y_{2N}-\varepsilon);-1)\\}$$
这里的 $w$ 比分类问题中的 $w$ 多了一个对应于 $y$ 的分量，即回归问题的权分类应为 $(w^T,\eta)^T$。于是得到下面的最优化问题：
$$\begin{align}
\min_{w,b,\eta} \quad & \frac{1}{2}||w||^2+\frac{1}{2}\eta^2 \\\
s.t. \quad & w\cdot x_i+\eta(y_i+\varepsilon)+b\ge 1,\quad i=1,2,\cdots,N \\\
& w\cdot x_j + \eta(y_j-\varepsilon)+b\le -1,\quad j=N+1,N+2,\cdots,2N
\end{align}$$
若令：
$$z_i=\left\\{
\begin{array}
& 1, \qquad & i=1,2,\cdots,N \\\
-1, \qquad & i=N+1,N+2,\cdots,2N
\end{array}
\right.$$
则上述问题可以表述为：
$$\begin{align}
\min_{w,b,\eta} \quad & \frac{1}{2}||w||^2+\frac{1}{2}\eta^2 \\\
s.t. \quad & z_i(w\cdot x_i+\eta(y_i+z_i\varepsilon)+b)\ge 1,\quad i=1,2,\cdots,2N
\end{align}$$
求得该问题的最优解 $(w^*,\eta^*,b^*)$ 后，便可构造分化超平面 $w^*\cdot x+\eta^* y+b^*=0$，整理后便可得到 $y=w\cdot x+b$，其中 $\displaystyle w=-\frac{w^*}{\eta^*},b=-\frac{b^*}{\eta^*}$。
该最优化问题的对偶问题为：
$$\begin{align}
\min_{\alpha} \quad & \frac{1}{2}\sum^{2N}_{i=1}\sum^{2N}_{j=1}z_iz_j\alpha_i\alpha_j\big((x^T_i,y_i+z_i\varepsilon)^T\cdot(x^T_j,y_j+z_j\varepsilon)^T\big)-\sum^{2N}_{j=1}\alpha_j \\\
s.t. \quad & \sum^{2N}_{i=1}z_i\alpha_i=0, \\\
& \alpha_i \ge 0, \quad i=1,2,\cdots,2N
\end{align}$$
推广的最大间隔回归法
最优化问题为：
$$\begin{align}
\min_{w,b,\eta} \quad & \frac{1}{2}||w||^2+\frac{1}{2}\eta^2+C\sum^{2N}_{i=1}\xi_i \\\
s.t. \quad & z_i(w\cdot x_i+\eta(y_i+z_i\varepsilon)+b)\ge 1-\xi_i,\quad i=1,2,\cdots,2N \\\
& \xi_i \ge 0, \quad i=1,2,\cdots,2N
\end{align}$$