机器学习中应用数学应该要注意的几点注记

2474220 2018-11-16 | rar | 0.21 MB | 次下载 | 免费

资料介绍

　　本章讨论的主题是我觉得在应用机器学习（和其他地方）中经常假设的，但是很少详细解释。这项工作是针对学生谁采取了一些线性方法和分析的课程，但谁想看到一些技巧使用的研究人员讨论更详细一些。这里描述的数学只是一般机器学习中使用的数学的一小部分（例如，机器学习理论的处理将包括基本泛化误差边界的数学）下游经常使用EST。我包括两种作业，‘练习’和‘谜题’。练习开始时很容易，反之亦然；这些谜题是带有一点马基雅维利恶作剧的练习。

　　符号：矢量以粗体显示，矢量分量和矩阵以普通字体显示，因此例如v（a）i表示第a矢量v（a）的第i分量。符号A:0（）表示矩阵A为正（半）定。矩阵A的转置表示为，而向量X的转置表示X：。

　　假设您希望最小化某个函数f（x），x*Rd，受约束C（x）＝0。一种直接的方法是找到约束的参数化，使得用那些参数表示的f成为无约束函数。例如，如果c（x）=x:A x_1，x∈Rd，如果A:0，则可以旋转到坐标系并重新定标以对角化约束为形式y:y=1，然后用编码y在（d_1）球体上的约束的参数化替换。充足的

　　Y1＝正弦1正弦Sn 2···辛钍d 2正弦Sd D 1

　　Y2＝Sin Th 1 Sin Th 2···Sin Th D＝2 CoS Th D D 1

　　Y3＝正弦1正弦Sn 2···CoS Th D＝2

　　·····

　　不幸的是，对于一般约束（例如，当c是d变量中的一般多项式时）这是不可能的，并且即使如此，上面的示例表明事情可以很快变得复杂。几何学