PCA的详细求解过程
PCA的目标：
特征的主方向，就是特征幅度变化最大的方向（“major axis of
variation”）。这一点理解很重要。从反面理解，幅度变化最小的方向就是没有变化，或者非常非常小的变化（可以忽略的变化），相对来说可利用价值最小，最可以忽略。而为了找到特征变化最大的方向，假设单位方向矢量为u，则特征点x在u方向的投影点x’距离原点的距离为d=x。所有的样本点都在一个方向投影后，他们就都在同一条直线上了。而要比较它们之间变化的程度，只要比较d的方差就行。方差最大的u对应的方向就是我们要寻找的主方向。因此，我们的目标函数就成为了：&&&
&&&&&&&&&&&&&&&&&&&&&&&&&
其中x的上标i表示数据集中的第i个样本，m表示数据集中的样本总数。（因为x已经中心化了，所以xu的均值也为0，因此xu的平方只和就是方差。）
括号中的一项十分熟悉，就是协方差矩阵Σ！终于知道协方差矩阵是怎么来的了。再看一看上面的式子，协方差矩阵与投影的方向无关，之于数据集中的样本有关，因此协方差矩阵完全决定了数据的分布及变化情况（请和自相关矩阵区别）。
& 目标函数如下：
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
& 用拉格朗日乘数法求解上面的最大化问题，很容易得到：
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
& 看见没？！u就是Σ的特征向量，λ就是特征值。我们再把（3）代入（2），目标函数就变成了
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&（4）
&&&&&&&&可见，可以通过协方差矩阵的迹衡量方差的大小。最大的特征值λ（以及对应的特征向量u）决定了数据变化最大的方向。u就是这个单位方向。因此PCA的求解过程就是对协方差矩阵进行特征值分解，并找到最大的几个特征值的过程。
PCA的求解方法：
首先介绍PCA的计算过程：
假设我们得到的2维数据如下：
行代表了样例，列代表特征，这里有10个样例，每个样例两个特征。可以这样认为，有10篇文档，x是10篇文档中“learn”出现的TF-IDF，y是10篇文档中“study”出现的TF-IDF。也可以认为有10辆汽车，x是千米/小时的速度，y是英里/小时的速度，等等。
&&&&&第一步分别求x和y的平均值，然后对于所有的样例，都减去对应的均值。这里x的均值是1.81，y的均值是1.91，那么一个样例减去均值后即为（0.69,0.49），得到
&&&&&第二步，求特征协方差矩阵，如果数据是3维，那么协方差矩阵是
这里只有x和y，求解得
对角线上分别是x和y的方差，非对角线上是协方差。协方差大于0表示x和y若有一个增，另一个也增；小于0表示一个增，一个减；协方差为0时，两者独立。协方差绝对值越大，两者对彼此的影响越大，反之越小。
&&&&&第三步，求协方差的特征值和特征向量，得到
上面是两个特征值，下面是对应的特征向量，特征值0.对应特征向量为，这里的特征向量都归一化为单位向量。
&&&&第四步，将特征值按照从大到小的顺序排序，选择其中最大的k个，然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵。
这里特征值只有两个，我们选择其中最大的那个，这里是1.，对应的特征向量是。
&&&&&第五步，将样本点投影到选取的特征向量上。假设样例数为m，特征数为n，减去均值后的样本矩阵为DataAdjust(m*n)，协方差矩阵是n*n，选取的k个特征向量组成的矩阵为EigenVectors(n*k)。那么投影后的数据FinalData为
FinalData(10*1) = DataAdjust(10*2矩阵)&特征向量
得到结果是
这样，就将原始样例的n维特征变成了k维，这k维就是原始特征在k维上的投影。
上面的数据可以认为是learn和study特征融合为一个新的特征叫做LS特征，该特征基本上代表了这两个特征。
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。扫二维码下载作业帮
拍照搜题，秒出答案，一键查看所有搜题记录
下载作业帮安装包
扫二维码下载作业帮
拍照搜题，秒出答案，一键查看所有搜题记录
求解详细过程.&
扫二维码下载作业帮
拍照搜题，秒出答案，一键查看所有搜题记录
详细过程请稍候
f(x)=sin(wx+φ)+cos(wx+φ)
=√2[sin(wx+φ)*(√2/2)+cos(wx+φ)*(√2/2)]
=√2[sin(wx+φ)cos(π/4)+cos(wx+φ)sin(π/4)]
=√2sin(wx+φ+π/4)∵ f(-x)=f(x)∴ f(x)的一条对称轴是x=0∴ x=0时，f(x)有最值∴ φ+π/4=kπ+π/2,k∈Z∴ φ=kπ+π/4,k∈Z∵ |φ|<π/2∴ φ=π/4周期T=2π/w=π∴ w=2∴ f(x)=√2sin(2x+π/4+π/4)即 f(x)=√2cos(2x)画出图像，则选A
等下，刚刚有点事 。其实如果用照片更好了，，但是既然已经打了那就算了嘛
谢谢了呢～
不客气。O(∩_∩)O
为您推荐：
其他类似问题
先将原函数合一变形，再由周期值算出w，再根据偶函数的条件，将ф算出，最后再确定单调性
扫描下载二维码求解，最好有详细的过程和解释。【小学数学吧】_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：6,296贴子：
求解，最好有详细的过程和解释。收藏
1.一条徒步线路，张大叔走完全程需要四十分，李大爷走完全程需要六十分，一天长大叔和李大爷从起点同时出发，张大叔到终点后立即返回，当他李大爷相遇时，他们用了多少时间？2.一条路，甲车行完全程需要9小时，乙车需要6小时，两车从两端相向而行，几小时能相遇？
有人能解答一下吗，谢谢啦
第1题：两人相遇时共走了两个全程2?(1/40+1/60)=48分钟第2题是共走1个全程。
登录百度帐号推荐应用
为兴趣而生，贴吧更懂你。或&#xe621; 上传我的文档
&#xe602; 下载
&#xe60c; 收藏
该文档贡献者很忙，什么也没留下。
&#xe602; 下载此文档
正在努力加载中...
【精品】单纯形法求解全过程详解共9页
下载积分：860
内容提示：【精品】单纯形法求解全过程详解共9页
文档格式：PDF|
浏览次数：2946|
上传日期： 15:54:38|
文档星级：&#xe60b;&#xe60b;&#xe60b;&#xe60b;&#xe612;
全文阅读已结束，如果下载本文需要使用
&#xe71b; 860 积分
&#xe602;下载此文档
该用户还上传了这些文档
【精品】单纯形法求解全过程详解共9页
官方公共微信　　算法的时间复杂度，是刚开始接触算法和数据结构时的概念，在真正使用的时候有时候常常忘记它的推导公式。最近准备校招，把二叉树、排序、查找等这些经典的算法复习了一遍，这次把这些都整理成博客以便以后查看，复习计划接近尾声，这两天老是不在状态，学习图的时候有点晕乎乎，今天反过头来把时间复杂度的求解法整理一下，还是颇有收获，以前很多地方自己存在着理解误差。希望对大家也有所帮助，有不对的地方还请多指教。
在进行算法分析时，语句总的执行次数T(n)是关于问题规模n的函数，进而分析T(n)随n的变化情况并确定T(n)的数量级。算法的时间复杂度，也就是算法的时间量度，基座T（n）=O(f(n))。它表示随问题规模n的增大，算法执行时间的增长率和f(n)的增长率相同，称作算法的渐进算法时间复杂度，简称为时间复杂度。其中f(n)是问题规模n的某个函数。
一般用大写O()来表示算法的时间复杂度写法，通常叫做大O记法。
一般情况下，随着n的增大，T(n)增长最慢的算法为最优算法。
O(1)：常数阶
O(n)：线性阶
O(n2)：平方阶
大O推导法：
用常数1取代运行时间中的所有加法常数
在修改后的运行函数中，只保留最高阶项
如果最高阶项存在且不是1，则去除与这个项相乘的常数
int sum = 0 ; n = 100;
/*执行一次*/
sum = (1+n)*n/2;
/*执行一次*/
printf("%d",sum);
/*执行一次*/
这个算法的运行次数f(n) = 3,根据推导大O阶的方法，第一步是将3改为1，在保留最高阶项是，它没有最高阶项，因此这个算法的时间复杂度为O(1);
int sum = 0 ; n = 100;
/*执行一次*/
sum = (1+n)*n/2;
/*执行第1次*/
sum = (1+n)*n/2;
/*执行第2次*/
sum = (1+n)*n/2;
/*执行第3次*/
sum = (1+n)*n/2;
/*执行第4次*/
sum = (1+n)*n/2;
/*执行第5次*/
sum = (1+n)*n/2;
/*执行第6次*/
sum = (1+n)*n/2;
/*执行第7次*/
sum = (1+n)*n/2;
/*执行第8次*/
sum = (1+n)*n/2;
/*执行第9次*/
sum = (1+n)*n/2;
/*执行第10次*/
printf("%d",sum);
/*执行一次*/
上面的两段代码中，其实无论n有多少个，本质是是3次和12次的执行差异。这种与问题的大小无关，执行时间恒定的算法，成为具有O(1)的时间复杂度，又叫做常数阶。
注意：不管这个常数是多少，3或12，都不能写成O(3)、O(12)，而都要写成O(1)
此外，对于分支结构而言，无论真假执行的次数都是恒定不变的，不会随着n的变大而发生变化，所以单纯的分支结构（不在循环结构中），其时间复杂度也是O(1)。
线性阶的循环结构会复杂一些，要确定某个算法的阶次，需要确定特定语句或某个语句集运行的次数。因此要分析算法的复杂度，关键是要分析循环结构的运行情况。
for(i = 0 ; i & i++){
/*时间复杂度为O(1)的程序*/
int count = 1;
while(count & n){
count = count * 2;
/*时间复杂度为O(1)的程序*/
因为每次count*2后，距离结束循环更近了。也就是说有多少个2 相乘后大于n，退出循环。
数学公式：2x = n & &--& & & x = log2n
因此这个循环的时间复杂度为O(logn)
for(i = 0 ; i & i++){
for(j = 0 ; j & j++){
/*时间复杂度为O(1)的程序*/
上面的程序中，对于对于内层循环，它的时间复杂度为O(n)，但是它是包含在外层循环中，再循环n次，因此这段代码的时间复杂度为O(n2)。
for(i = 0 ; i & i++){
for(j = 0 ; j & j++){
/*时间复杂度为O(1)的程序*/
但是，如果内层循环改成了m次，时间复杂度就为O(n*m)
再来看一段程序：
for(i = 0 ; i & i++){
for(j = j & j++){
/*时间复杂度为O(1)的程序*/
注意：上面的内层循环j =而不是0
因为i = 0时，内层循环执行了n次，当i=1时，执行了n-1次&&当i=n-1时，执行了1次，所以总的执行次数为：
n+(n-1)+(n-1)+...+1 = n(n+1)/2& = &n2/2 + n/2
根据大O推导方法，保留最高阶项，n2/2&，然后去掉这个项相乘的常数，1/2
因此，这段代码的时间复杂度为O(n2)
下面，分析调用函数时的时间复杂度计算方法：
首先，看一段代码：
void function(int count){
print(count);
for(i = 0 ; i & i++){
function (i)
函数的时间复杂度是O(1)，因此整体的时间复杂度为O(n)。
假如function是这样的：
void function(int count){
for(j = j &j++){
/*时间复杂度为O(1)的程序*/
和第一个的不同之处在于把嵌套内循环放到了函数中，因此最终的时间复杂度为O(n2)
再来看一个比价复杂的语句:
/*执行次数为1*/
function(n);
/*执行次数为n*/
for(i = 0 ; i & i++){
/*执行次数为nXn*/
function(i);
for(i = 0 ; i & i++){
/*执行次数为n(n+1)/2*/
for(j = j & j++){
/*时间复杂度为O(1)的程序*/
它的执行次数f(n) = 1 + n + n2&+&n(n+1)/2&+ 3/2n2+3/2&n+1,
根据推导大O阶的方法，最终它的时间复杂度为：O(n2)
常见的时间复杂度：
执行次数函数
2n+3nlog2n+19
6n3+2n2+3n+4
时间复杂度所耗费的时间是：
O(1) & O(logn) & O(n) & O(nlogn) & O(n2) & O(n3) &O(2n) & O(n!) &O(nn)
阅读(...) 评论()}