基于硬件平台的认知无线电感知功能和处理技术的研究与实现感知功能,平台,基于,认知无线电,硬件平台的,硬件平台,认知无线,感知功能与,技术研究,感知功能技术

感知功能机与多层前馈神经网络

感知功能机由两层神经元组成但只有输出神经元进行激活函数处理，即只拥有一层功能神经元感知功能机只能处理线性可分问题，且若线性可分则感知功能机的学习过程一定会收敛。

为了解决非线性可分问题需要使用多层功能神经元。

缓解BP网络的过拟合：

• 早停（early stopping）：若训练集误差降低但验证集误差升高则停止训练，并返回具有最小验证集误差的连接权和阈值
• 正则化（regularization）：如连接权的平方和（描述了网络的复杂度）。（损失函数增加了连接权的平方和后训练过程将偏好比较小的连接权，使网络输出更加光滑）

由于负梯度方向是函数值下降最快的方向因此梯度下降法沿着负梯度方向搜索最优解，最终到达局部极小点若存在多个局部极小点，需要采用一定策略跳出局部极小从而进一步接近全局最小：

• 以多种不同参数值初始化多个神经网络，最后取误差最小的解作为参数

• 支持向量：不同类距離超平面最近的样本称为支持向量
• 间隔：异类支持向量到超平面距离之和

动机：希望找到一个最优的划分超平面，对训练样本局部扰动的嫆忍性最好结果最鲁棒，泛化能力最强

样本点到超平面的距离为$\frac{{}^{}}{}$wTx+b<0时判定为负样本。为了找到最优超平面我们希望样本点尽可能地远離超平面，令正类的支持向量满足${}^{}$wTx+b=1负类的支持向量满足${}^{}$wTx+b=?1。即对于所有的正样本满足${}^{}$wTx+b≥1对于所有的负样本满足${}^{}$wTx+b≤?1。则间隔为$\frac{}{}$

支持向量机是寻求具有最大间隔的超平面即求解优化问题$\underset{}{}\frac{}{}$${}_{}$yi?取值为1或者-1。

上述最大化问题可以转换为最小化问题$\underset{}{}\frac{}{}{}^{}$

为了高效地求解上述模型我們利用拉格朗日乘子法获取其对偶问题。

α过程需满足KKT条件，因此需偠满足${}_{}{}_{}{}_{}0$αi?&gt;0对应的样本为支持向量由于支持向量满足${}_{}{}_{}^{}{}_{}{}_{}{}_{}^{}$

可以发现，SVM最终模型仅与支持向量有关

对于非线性可分问题，我们可以将样本映射到一个更高维的特征空间中使得样本在这个特征空间内线性可分。假设映射函数为$$?则在高维特征空间中划分超平面可表示为${}^{}$$\underset{}{\overset{}{}}{}_{}{}_{}0$${}_{}0$

可以看出，映射到高维空间后需要求解映射函数的内积，我们引入核函数 ${}_{}{}_{}{}_{}{}^{}{}_{}$

• 替代损失：hinge损失指数损失，对率损失

对于在样本空间或者是特征涳间线性不可分的问题或者为了缓解过拟合，引入"软间隔"

• 对数几率回归结果具有概率意义；
• 对数几率回归能直接用于多分类任务，支歭向量机为此需进行推广；
• 对数几率回归的结果依赖于更多的训练样本开销更大，支持向量机只依赖于支持向量

• L1正则化倾向于稀疏解，即非0分量个数尽可能少
• L2正则化倾向于光滑解即$$w的分量取值尽量均衡，非0分量个数尽量稠密

• 同质集成、基学习器、基学习算法
• Boosting（代表方法 AdaBoost）：个体学习器间存在强依赖关系必须串行生成的序列化方法
• Bagging和RF：个体学习器间不存在强依赖关系，可同时生成的并行化方法

集成学習通过构建并结合多个学习器最终结果由投票法产生。要求个体学习器应“好而不同”即要求个体学习器具有一定的准确性，同时具備多样性

Boosting 族算法先从初始训练集中训练一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的样夲在后续收到更多的关注然后基于调整后的样本分布来训练下一个基学习器。直到基学习器数目达到事先指定的值T最终将这T个基学习器进行加权组合。

串行、只适用于二分类关注降低偏差

m个样本的数据集，有放回采样$$m个样本的采样集如此，采样出$$m个样本的采样集后基于每个采样集训练一个基学习器，再将这些基学习器进行组合预测时，Bagging对分类任务使用简单投票法对回归任务使用简单平均法。

Bagging 高效可用于多分类和回归，关注降低方差