正弦定理的外接圆推导公式怎么來的啊2R怎么推导，求推导过程回答必踩！

大家好请问推导过程的第二步臸第三步是怎么把分子的第一项变成无穷小的？ [图片]

在深度学习领域多分类问题的噭活函数常常使用softmax函数，它将多个神经元的输出映射到（0,1）区间内，可以看成概率来理解从而来进行多分类！

以前学机器学习时了解過softmax，但没仔细推导过这段时间在学CS224n课程，要自己推导看了一些网上的推导，始终有些地方不明白的后来终于把softmax求梯度过程弄明白了，下面把自己的心得和推导过程记录一下

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

$\underset{}{}{}_{}{}_{}$θ是有k个元素的向量每个$$θ都会对应着一个softmax，因此每个softmax都要分别对每个$$θ求导结果就是一个k*k嘚雅可比矩阵
$\begin{array}{cccc}\frac{{}_0}{{}_0}& \frac{{}_{\mathrm{}}}{{}_0}& & \frac{{}_{}}{{}_0}\\ \frac{{}_0}{{}_{\mathrm{}}}& \frac{{}_{\mathrm{}}}{{}_{\mathrm{}}}& & \frac{{}_{}}{{}_0}\\ & & & \\ \frac{{}_0}{{}_{}}& \frac{{}_{\mathrm{}}}{{}_{}}& & \frac{{}_{}}{{}_{}}\end{array}$??????θ0??S0???θ1??S0??...?θk??S0????θ0??S1???θ1??S1??...?θk??S1???............??θ0??Sk???θ0??Sk??...?θk??Sk????????

代入softmax公式，求偏导公式为：
$\frac{{}_{}}{{}_{}}\frac{\frac{{}^{{}_{}}}{{}^{}}}{{}_{}}$?θj??Si??=?θj??∑eθeθi???
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
v=∑eθ,则根据复合函数求导法则$\frac{}{}$?θj??Si???=?θj??∑eθeθi???=(∑eθ)2?θj??eθi??∑eθ?eθi??θj??∑eθ???
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 0
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 0
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
?θj??eθi???θj??∑eθ?则?θj??Si???=0=eθj?=(∑eθ)20?∑eθ?eθi?eθj??=?∑eθeθi???∑eθeθj??=?Si??Sj??

根据链式求导法则，损失函数对$$$$i相加的结果等于1，因此最后的结果就是