主题信息（必填）
主题描述（最多限制在50个字符）
申请人信息（必填）
申请信息已提交审核，请注意查收邮件，我们会尽快给您反馈。
如有疑问，请联系
CSDN &《程序员》编辑/记者，投稿&纠错等事宜请致邮
你只管努力，剩下的交给时光！
如今的编程是一场程序员和上帝的竞赛，程序员要开发出更大更好、傻瓜都会用到软件。而上帝在努力创造出更大更傻的傻瓜。目前为止，上帝是赢的。个人网站：。个人QQ群：、
个人大数据技术博客：没有GPU可以做深度学习吗？ - 知乎64被浏览7036分享邀请回答arxiv.org/abs/，其思想用到深度学习也只是时间问题。这里一些资源：Ubuntu 安装BLAS以利用多个线程Intel MKL: 253 条评论分享收藏感谢收起21 条评论分享收藏感谢收起查看更多回答摘要：人工智能第三次浪潮风起云涌，产业界大浪淘沙，在“GTIC 2017全球（智慧）科技峰会”感受时代脉搏，看见未来。
智东西（公众号：zhidxcom）
文 | origin
人工智能第三次浪潮风起云涌，产业界大浪淘沙，在“GTIC 2017全球（智慧）科技峰会”感受时代脉搏，看见未来。
3月10日，由智东西、AWE、极果等联合举办“GTIC 2017全球（智慧）科技峰会”在上海证大喜马拉雅中心正式开幕。学术界、投资界、创业圈和产业链在这里激烈交锋，NVIDIA、Neato Robotics、科大讯飞、商汤科技、科沃斯机器人、Ninebot(纳恩博)、威马汽车、奇点汽车、驭势科技、歌尔股份、地平线机器人等近40位大佬轮番登台。
作为2017年上半年人工智能领域规格最高的峰会，GTIC聚焦“机器人产业”、“汽车新势力”、“家居物联生活”领域，探讨技术变革下的掘金机会、消费升级与生态建设，带来最前沿的实践经验和判断。
在上午的演讲环节中，英伟达全球副总裁、中国区企业事业部总经理?沈威发表了主题为“人工智能深度学习——一种新型计算模式 ”的演讲，详细梳理了英伟达凭借人工智能浪潮晋升业界霸主的历程和思路。
以下为演讲的要点精摘：
1、CUDA架构的诞生是深度学习的一个关键节点。英伟达CUDA架构之前的GPU并无太强对深度学习运算能力的支持，而在CUDA架构诞生之后，普通的学者及程序员也能较容易地使用GPU进行高性能运算。2006年深度学习与英伟达GPU第一次被运用到图像识别数据库ImageNet竞赛，将ImageNet的辨识率提升到85%，从此展开深度学习与GPU的联袂。
在2012年，英伟达与吴恩达一起探索GPU如何加速深度学习，到现在，百度的语音识别率也超过了人类。2016，imagenet辨识率已经达到96%，超过了人类。
2、不管是工业设计上面一些制造、设计，或者是到我们大家所熟悉的电影的制作，英伟达都是这个行业的标准。以及在06年英伟达公司我们步入高性能预算之后，已经有70%都使用了英伟达的产品作为高性能运算的家属。
还有这个也是大家最关心的，在AI这波浪潮里面，我们现在看到基本上100%从事人工智能领域的研究都是在英伟达所支持的这个平台上面开发。英伟达针对人工智能以及深度学习，我们还发布的软件开发平台SDK，也就是基库达的家庭学习的家庭库，目前世界超过20万个下载。
3、GPU成为了高性能计算的最优平台，CUDA已经拥有30万开发者，并占据了绝大多数高性能计算应用。在解决方案上，英伟达提供了行业内最好的运算平台Tesla P40。
针对缺少大数据中心的客户，如大学科研，以及初创公司、研究院，成型的超算机DGX—1是不错的选择。它整合了最先进的GPU，以及整合了大家熟悉的深度学习平台并加以优化，DGX—1不仅在国外非常普遍。 它的整个运算能力，虽然只是一台小小的机器，但是它的整个运算能力就像单机箱里放了250个服务器的运算能力，你不需要一个很大的数据中心，就可以拥有一个等同于250台服务器运算能力的设备来从事AI以及深度学习的研究。
4、这一切都是从2012年底开始，英伟达公司注意到深度学习这波浪潮之后，我们做了大量投入，在短短3年内，GPU硬件已经发展了三代，整体的性能已经有65倍的提升，这个是英伟达对深度学习以及AI行业做的承诺。
以下为沈威在“GTIC 2017全球（智慧）科技峰会”上的演讲全文：
今天特别荣幸跟大家汇报英伟达这几年进入到高性能预算，以及全方面的深度学习及人工智能的心路历程。
请允许我花几分钟时间跟各位介绍一下英伟达。英伟达公司在1993年成立，于1999年我们发明了GPU，我们是全世界最大的GPU公司，各位对英伟达在进入深度学习之前，英伟达公司是全世界最大的游戏运算平台的提供者，全世界已经有超过1亿的使用者在使用英伟达游戏运算平台。
英伟达同时也是专业的图形工作显示器，显示运算平台的提供者，也是这个行业的标准。我们现在看到不管是工业设计上面一些制造、设计，或者是到我们大家所熟悉的电影的制作，英伟达都是这个行业的标准。以及在06年英伟达公司我们步入高性能预算之后，已经有70%都使用了英伟达的产品作为高性能运算的家属。
还有这个也是大家最关心的，在AI这波浪潮里面，我们现在看到基本上100%的从事人工智能领域AI的研究，都是在英伟达所支持的这个平台上面开发。英伟达针对人工智能以及深度学习，我们还发布的软件开发平台SDK，也就是基库达的家庭学习的家庭库，目前世界超过20万个下载。
这一切都从哪里开始呢？2012年是AI元年，或者深度学习大爆发的一年。我们中国人之光李非非在斯坦佛大学主持的一个比赛，还有一个学生第一次运用深度学习的方法，加上英伟达的GPU的参与，不仅仅是一口气拿到这个竞赛的第一名。同时，也把这个竞赛从原先只是做电脑视觉算法的竞赛，从之前最高的辨识率，只有74%，在2012年用了深度学习，以及英伟达的GPU之后，一下子不只是拿到了第一名，而且把整个辨识率拉升到85%。从此展开了深度学习以及GPU的世界。
自从2012年竞赛之后，深度学习的方法就一发不可收拾。在2012年，英伟达公司很荣幸跟现在百度首席科学家我们一起发布了通过GPU在高性能预算能力，如何加速深度学习的发展。同时，从2012年发展到现在，那场竞赛从2012年提升到85%之后，之后的竞赛已经没有什么算法参与这个竞赛，到了2016年，用了深度学习整个辨识率超过96%。这个深度学习辨识率已经超过人类对图像的辨识率。当然更不要说在2015年，百度在深度学习的突破，尤其在深度语音识别上面已经超过人类语音识别的辨识的能力。还有，去年阿尔法狗，在围棋这方面的进展，都是用了大量的海量的深度学习CPU，这个在过去完全没有办法实现的。
说到这个地方，可能各位有很大的疑惑。这个是突然发生的，还是有更深层次的背景？请允许我跟各位汇报历史演进。
谈到英伟达公司从1999年发明GPU，到刚刚学习的进程，不得不谈我们在06年重要的突破，也是在06年第一次发布库达这样一个架构。06年之前做图像GPU90%的图像运算都是针对图像运算，它是很封闭的，针对游戏开发商、开发者提供的。对于一般科研人员，或是针对高性能预算有要求的学者，研究人员，这是一个很辛苦的事情。在06年之前，如果大家要去使用GPU是非常辛苦的，我印象中，我在前一阵子听到国内科研专家，为了要取得更好的运算资源，他们收集了很多游戏卡，跟现有的X86服务器连起来，就是要去探索如何更好使用GPU的运算能力。为此，运维大公司也看到这样一个趋势，所以06年我们发布了库达这样一个架构。第一次有了这个架构之后，一般的科研人员就可以用普通的JAVA加上语言就可以使用GPU的运算能力，也就是从06年开始，英伟达公司正式步入高层预算能力，也就是从这个时候开始，世界大部分的科研以及高性能电脑中心部署英伟达的设备进行运算和高性能预算。
但这里面有几个比较大的突破，我就不一一再提了。其中一个就是跟各位报告的，2012年的竞赛让大家对GPU的使用有更深入的了解。到了2016年，阿尔法狗也是一个实际的案例，GPU的应用上到了另外一个台阶。
作为一个从26年前就进入高性能运算的工作人员来说，GPU已经成为最佳的选择。在高性能运算已经有超过410个应用，基本上100%的大家在人工智能深度学习上面都是在GPU上面所加速。
在此，我借机会跟各位介绍一下除了刚刚报告英伟达在高性能预算以及人工智能的历程之外，到底我们提供什么样的解决方案。我们在深度学习也做了很大的投入，尤其在企业的数据中心提供解决方案，不管从线下学习，我们有很强大的技术支持之外，我们同时也提供了线下部署、推理这样一个解决方案。
比如说我们P40，就是目前广为大部分数据中心用来做深度学习最好的平台，目前我认为是一个最好做深度学习里面最好的平台。
另外，我们在去年也发布了针对数据中心线上部署或者是推理的产品，非常合适当线下训练完之后，你要做到应用，如何可以很快把你虚拟的结果跟你的实际业务结合在一起，包含了要求大量的视频的边界，以及实时的分析，这个是我们在去年刚刚发布，非常合适作为线上推理以及应用的产品。
当然，你们会提出，我们没有这么大数据中心，我就是一个研究单位，目前刚刚初创公司，我要进行人工智能和深度学习的发展，我是不是也有机会能够使用英伟达的解决方案？答案是的。我们也是针对大学科研，以及初创公司、研究院，我们去年发布了成型的超算机叫DGX—1，它整合了最先进的GPU，以及整合了大家熟悉的深度学习平台并加以优化，DGX—1不仅在国外非常普遍。 它就像单机箱里放了250个服务器的运算能力，你不需要一个很大的数据中心，就可以拥有一个等同于250台服务器运算能力的设备来从事AI以及深度学习的研究。
当然，你们会提出，我们没有这么大数据中心，我就是一个研究单位，目前刚刚初创公司，我要进行人工智能和深度学习的发展，我是不是也有机会能够使用英伟达的解决方案？答案是的。我们也是针对大学科研，以及初创公司、研究院，我们去年发布了成型的超算机叫DGX—1，它整合了最先进的GPU，以及整合了大家熟悉的深度学习平台并加以优化，DGX—1不仅在国外非常普遍。 它的整个运算能力，虽然只是一台小小的机器，但是它的整个运算能力就像单机箱里放了250个服务器的运算能力，你不需要一个很大的数据中心，就可以拥有一个等同于250台服务器运算能力的设备来从事AI以及深度学习的研究。
这一切都是从2012年底开始，英伟达公司注意到深度学习这波浪潮之后，我们做了大量投入，在短短3年内，我们在GPU硬件投入已经发展了三代，整体的性能已经有65倍的提升，这个是英伟达对深度学习以及AI行业做的承诺。
另外谈到深度学习和AI，英伟达所做的贡献并不只是硬件在GPU，在整个生态圈更重要的是，如何让深度学习以AI的从业人员，我们甚至有一个更好的开发环境。所以在此英伟达做了非常大的投入，在做SDK，也就是在软件这部分的投入。
比如说在针对学习这部分，英伟达公司做了一个CuDNN的加速器，针对大家所熟悉的开发，我们做了很多优化，使这些AI以及深度学习的开发者，很容易使用这些加速库，能够更好的性能提升。在这部分全世界已经有超过20万个下载。
同样在线上部署和推理方面，英伟达公司也做了很大投入，当您在深度学习训练之后的成果部署到新一代的英伟达技术的时候，能够更快地，更有效率来做部署跟推理，包括现在很多部署的应用跟视频、图像有关的，SDK是特别针对深度学习在部署和应用这方面的开发，我们可以同时处理视频的边界码及更新。
接下来谈谈针对英伟达，我们的解决方案的一些案例，Google这部分就不谈了，可能目前应用已经超过5千个，这个就不多谈了。
在国内这部分，百度是我们一个很典型的客户，非常感谢百度的首席科学家对我们的支持，我们做了很多投入，不管是在人脸、物体的辨识，一直到自动驾驶，我们都使用非常多的GPU的应用。
另外在国内有一个很大的客户就是阿里巴巴，也是深度学习。有一个非常好的应用，有一个应用，我拿出我的手机再拍一下，我可以进入到阿里的环境里面，这个领带到底在哪几个商家。更不要谈大家在双十一里面，大家在这么多海量的客户需求底下，如何来处理它的客户服务，有很多这方面的应用，都通过深度学习人工智能的方法来体现的。
最后一个应用跟大家分享，也是最近大家比较注意的是智慧城市。大家可以注意到，2020年全世界超过10亿个摄像头，摄像头部署之后，这么多海量的数据，尤其是影像数据如何处理，随着人工智能以及深度学习的发展，刚刚跟各位专家所报告的，不管是通过英伟达平台的学习，以及针对线上的实时的编码的处理跟分析，我相信英伟达公司在智慧城市的应用上面，以及深度学习的应用，我们可以提供更好的解决方案。
因为时间关系，我在这里跟各位介绍英伟达的解决方案，英伟达整个变革，以及应用的场景，我相信这只是我们公司跟人工智能跟深度学习刚刚起步的场景。我相信在今天各位专家共同努力下，AI和人工智能会更美好，我们英伟达很高兴提供这么一个平台，跟各位一起推广人工智能的发展，谢谢大家！
本文仅代表作者观点，不代表百度立场。本文系作者授权百度百家发表，未经许可，不得转载。
分享到微信朋友圈
打开微信，点击 “ 发现 ”
使用 “ 扫一扫 ” 即可将网页分享至朋友圈。
扫一扫在手机阅读、分享本文
百家号作者平台APP
扫码下载安卓客户端
便捷管理文章信息
随时查看文章收益深度学习的最好方案，FPGA或GPU？ - seahillpass的专栏 - CSDN博客
深度学习的最好方案，FPGA或GPU？
人工智能-深度学习-杂项
原文链接：/a/2567
来源：本文翻译自thenextplatform，特别鸣谢复旦大学鲍敏杭教授帮忙修正
来自社交媒体和物联网的图像、视频和语音数据的持续增长推动了对分析方法的需求，以便这些数据可以理解和操作。
数据分析通常依赖于机器学习（ML）算法。 在ML算法中，深度神经网络（DNN）为重要的图像分类任务提供了最高的精度，而日渐广泛采用。
在最近的FPGA国际研讨会上（ISFPGA），英特尔加速器架构实验室（AAL）的Eriko Nurvitadhi博士介绍了他的研究——对于加速下一代深度学习，FPGA能否击败GPU的问题。他们的研究以最新的高性能的英伟达 Titan X Pascal * Graphics Processing Unit (GPU) 为参照，对两代英特尔 FPGA（Intel Arria10 和Intel Stratix 10）的新兴DNN算法进行了评估。
论文的合著者之一，英特尔可编程解决方案团队的 FPGA 架构师 Randy Huang 博士说：“深度学习是AI中最令人兴奋的领域，因为我们已经看到了深度学习带来的巨大进步和大量应用。虽然AI和DNN研究倾向于使用GPU，但我们发现，其应用领域和英特尔下一代FPGA 架构之间是完美契合的。
我们考察了FPGA今后的技术进展，以及DNN创新算法的快速发展，并思考了对于下一代 DNN 来说，未来的高性能FPGA是否会优于GPU的 问题。我们的研究发现，FPGA在DNN 研究中表现非常出色，可用于需要分析大量数据的AI、大数据，或机器学习等研究领域。使用 修剪的或简约数据（相对于全32位浮点数据（FP32）），被测试的 Intel Stratix10 FPGA 的性能优于GPU。除了性能外，FPGA的强大还源于它们具有 的适应性，通过重用现有的芯片可以轻松实现更改，从而使开发团队在六个月内从想法进展到原型，而构建一个
ASIC 需要18个月。”
测试中使用的神经网络机器学习
神经网络可以描述为通过加权边互连的神经元的图形。每个神经元和边分别与激活值和权重相关联，构成神经元层。图1为一个示例。
图1 深度神经网络概貌。（来源：英特尔）
神经网络计算会经过网络中的每个层。对于给定层，每个神经元的值通过相乘和累加上一层的神经元值和边权重来计算。计算非常依赖于多重累积运算。DNN计算包括正向和反向传递。正向传递在输入层采样，遍历所有隐藏层，并在输出层产生预测。对于推理，只需要正向传递以获得给定样本的预测。对于训练，来自正向传递的预测错误在反向传递中被反馈以更新网络权重。这被称为反向传播算法（back-propagation algorithm）。训练迭代地进行向前和向后传递以调整网络权重，直到达到期望的精度。
改变使得FPGA成为可行的替代方案
硬件：与高端GPU 相比，FPGA 具有卓越的能效（性能/ 瓦），但它们不具有高峰值浮点性能。FPGA技术正在迅速发展，即将推出的Intel Stratix 10 FPGA提供超过5,000个硬件浮点单元（DSP），超过28MB的片内RAM（M20Ks），与高带宽内存（高达 4x250GB/s/stack 或 1TB/s）的集成，以及 新HyperFlex技术提供的频率改进。英特尔FPGA
提供了一个全面的软件生态系统，从低级Hardware Deion 语言到具有OpenCL、C和C ++的更高级的软件开发环境。英特尔将进一步利用MKL-DNN库，针对Intel的机器学习生态系统和传统框架（如今天提供的Caffe）以及其他不久后会出现的框架对 FPGA进行调整。基于14nm工艺的英特尔Stratix 10在FP32吞吐量方面达到峰&# TFLOP/s。相比之下，最新的Titan X Pascal GPU的FP32吞吐量为11 TFLOP/s。
新兴的DNN算法：更深入的网络提高了精度，但是大大增加了参数和模型大小。这增加了对计算、带宽，以及存储的要求。因此，使用更为有效的DNN已成趋势。新兴趋势采用远低于32位的紧凑型低精度数据类型，16位和8位数据类型正在成为新的标准，因为它们得到了DNN软件框架（例如TensorFlow）的支持。此外，研究人员已经对极低精度的2位三进制和1位二进制 DNN 进行了持续的精度改进，其值限定为（0，+
1，-1）或（+ 1，-1）。Nurvitadhi博士 和他的合作者最近在一篇论文首次证明了ternary DNN（三进制化 DNN）可以在众所周知的ImageNet数据集上实现 先进水平的准确性。另一个新兴趋势是通过诸如修剪、ReLU 和ternarization (三进制化) 等技术在DNN神经元和权重中引入稀疏性（零点的存在），这可能导致DNN带有50％至90％的零点存在。由于不需要在 零点上进行计算， 只要执行这种稀疏DNN的硬件可以有效地跳过 零点计算，性能就能得到提升。
新兴的低精度和稀疏DNN算法，其效率较之传统的密集FP32 DNN有数量级的巨大改进，但是它们引入了GPU难以处理的不规则并行度和定制数据类型。反之，FPGA正是为极端的用性而设计的。在用于运行不规则并行度和自定义数据类型时，正能大显身手。这样的趋势使未来FPGA成为运行DNN、AI和ML应用的可行平台。黄先生说：“FPGA专用机器学习算法有更多的余量。”图2说明了FPGA的极端可定制性（2A），可以有效实施新兴的DNN（2B）。
图2 FPGA非常适合新兴的DNN
研究所用的硬件和方法
GPU：使用已知的库（cuBLAS）或框架（Torch with cuDNN）
FPGA：使用Quartus Early Beta版本和PowerPlay
图3：GEMM测试结果。GEMM是DNN中的关键操作。（来源：英特尔）
研究1：矩阵乘法（GEMM）测试
DNN 严重依赖GEMM。常规DNN依靠FP32密集GEMM。然而，较低的精度和稀疏的新兴DNN 依赖于低精度和/或稀疏的GEMM 。Intel 团队对这些GEMM进行了评估。
FP32 密集GEMM：由于FP32密集GEMM已得到了很好的研究，该团队比较了FPGA和GPU的数据手册上的峰值。Titan X Pascal的最高理论性能是11 TFLOP，Stratix 10 为9.2 TFLOP。图3A显示，带有更多DSP 数量的Intle Stratix 10 将提供比Intel Arria 10 更强大的FP32性能，和Titan X
的性能表现接近。
低精度INT6 GEMM：为了显示FPGA的可定制性优势，该团队通过将四个int6打包到一个DSP模块中，研究了FPGA的Int6 GEMM。对于本来不支持Int6 的GPU，他们使用了Int8 GPU 的峰值性能进行了比较。图3B显示，Intel Stratix 10 的性能优于GPU。FPGA比GPU提供了更引人注目的性能 /瓦。
极低精度的1位二进制GEMM：最近的二进制DNN 提出了非常紧凑的1bit数据类型，允许用xnor （异或非） 和位计数操作替换乘法，非常适合FPGA。图3C显示了 该团队的二进制GEMM 测试结果。可以看到，FPGA 基本上都表现得比GPU 好（即，根据频率目标的不同，为~2x 到 ~10x）。
稀疏GEMM：新出现的稀疏DNN包含许多零值。该团队在带有85％零值的矩阵上测试了一个稀疏的GEMM（基于已修剪的AlexNet）。该团队测试了 利用FPGA的灵活性以细粒度的方式来跳过零计算的 GEMM 设计。该团队还在 GPU 上测试了稀疏的 GEMM，但发现性能比在GPU 上执行密集的 GEMM 更差（相同的矩阵大小）。该团队的稀疏 GEMM 测试（图3D）显示，FPGA
可以比 GPU 表现更好，具体取决于目标 FPGA 的频率。
图4：DNN精度趋势，以及FPGA和GPU在三进制 ResNet DNN上的测试结果。（来源：英特尔）
研究2：使用三进制 ResNet DNN 测试
三进制DNN最近提出神经网络权重约束值为+1,0或-1。这允许稀疏的2位权重，并用符号位操作代替乘法。在本次测试中，该团队使用了为零跳跃、2位权重定制的FPGA设计，同时没有乘法器来优化运行Ternary-ResNet DNN 。
与许多其他低精度和稀疏的DNN 不同，三进制DNN可以提供与最先进的DNN（即ResNet）相比拟的精度，如图4A所示。“许多现有的GPU和FPGA研究仅针对基于AlexNet（2012年提出）的ImageNet的‘足够好’的准确性。先进的Resnet（在2015年提出）提供比AlexNet高出10％以上的准确性。在2016年底，在另一篇论文中，我们首先指出，Resnet上 采用低精度和稀疏三进制DNN 算法可以达到ResNet的精度的±1％的范围。这个三进制ResNet 正我们FPGA研究的目标。因此，我们首先论证，FPGA可以提供一流的（ResNet）ImageNet精度，并且可以比GPU更好地实现。”Nurvitadhi这么说。
图4B显示了 Intel Stratix 10 FPGA 和 Titan X GPU 在 ResNet-50上的性能和性能/瓦。即使保守估计，Intel Stratix 10 FPGA 也比 Titan X GPU 性能提高了约60％，中度和激进的估计会更好（2.1x和3.5x的提升）。有趣的是，Intel Stratix 10 750MHz的激进预估可以比 Titan X 的理论峰值性能还高35％。以性能/瓦考虑，从保守估计到激进估计，Intel Stratix 10 比 Titan X 要好2.3倍到4.3倍。
FPGA如何在研究测试中堆叠
结果表明，Intel Stratix 10 FPGA的性能（TOP /秒）比稀疏的、Int6 和二进制DNN的GEMM上的 Titan X Pascal GPU分别提高了10％、50％和5.4倍。在三进制 ResNet 上，Stratix 10 FPGA 的性能比Titan X Pascal GPU 提高了60％，而性能/瓦要好2.3倍。结果表明，FPGA 可能成为下一代DNN 加速的首选平台。
深度神经网络中FPGA的未来
FPGA 能否在下一代 DNN 的性能上击败 GPU？Intel对两代FPGA（Intel Arria 10和 Intel Stratix 10）以及最新的 Titan X GPU 的各种新兴DNN的评估显示，目前DNN算法的趋势可能有利于FPGA，而且FPGA甚至可以提供卓越的性能。虽然这些结论源于2016年完成的工作，Intel团队在继续测试Intel FPGA的现代DNN算法和优化（例如，Winograd FFT算法、激进的量化、压缩等）。该团队还指出，除了DNN之外，FPGA在其他不规则应用以及潜敏感应用（如ADAS）和工业应用等领域也有机会。
“目前使用32位密集矩阵乘法的机器学习问题是GPU体现优势的领域”，Huang表示：“我们鼓励其他开发人员和研究人员与我们一起重新表述机器学习问题，以充分发挥FPGA对于更小位数处理能力的优势，因为 FPGA 可以很好地适应向低精度的转变。”
我的热门文章}