您所在位置： &
&nbsp&&nbsp&nbsp&&nbsp
序列分析并行处理技术研究.pdf72页
本文档一共被下载：
次 ,您可免费全文在线阅读后下载本文档
文档加载中...广告还剩秒
需要金币：200 &&
你可能关注的文档：
··········
··········
分类号婴31
工学硕士学位论文
序列分析并行处理技术研究
硕士生姓名
让簋扭叠堂皇垫盔
i土箕扭应用挂盎
鉴盎型丑窥虽
国防科学技术大学研究生院
二oo五年十二月
国防科学技术人’学研究生院学何论文
生物信息学是一门综合利用生物学、计算机科学、数学等学科知识的新兴交叉学科，
其主要任务是揭示海量生物学数据中蕴含的生物学意义、探索生命活动的奥秘。提高生物
序列处理性能是生物信息学研究的重要课题。针对不同计算环境，开发高效的序列处理并
行算法是本课题的研究重点。
本文在深入分析当前生物序列处理研究现状的基础上，以提高序列处理性能为目标，
基于共享存储环境、分布存储环境以及网格计算环境等不同计算环境，使用不同并行处理
技术，解决大规模基因组序列处理中所遇到的实际困难，如可扩展性差、计算速度慢等。
可扩展性，本文提出一种基于序列划分策略的两级并行算法，采用动态负载平衡方案，通
Toolkit网格中间件，在网格环境下实现该并行算法。
对以上算法分别进行测试，试验结果表明算法是高效可行的。
关键词：生物信息序列比对和拼接并行处理共享存储分布存储网格计算环境
正在加载中，请稍后...并行实验室 | Parallel Labs - Part 4 下载
 收藏
该文档贡献者很忙，什么也没留下。
 下载此文档
正在努力加载中...
基于集群系统并行图像处理算法设计与实现
下载积分：2000
内容提示：
文档格式：PDF|
浏览次数：0|
上传日期： 02:53:58|
文档星级：
该用户还上传了这些文档
下载文档:基于集群系统并行图像处理算法设计与实现.PDF
官方公共微信|||||| 更多
比特客户端
我们也在这里：
Hadoop并行计算原理与分布式并发编程
并发 并行计算
　　我们通常说的分布式系统其实是分布式软件系统，即支持分布式处理的软件系统，它是在网络互联的多处理机体系结构上执行任务的，包括分布式、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式系统等。是分布式软件系统中文件系统这一层的软件，它实现了分布式文件系统和部分分布式数据库的功能。Hadoop中的分布式文件系统HDFS能够实现数据在计算机集群组成的云上高效的和管理，Hadoop中的并行编程框架MapReduce能够让用户编写的Hadoop并行应用程序运行更加简化。下面简单介绍一下基于Hadoop进行分布式并发编程的相关知识：
　　Hadoop上的并行应用程序开发是基于MapReduce编程框架的。MapReduce编程模型的原理是：利用一个输入的key/value 对集合来产生一个输出的key/value 对集合。MapReduce库的用户用两个函数来表达这个计算：Map和Reduce。
　　用户自定义的map函数接收一个输入的key/value 对，然后产生一个中间key/value 对的集合。MapReduce把所有具有相同key值的value集合在一起，然后传递给reduce函数。
　　用户自定义的reduce函数接收key和相关的value集合。reduce函数合并这些value值，形成一个较小的value集合。一般来说，每次reduce函数调用只产生0或1个输出的value值。通常我们通过一个迭代器把中间的value值提供给reduce 函数，这样就可以处理无法全部放入内存中的大量的value值集合了。
　　下图是MapReduce的数据流图，这个过程简而言之就是将集为成百上千个小数据集，每个(或若干个)数据集分别由集群中的一个节点(一般就是一台普通的计算机)进行处理并生成中间结果，然后这些中间结果又由大量的节点合并，形成最终结果。下图也指出了MapReduce框架下并行程序中的三个主要函数：map、reduce、main。在这个结构中，需要用户完成的工作仅仅是根据任务编写map和reduce两个函数。
　　▲图 MapReduce的数据流图
　　MapReduce计算模型非常适合在大量计算机组成的大规模集群上并行运行。上图中的每一个map 任务和每一个reduce 任务均可以同时运行于一个单独的计算节点上，可想而知，其运算效率是很高的，那么这样的并行计算是如何做到的呢?下面将简单介绍一下其原理。
　　1.数据分布存储
　　Hadoop分布式文件系统(HDFS)由一个名称节点(NameNode )和N个数据节点 (DataNode)组成，每个节点均是一台普通的计算机。在使用方式上HDFS与我们熟悉的单机文件系统非常类似，它可以创建目录，创建、复制和删除文件，以及查看文件的内容等。但HDFS底层把文件切割成了Block，然后这些 Block 分散地存储于不同的 DataNode 上，每个 Block 还可以复制数份数据存储于不同的 DataNode 上，达到容错容灾的目的。NameNode 则是整个 HDFS 的核心，它通过维护一些数据结构来记录每一个文件被切割成了多少个 Block、这些 Block 可以从哪些 DataNode 中获得，以及各个 DataNode 的状态等重要信息。
　　2. 分布式并行计算
　　Hadoop 中有一个作为主控的 JobTracker，用于调度和管理其他的 TaskTracker，JobTracker 可以运行于集群中的任意一台计算机上。TaskTracker则负责执行任务，它必须运行于 DataNode 上，也就是说DataNode 既是数据存储节点，也是计算节点。 JobTracker 将 map 任务和 reduce 任务分发给空闲的 TaskTracker，让这些任务并行运行，并负责监控任务的运行情况。如果某一个 TaskTracker 出了故障，JobTracker 会将其负责的任务转交给另一个空闲的 TaskTracker 重新运行。
　　3. 本地计算
　　数据存储在哪一台计算机上，就由哪台计算机进行这部分数据的计算，这样可以减少数据在网络上的传输，降低对网络带宽的需求。在 Hadoop 这类基于集群的分布式并行系统中，计算节点可以很方便地扩充，它所能够提供的计算能力近乎无限，但是由于数据需要在不同的计算机之间流动，故网络带宽变成了瓶颈，“本地计算”是一种最有效的节约网络带宽的手段，业界把这形容为“移动计算比移动数据更经济”。
　　4. 任务粒度
　　把原始大数据集切割成小数据集时，通常让小数据集小于或等于 HDFS 中一个 Block 的大小(默认是64MB)，这样能够保证一个小数据集是位于一台计算机上的，便于本地计算。有 M 个小数据集待处理，就启动 M 个 map 任务，注意这 M 个map 任务分布于 N 台计算机上，它们会并行运行，reduce 任务的数量 R 则可由用户指定。
　　5. 数据分割(Partition)
　　把 map 任务输出的中间结果按 key 的范围划分成R份(R是预先定义的reduce 任务的个数)，划分时通常使用 hash 函数(如：hash(key) mod R)，这样可以保证某一范围内的 key一定是由一个 reduce 任务来处理的，可以简化 Reduce 的过程。
　　6. 数据合并(Combine)
　　在数据分割之前，还可以先对中间结果进行数据合并(Combine)，即将中间结果中有相同 key的 对合并成一对。Combine 的过程与reduce 的过程类似，很多情况下可以直接使用reduce 函数，但 Combine 是作为map 任务的一部分，在执行完map函数后紧接着执行的。Combine 能够减少中间结果中 对的数目，从而降低网络流量。
　　7. Reduce
　　Map 任务的中间结果在做完 Combine 和 Partition 之后，以文件形式存于本地上。中间结果文件的位置会通知主控 JobTracker，JobTracker 再通知 reduce 任务到哪一个 DataNode 上去取中间结果。注意，所有的map 任务产生的中间结果均按其key 值用同一个 hash 函数划分成了R份，R个reduce 任务各自负责一段key 区间。每个reduce 需要向许多个map 任务节点取得落在其负责的key 区间内的中间结果，然后执行reduce函数，形成一个最终的结果文件。
　　8. 任务管道
　　有 R 个 reduce 任务，就会有 R 个最终结果，很多情况下这 R 个最终结果并不需要合并成一个最终结果，因为这 R 个最终结果又可以作为另一个计算任务的输入，开始另一个并行计算任务，这也就形成了任务管道。
　　这里简要介绍了在并行编程方面Hadoop中MapReduce编程模型的原理、流程、程序结构和并行计算的实现，MapReduce程序的详细流程、编程接口、程序实例等请参见后面章节。
相关文章：
[ 责任编辑：杨瑗嘉 ] &&&&
软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯，最新的软件技巧，最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中，与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊！
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧，帮助网管答疑解惑，成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一，主要关注x86服务器，RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析，让您第一时间了解服务器行业的趋势。
比特存储周刊长期以来，为读者提供企业存储领域高质量的原创内容，及时、全面的资讯、技术、方案以及案例文章，力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
比特安全周刊通过专业的信息安全内容建设，为企业级用户打造最具商业价值的信息沟通平台，并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比，比特安全周刊运作模式更加独立，对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事，为企业级用户打造重点突出，可读性强，商业价值高的信息共享平台；同时为互联网、IT业界及通信厂商提供一条精准快捷，渗透力强，覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展，全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托，汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台，并持续提供丰富的资讯和服务，探讨信息化建设，推动中国信息化发展引领CIO未来职业发展。
IT专家新闻邮件长期以来，以定向、分众、整合的商业模式，为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容，包括IT新闻、评论、专家答疑、技巧和白皮书。此外，IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊是一份IT人的技术娱乐周刊，给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍，同时用户还能参与我们推荐的互动游戏，给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。
微信扫一扫
关注Chinabyte扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
基于CUDA的三角形并行处理
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口}