求助hadoop集群的安全问题上的ifort问题

【图文】浪潮天梭系统集群培训资料_百度文库
两大类热门资源免费畅读
续费一年阅读会员,立省24元!
浪潮天梭系统集群培训资料
大小:3.58MB
登录百度文库,专享文档复制特权,财富值每天免费拿!
你可能喜欢Linux下MPI并行编程环境搭建配置
作者:&&日期:
转载自&本文永久链接地址:
MPI的全称是Message Passing
Interface即标准消息传递界面,可以用于并行计算。MPI有多种实现版本,如MPICH,
CHIMP以及OPENMPI。这里我们采用MPICH版本。
一、MPICH安装
tar -xzvf soft/mpich-3.0.4.tar.gz
cd mpich-3.0.4/
./configure --prefix=/usr/local/mpich
make && make install
安装后加入环境变量/etc/profile,并执行&source
/etc/profile
PATH=$PATH:/usr/local/mpich/bin
MANPATH=$MANPATH:/usr/local/mpich/man
export PATH MANPATH
二、单节点测试
复制源代码包下的examples目录到安装目录下
cp -r examples/ /usr/local/mpich
mpirun -np 10 ./examples/cpi
输出结果如下:
Process 0 of 10 is on server150
Process 9 of 10 is on server150
Process 1 of 10 is on server150
Process 4 of 10 is on server150
Process 5 of 10 is on server150
Process 7 of 10 is on server150
Process 2 of 10 is on server150
Process 3 of 10 is on server150
Process 6 of 10 is on server150
Process 8 of 10 is on server150
pi is approximately 3.1256, Error is
wall clock time = 0.020644
如果我们现在想编译文件: 在/home/houqingdong下执行:& mpicc -o
hello& hello.c&
这时候会提醒:-bash:mpicc& command not found
这是因为我们还没有配置路径
在命令行下输入: export
PATH=/home/houqingdong/mpiexe/bin:$PATH&&
注意:这里仅仅是暂时的设置路径,在重启后效果会消失,如果想一劳永逸的配置,请google查询
看一下我们配置是否成功可以执行一下& echo $PATH 看一下输出结果中是否有我们的路径
三、集群配置
1、集群机器上面需要配置ssh登录权限。参考:&中的ssh配置(密钥无密码登录)部分。
2、复制编译程序到其他机器上面
scp -r mpich server140:/usr/local/
scp -r mpich server151:/usr/local/
scp -r mpich server130:/usr/local/
scp -r mpich server143:/usr/local/
同时在每台机器上面相应加入环境变量中。
在/usr/local/mpich 下新建servers文件,内容如下:
server150:2 #run 2 process
server140:2
server130:2
server143:2
server151:2
执行下面命令,并指定servers文件
mpiexec -n 10 -f servers ./examples/cpi
Process 0 of 10 is on server150
Process 1 of 10 is on server150
Process 4 of 10 is on server140
Process 5 of 10 is on server140
Process 6 of 10 is on server143
Process 7 of 10 is on server143
Process 8 of 10 is on server130
Process 9 of 10 is on server130
Process 2 of 10 is on server151
Process 3 of 10 is on server151
pi is approximately 3.1256, Error is
wall clock time = 0.018768
四、参考资料
已投稿到:
以上网友发言只代表其个人观点,不代表新浪网的观点或立场。[转载]Rocks集群上quantum-espresso(pwscf)安装
已有 4135 次阅读
|个人分类:|系统分类:|关键词:class|文章来源:转载
Rocks集群上quantum-espresso(pwscf)安装
有很多内容参考:&
将软件espresso-4.2.tar.gz fftw-3.2.2.tar.gz lapack-3.3.0.tgz复制到/share/apps,并解压
intel编译器和impi的安装将我的另一篇博文《》
在root用户下:
一. 安装 blas and lapack
解压之后,进入 LAPACK&
cd &/share/apps/lapack-3.3.0
cp make.inc.example &&make.inc&&&
修改make.inc:
FORTRAN&&=&ifort&&OPTS&&&&&=&-funroll-all-loops&-O3&DRVOPTS&&=&$(OPTS)NOOPT&&&&=LOADER&&&=&ifortLOADOPTS&=
修改 Makefile :
lib: lapacklib tmglib
lib:&blaslib &lapacklib tmglib
然后 make (需要很长时间)
然后生成& blas_LINUX.a, lapack_LINUX.a,分别更名为libblas.a liblapack.a&
&以备pwscf 使用。
二. fftw& 安装
cd &/share/apps/fftw-3.2.2
env CC=gcc F77=ifort &./configure&--prefix=/share/apps/fftw&--enable-mpi & &
make&&&&&make install&
四. 进入 quantum-espresso& 安装目录(在普通用户下),
./configure F90=ifort MPIF90=mpiifort F77=ifort &CC=gcc&
生成 make.sys,而且屏幕上显示
The following libraries have been found:
&&BLAS_LIBS=/share/apps/espresso-4.2/BLAS/blas.a
&&LAPACK_LIBS=/share/apps/espresso-4.2/lapack-3.2/lapack.a
&&FFT_LIBS= -lfftw3&
Please check if this is what you expect.
表明软件检测到的lapak和blas库是软件自带的,
打开make.sys,作如下修改:
&将94-95行 &BLAS_LIBS & & &= /share/apps/espresso-4.2/BLAS/blas.a
&& & & & & & BLAS_LIBS_SWITCH = internal
改为&BLAS_LIBS & & &= -L/share/apps/lapack-3.3.0&-lblas
&& & BLAS_LIBS_SWITCH = external
&107-108行&LAPACK_LIBS & &= /share/apps/espresso-4.2/lapack-3.2/lapack.a
&BLAS_LIBS_SWITCH = internal
改为&&&LAPACK_LIBS & &= &&-llapack
&& & &LAPACK_LIBS_SWITCH = external
(还有这里检测到的fftw库似乎是我过去安装的mkl的fftw库,可以使用
若是没有检测到任何fftw库或者要使用刚才安装的fftw库,作如下修改
FFT_LIBS & & & = &-lfftw3
改为 FFT_LIBS & & & = &-L/share/apps/fftw/lib &-lfftw3
然后 make& all
出现&warning #5117: Bad # preprocessor line
据pwscf论坛上说:
& : warning #5117: Bad # preprocessor line not sure why this message is issued, but it is harmless
编译成功 !!!
将安装目录/bin加入环境变量
转载本文请联系原作者获取授权,同时请注明本文来自宋文雄科学网博客。链接地址:
上一篇:下一篇:
当前推荐数:0
评论 ( 个评论)
扫一扫,分享此博文
作者的其他最新博文
热门博文导读
Powered by
Copyright &求助集群上的ifort问题
求助集群上的ifort问题
学校集群有十几个节点,采用的是NFS,CONSOLE装的是INTEL FORTRAN 编译器,在其它节点运行FORTRAN程序一切正常,其中一个节点上
#ifort *.f90
ld: /lib/for_main.o: No such file: No such file or directory
但是每个用户执行一下
source /opt/intel/Compiler/11.1/059/bin/ifortvars.sh intel64后,ifort就OK啦
如果用户logout,又会重复ld: /lib/for_main.o: No such file: No such file or directory
只有再source一下罗
请教给位高手,帮我解释一下,然后如何logout后还能正常ifort!!
是环境变量设置问题。不同shell语法不同的。
用source的话那shell应该就是bash了吧。把那句source加到~/.bashrc里就好了。如果是改全局的就是加到/etc/profile里也行。
请问同样的配置,NFS挂载点也是一样,为什么这个节点出现这个情况?
信息太少,不能确定。不是很清楚你说的集群是怎么个情况。
首先感谢你的帮忙,我们的集群配置十几台lenovo的万全服务器,OS是red hat 企业版5.0,可以跑mpi程序,但是会mpi的不多,所以又在console节点上安装了intel fortran编译器,将安装目录通过NFS挂载到其他子节点上去,然后同样的配置了一下各个子节点的环境变量,除了一号节点不能正常ifort之外,其他的节点都可以正常跑fortran程序。所有的子节点配置都是一样的,我就在纳闷为什么一号节点出现这种现象?
你说的配置都是一样的不知道是怎么确定的。不过简单地说像这种环境变量问题你可以diff env的输出吧。很可能是LDPATH不同。然后再分析一下正常的节点的设置是哪里来的,比如/etc/ld.conf什么的。最极端的办法还可以difftree 两个节点的/etc目录,相信总有不同的地方吧。小木虫 --- 600万学术达人喜爱的学术科研平台
热门搜索:
&&求助--Openmpi-1.8集群编译问题
求助--Openmpi-1.8集群编译问题
各位大侠,本人纯属菜鸟,最近出于好奇,爱好,兴趣。。。。。搞了几台台古董,想自己搭建集群,怎奈基础不牢,从开始到现在快两个周了,还没有成功,废话不多说,上问题,忘各位不吝赐教。
硬件环境:1台浪潮服务器:2个CPU,两核,Intel Xeon 2.4GHz. 2台并行机,1个CPU,Pentium D 3.4GHz,1000M交换机。
软件:redhat linux 6.2,Intel l_fcompcxe_2013_sp1.2.144 & l_ccompcxe_3013_sp1.2.144, Openmpi-1.8,目标是并行编译安装vasp5.2,实现并行运算。
目前进行到单机并行编译VASP,运算没有问题,但是无法实现集群并行运算。我感觉问题出现在Openmpi上,经过我自己的测试,编译Openmpi用以下指令:
./configure --prefix=/usr/local/openmpi-1.8 FC=/opt/intel/bin/ifort CC=/opt/intel/bin/icc CXX=/opt/intel/bin/cipc
make install
后测试运行hello_c
hello, world, I am 0 of 2,.....
hello, world, I am 1 of 2,....
如果修改openmpi-default-hostfile添加各节点;
LAB-P1 slots=1
LAB-P2 slots=2
mpirun hello_c
得到结果如下:
bash: orted: command not found
bash: orted: command not found
请问各位大侠,是我的openmpi 没有编译对吗?如果是,问题出在哪?我该怎么做?如果不是又该怎么处理呢?
作了共享了,我先学习下
大侠,你是用的mpi﹉
mpi和openmpi不一样吧 大侠多指教
mpi并行软件有几种:mpich2 mpich&&openmpi&&intel-mpi&&Hp-mpi
但是基本都是一样,只是开发者不同而已。现在多用openmpi,因为是开源的。但是跟mipch或者mpich2区别不大,其实根本就没有区别。都是mpi,用来做并行计算的代码。
你现在的问题,不是集群装个MPI就能并行了。需要设置磁盘共享,网络共享,数据同步等相关服务。装mpi只是给你提供一个并行服务,并不能在没有前面相关支持下就能两台不相干的机器就能并行。
生成动态和静态库有何区别?
大侠,您好说的我知道,几个软件都提供并行环境,但是参数还是有区别的吧?谢谢
那好吧,编译的参数没有区别。你都编译成功了,且能单机运行就说明没有问题。现在你是不能两台机器并行,不是的mpi的问题。
还有mpi编译这个问题是个简单问题,指定环境变量即可。任何软件的编译基本上都没有区别。
你是要如何实现两台机器并行,而不是在纠正我编译的参数有么有问题。
我可以明确告诉你,你的参数没有什么问题。
谢谢大侠指导,那么我现在mpi编译没有问题的话,为何我在hostfile里面制定了节点信息后无法正确运行测试文件hello_c呢?问题应该出现在哪儿呢,请大侠赐教,谢谢
感谢大侠帮忙,我看了看说明书,有以下问题:
1:关于icpc,说明书上还是在哪儿看过一次,说是intel编译器早期版本用icc,后来变成了icpc,我想这里用icpc应该是对的。。。。
2:我已经在/root/.bash_profile和/etc/profile中添加环境变量,reboot后which mpirun
/usr/local/openmpi-1.8/bin/miprun
3:我用您给的命令格式运行了一下,依然提示错误。说明书中说的好像hostfile默认就是..../openmpi-1.8/etc/openmpi-default-hosts
已经弄了快一个月了,大侠帮忙啊
一个问题:
运行mpi你是在root用户下,而不是别的用户?
是的,都是在root用户下
你在计算的当前目录下建立一个hosts,里面内容按说明书来。
然后运行试一试:mpirun -hostfile ./hosts -np 2 ./a.out
您好,我在计算目录下进行如下操作:
LAB-P1 slots=1
LAB-P2 slots=2
mpirun --hostfile ./hosts -np 2 hello_c ./a.out
bash: orted: command not found
bash: orted: command not found
您有其他联系方式吗,方便加我吗?谢谢
同样错误说明还是没有找到mpirun
您好,现在我在默认的hostfiles里面不指定节点,(说明里面说是单机运行),则:
mpirun hello_c ./a.out
hello world I am 0 of 2
hello world I am 1 of 2
说明单机情况下可以找到mpirun
多机并行找不到?
可以这样理解吗
第二台机器上是否能找到?你是否在第二台机器上也安装了mpi,若是没有肯定找不到
您好,我直接指定的目录
/usr/local/openmpi-1.8/bin/ mpirun hello_c
erro while loading shared libraries: libsvml.so: cannnot open shared object file: No such file or directory
可我在环境变量LD_LIBRARY_PATH里面已经添加了路径了啊
到底怎么回事儿,请大侠帮忙分析,谢谢
三台机器都安装了mpi,问题可能出现在共享上面,我现在的情况需要共享那个目录呢?是/usr还是他下面的local?谢谢
看来还是环境变量的问题,没有找到这个文件。
你是以找找:
# updatedb
# locate&&libsvml.so
您好,我执行了以上操作,可以找到该文件:
#locate libsvml.so
/opt/intel/composer_xe_2013_sp1.2.144/compiler/lib/ia32/libsvml.so
我已经把该路径添加到LD_LIBRARY_PATH中了。。。。
source /opt/intel/composerxe/bin/compilervars.sh intel64
source /opt/intel/composerxe/mkl/bin/mklvars.sh intel64 lp64
学术必备与600万学术达人在线互动!
扫描下载送金币}

我要回帖

更多关于 集群注册问题 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信