关于用Datastage做FTP文件传输的作业
马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
才可以下载或查看，没有帐号？
最近遇到一个需求，需要将多台机器上的一些文件用FTP方式取过来，然后再把这些文件送到一台备份服务器上去。也就是说并不对文件的内容进行解析，只是简单的作为一个FTP的传输中介（领导要求的）。请问有这样做得吗？小弟只是做过用FTP控件对远程计算机上文件的解析，存入数据表的工作，不知道这种整体文件搬迁的操作方式，DS能不能做，敬请指教~
大家看了怎么都不说话呢
给个说法啊，谢谢
非得用DS做吗？写两个命令不就搞定了
实在要用的话，就用DS来调OS命令就行了
不是非得用DS做
是我们领导觉得用DS做能够实现更好的效果，他认为DS的FTP控件能够实现不解析文件，只传输文件的功能，可我用FTP控件的时候，有些选项是必填的，不填不能编译，比如“列分隔符”那种。说只能用DS调Shell的方式，领导又不认可~特来取经
还真没研究过DS的FTP，有机会研究一下
系统装还原精灵，启动后下次还要检测还原精灵关掉后，不检测了不知道是不是还原精灵搞的鬼?
还没搞过！项目中没用到FTP！帮顶！
[ 本帖最后由 thirdline 于
22:13 编辑 ]
如果你非要用这ds去搞，只能先用&FTP Plug in& stage 通过ftp的的方式读取远程服务器上的文件
然后在通过&FTP Plug in& stage 写到另外的ftp服务器上。
stage对文件有格式要求，若格式有问题会导致两边的文件不一样。
建议用shell之类的写个脚本，调用你可以用ds去调
[ 本帖最后由 luwp 于
16:52 编辑 ]
头像被屏蔽
提示: 作者被禁止或删除 内容自动屏蔽
我们用别的方式来实现这个需求了，这个确实不适合用DS做。谢谢！
使用 (可批量传图、插入视频等)快速回复
Powered by Discuz! X3.2
Comsenz Inc.LFT-商行数据中心规划_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
文档贡献者贡献于
评价文档：
暂无相关推荐文档
LFT-商行数据中心规划|
把文档贴到Blog、BBS或个人站等：
普通尺寸(450*500pix)
较大尺寸(630*500pix)
大小：10.64MB
登录百度文库，专享文档复制特权，财富值每天免费拿！
你可能喜欢新手园地& & & 硬件问题Linux系统管理Linux网络问题Linux环境编程Linux桌面系统国产LinuxBSD& & & BSD文档中心AIX& & & 新手入门& & & AIX文档中心& & & 资源下载& & & Power高级应用& & & IBM存储AS400Solaris& & & Solaris文档中心HP-UX& & & HP文档中心SCO UNIX& & & SCO文档中心互操作专区IRIXTru64 UNIXMac OS X门户网站运维集群和高可用服务器应用监控和防护虚拟化技术架构设计行业应用和管理服务器及硬件技术& & & 服务器资源下载云计算& & & 云计算文档中心& & & 云计算业界& & & 云计算资源下载存储备份& & & 存储文档中心& & & 存储业界& & & 存储资源下载& & & Symantec技术交流区安全技术网络技术& & & 网络技术文档中心C/C++& & & GUI编程& & & Functional编程内核源码& & & 内核问题移动开发& & & 移动开发技术资料ShellPerlJava& & & Java文档中心PHP& & & php文档中心Python& & & Python文档中心RubyCPU与编译器嵌入式开发驱动开发Web开发VoIP开发技术MySQL& & & MySQL文档中心SybaseOraclePostgreSQLDB2Informix数据仓库与数据挖掘NoSQL技术IT业界新闻与评论IT职业生涯& & & 猎头招聘IT图书与评论& & & CU技术图书大系& & & Linux书友会二手交易下载共享Linux文档专区IT培训与认证& & & 培训交流& & & 认证培训清茶斋投资理财运动地带快乐数码摄影& & & 摄影器材& & & 摄影比赛专区IT爱车族旅游天下站务交流版主会议室博客SNS站务交流区CU活动专区& & & Power活动专区& & & 拍卖交流区频道交流区
空间积分0 信誉积分100 UID305215阅读权限10积分3帖子精华可用积分3 专家积分0 在线时间9 小时注册时间最后登录
白手起家, 积分 3, 距离下一级还需 197 积分
帖子主题精华可用积分3 专家积分0 在线时间9 小时注册时间最后登录
论坛徽章:0
哪位大侠能告诉我在datastage routine里面获得一个文件的行数和一个数组的长度呢?
下面是我的代码，我想获得一个文件的行,然后放到一个数组里面
$INCLUDE DSINCLUDE JOBCONTROL.H
PathName = &/IBM/InformationServer/Server/Projects/rwa/ParameterSets/Path_para/Path_para3.ini&
EtlDate8 = &&
EtlDate6 = &ETLDATE_6=&
Dim tmpArray(10)
OpenSeq PathName To FileVar Else
& &Ans = 1
& &GoTo ErrorExit
& &ReadSeq FileLine From FileVar
& &On Error
& && &Ans = 1
& && &GoTo ErrorExit
& && &if(SubStrings(FileLine,0,9)=&ETLDATE_8&quot Then
& && && & EtlDate8 = SubStrings(FileLine,11,Len(FileLine))
& && && & EtlDate6 = EtlDate6:SubStrings(EtlDate8,3,Len(EtlDate)
& && &if(SubStrings(FileLine,0,9)=&ETLDATE_6&quot Then
& && && & FileLine = EtlDate6
& && &tmpArray(i) = FileLine
& && &i = i+1
& &End Else
& && &Exit& && &
CloseSeq FileVar
ErrorExit:
CloseSeq FileVar
Return(Ans)
hello world
&&nbsp|&&nbsp&&nbsp|&&nbsp&&nbsp|&&nbsp&&nbsp|&&nbsp
空间积分0 信誉积分100 UID305215阅读权限10积分3帖子精华可用积分3 专家积分0 在线时间9 小时注册时间最后登录
白手起家, 积分 3, 距离下一级还需 197 积分
帖子主题精华可用积分3 专家积分0 在线时间9 小时注册时间最后登录
论坛徽章:0
有人知道么????
hello world
空间积分0 信誉积分110 UID阅读权限0积分200帖子精华可用积分200 专家积分0 在线时间51 小时注册时间最后登录
帖子主题精华可用积分200 专家积分0 在线时间51 小时注册时间最后登录
论坛徽章:0
提示: 作者被禁止或删除 内容自动屏蔽
北京皓辰网域网络信息技术有限公司. 版权所有 京ICP证:060528号 北京市公安局海淀分局网监中心备案编号：
广播电视节目制作经营许可证(京) 字第1234号
中国互联网协会会员&&联系我们：
感谢所有关心和支持过ChinaUnix的朋友们
转载本站内容请注明原作者名及出处你的位置： &&
使用 DataStage Java Integration Stage 和 Java Pack 从 Excel 源文件中提取数据
使用 DataStage Java Integration Stage 和 Java Pack 从 Excel 源文件中提取数据
简介IBM InfoSphere Information 服务器由一套可帮助企业从遍布多个数据源系统的信息中获取业务价值的数据集成产品组成。它有助于以某种具有成本效益的方式从多个异构数据源中分析、清理和集成信息。有了 IBM InfoSphere Information Server，企业能够以较低的成本和风险提高其运营效率。IBM Information Server DataStage 是一个 ETL 产品，可帮助组织提取、转换和加载来自异构数据源的数据。DataStage 可使用其高性能并行框架通过集成各种数据源来解决复杂的业务问题。DataStage Java Integration Stage 和 DataStage JavaPack plug-insJava Integration Stage 是一个 DataStage Connector，可以使用它从 InfoSphere Data Stage 和 Quality Stage 并行任务中调用一个自定义 Java 应用程序。Java Integration Stage 在 IBM InfoSphere Information Server 9.1 或更高版本中提供。Java Integration Stage 可用于以下拓扑结构中：作为一个源、作为一个目标、作为一个转换器、作为一个查找阶段。DataStage Java Pack 是两个插件阶段（Java Transformer 和 Java Client）的集合，可以通过它来调用 DataStage 中的 Java 应用程序。Java Pack 在 DataStage 7.5.x 或更高版本中提供。Java Transformer 阶段是一个主动阶段，用于调用一个 Java 应用程序，该应用程序可读取输入数据并对其进行转换，然后将其写入 DataStage 作业中定义的输出链接。Java Client 阶段是一个被动阶段，可作为一个源、一个目标以及一个查找阶段使用。作为目标阶段使用时，Java Client Stage 将使用数据。作为一个查找阶段时，Java Client Stage 将执行查找功能。您可以使用 Java Integration Stage（Unstructured Data Stage）或者任何 Java Pack Stages 来提取 Excel 数据。具体情况取决于部署的 Information Server 版本。如果您使用的是 Information Server 9.1，那么可以使用 Unstructured Data Stage 或 Java Integration Stage 来提取 Excel 数据。如果您使用的是 9.1 之前的版本（比如，8.7.x、8.5.x、8.1.x、8.0.1 和 7.5.x），则必须使用 Java Pack Stages（Java Transformer Stage 或 Java Client Stage）从 Excel 文件中提取数据。本文将介绍如何使用 Java Integration Stage 和 Java Pack Client Stage 来提取 Excel 数据。DataStage Java Integration Stage 和 Java Client Stage GUI 属性Java Integration Stage GUIJava Integration Stage 和 Java Client Stage 在 DataStage Designer Palette 的 Real Time 阶段提供。要使用 Java Integration Stage 和 Java Pack Stages，需要启动 DataStage Designer，创建一个新作业，扩展 Palette 中的 Real Time Stages 类别，然后拖拽该阶段。图 1. Palette 中的 Java Integration Stage 和 JavaPack Stages Java Integration 阶段根据不同的使用环境（源、目标和查找）支持不同的属性。必须配置阶段属性来定义 Java 虚拟机配置以及从 Java Integration 阶段调用的 Java 类。输入链接和输出链接属性必须根据作业设计进行配置。图 2. 阶段属性Stage 名称包含用户定义的 Stage 名称。Description 包含 Stage 描述。Java 包含 JVM 属性。Classpath 包含 Java 类路径。使用分号 “;” 作为路径分隔符。 Heap size (MB) 包含堆栈大小（以 MB 为单位），这对应于 -Xmx 命令行选项，最小允许值为 128。默认值为 256。Optional JVM 选项包含 Java Virtual Machine 命令行选项。User 类包含从 Stage 运行的 Java 类名称。使用用户定义函数确定是否使用了用户定义函数或 Java Integration 阶段类的实现。用户函数包含阶段将要调用的 Java Class 方法。自定义属性包含在运行时传递给 Java Class 的自定义阶段属性。图 3. 输出属性使用 Properties 选项卡中的属性将 Java Integration Stage 配置为一个源。Properties 选项卡仅对输出链接可用，对拒绝链接不可用。自定义属性指定了在运行时传递给用户类的自定义阶段属性。是否为拒绝链接（兼容性）指出流链接是否为拒绝链接。仅用在运行 Java Transformer 代码时。默认值为 NO。列映射指出了 DataStage 列和 bean 属性之间的映射。该属性是通过 Column Mapping Editor 窗口设置的。JavaBeans 类指出了与该链接相关的 JavaBeans 类。该属性是通过 Column Mapping Editor 窗口设置的。Java Pack Client Stage GUI图 4. Java Client Stage 属性Transformer Class Name 包含阶段运行的类名。用户的类路径包含 Java 类路径，使用一个分号 “;” 作为路径分割符。Description 包含阶段描述。图 5. Java Client Stage User Properties用户的属性包含在运行时传递给 Java 类的用户属性。图 6. Java Client StageOptions可在 Option 字段指定不同的 JVM 选项。Java Integration Stage 和 Java Pack APIJava Integration Stage 和 Java Pack Stages 允许外部 Java 应用程序通过公开 API 来访问 DataStage 和 Quality Stage。外部 Java 应用程序必须使用 Java Integration API 进行开发，以便获取对 DataStage 和 Quality Stage 的访问。Java Integration Stage API：com.ibm.is.cc.javastage.api.Processor 的一个子类。该子类作为 ccjava-api.jar 文件的一部分提供。
最新热门tag}