时而奋发，时而萎靡
大数据之数仓平台设计思路01
对于大数据来说，数仓的作用不言而喻，承载着整个公司全业务线的数据，现阶段，在hadoop上的数仓主要是用来解决企业内部数据的分析，尤其是各种各样的统计分析报表。本文主要结合自己公司目前数仓的结构设计和现阶段解决的问题而叙述和分享，如有不明，错误之处，各位看官可指出，非常感谢！
下图为数仓整体的技术架构：
一个优秀可靠的数仓，一定要结构、分层清晰，而不是越多的分层和主题越好，保障清晰的状态下，能够快速找到数据的位置。主题域的划分，完全可按照公司内部的业务线和结构去划分。
图中BDL层，作为缓冲数据层，其实就是贴数据层，和源数据表相同的表。直接用源库（传统关系型业务库）抽取数据，只存每天最新的数据快照（主要是增量数据）
BAK层是BDL层抽数，保存的是全历史业务数据，起备份和查错的作用。
FDL层是基础数据层，是基于主题、数仓模型开发的基础数据表。这里主要用到了范式建模法和维度建模法（即星型模型）包含最细粒度的数据，故称基础数据层，通俗的理解，这才是整个数仓的最核心的基础数据层，因为BAK层和BDL层的数据表结构跟业务库的数据是完全一致的，而FDL层的数据才是开始进行真正意义上的第一次清洗，不要的字段去除，不规范的字段命名去除，统一数据，规范标准化的一个过程。
GDL层是通用数据层，就是宽表层。也是基于主题、数仓模型开发的宽表。可能会牺牲第三范式，将相关的各维度或属性整合到一张表里。这种表的特点就是字段较多，数据量较大，但它能帮助消除重复查询。由于这种表会被各种需求用到，故称通用数据层。
ADL层是汇总数据层，是基于主题、数仓模型开发的汇总数据表。这里只用到维度建模法（即星型模型）。指标库可以放到这一层。
APP层是开放给用户，用户可以在此层自己开发数据，提数。给用户的脱敏数据也可以放到这一层。我们开发的数据产品所需数据也可以在这一层做。
还有两层比较特殊：
一个是TMP（临时层），说白了就是存储中间结果表，有些业务场景比较复杂，需要拆表，多次计算，要用到一些中间结果集表，因此这层也是辅助层。
DIM层是维表层，各种时间维，省市区维度都可以存放，根据公司的业务形态去划分，ADL层可以跟DIM层的多维度关联，做各种报表，手到擒来。
以下是数据仓库数据流架构图：
以上就是整个数仓平台的大概架构思路，其实大部分公司的数仓都是差不多的，无非是各个层的划分的区别，层的多少区别，我是这么理解的。如果有更新意的分层、数仓设计，欢迎大家交流，一起探讨，接下来的几章，我会大概叙述数仓的标准化的建设，如何设计模型，如何编写清洗脚本，服务器目录如何标准化分目录等等，这些都很重要，流程的规范化，会给实际工作开发带来巨大的效率提升！
没有更多推荐了，
加入CSDN，享受更精准的内容推荐，与500万程序员共同成长！更多频道内容在这里查看
爱奇艺用户将能永久保存播放记录
过滤短视频
暂无长视频（电视剧、纪录片、动漫、综艺、电影）播放记录，
按住视频可进行拖动
&正在加载...
举报视频：
举报原因(必填)：
请说明举报原因(300字以内)：
请输入您的反馈
举报理由需要输入300字以内
感谢您的反馈～
请勿重复举报~
请刷新重试~
收藏成功，可进入
查看所有收藏列表
当前浏览器仅支持手动复制代码
视频地址：
flash地址：
html代码：
通用代码：
通用代码可同时支持电脑和移动设备的分享播放
用爱奇艺APP或微信扫一扫，在手机上继续观看
当前播放时间：
一键下载至手机
限爱奇艺安卓6.0以上版本
使用微信扫一扫，扫描左侧二维码，下载爱奇艺移动APP
其他安装方式：手机浏览器输入短链接http://71.am/udn
下载安装包到本机：
设备搜寻中...
请确保您要连接的设备（仅限安卓）登录了同一爱奇艺账号 且安装并开启不低于V6.0以上版本的爱奇艺客户端
连接失败！
请确保您要连接的设备（仅限安卓）登录了同一爱奇艺账号 且安装并开启不低于V6.0以上版本的爱奇艺客户端
部安卓（Android）设备，请点击进行选择
请您在手机端下载爱奇艺移动APP（仅支持安卓客户端）
使用微信扫一扫，下载爱奇艺移动APP
其他安装方式：手机浏览器输入短链接http://71.am/udn
下载安装包到本机：
爱奇艺云推送
请您在手机端登录爱奇艺移动APP（仅支持安卓客户端）
使用微信扫一扫，下载爱奇艺移动APP
180秒后更新
打开爱奇艺移动APP，点击“我的-扫一扫”，扫描左侧二维码进行登录
没有安装爱奇艺视频最新客户端？
现货投资看盘技巧之仓量线及旗杆均线
正在检测客户端...
您尚未安装客户端，正在为您下载...安装完成后点击按钮即可下载
30秒后自动关闭
现货投资看盘技巧之仓量线及旗杆均线">现货投资看盘技巧之仓量线及旗杆均线
请选择打赏金额：
播放量12.7万
播放量数据：快去看看谁在和你一起看视频吧~
更多数据：
热门短视频推荐
Copyright (C) 2018 & All Rights Reserved
您使用浏览器不支持直接复制的功能，建议您使用Ctrl+C或右键全选进行地址复制
正在为您下载爱奇艺客户端安装后即可快速下载海量视频
正在为您下载爱奇艺客户端安装后即可免费观看1080P视频
&li data-elem="tabtitle" data-seq="{{seq}}"& &a href="javascript:void(0);"& &span>{{start}}-{{end}}&/span& &/a& &/li&
&li data-downloadSelect-elem="item" data-downloadSelect-selected="false" data-downloadSelect-tvid="{{tvid}}"& &a href="javascript:void(0);"&{{pd}}&/a&
选择您要下载的《
后才可以领取积分哦~
每观看视频30分钟
+{{data.viewScore}}分
{{data.viewCount}}/3
{{if data.viewCount && data.viewCount != "0" && data.viewCount != "1" && data.viewCount != "2" }}
访问泡泡首页
+{{data.rewardScore}}分
{{if data.rewardCount && data.rewardCount != 0 && data.getRewardDayCount != 0}}1{{else}}0{{/if}}/1
{{if data.rewardCount && data.rewardCount != 0 && data.getRewardDayCount != 0}}
+{{data.signScore}}分
{{data.signCount}}/1
{{if data.signCount && data.signCount != 0}}
色情低俗内容
血腥暴力内容
广告或欺诈内容
侵犯了我的权力
还可以输入
您使用浏览器不支持直接复制的功能，建议您使用Ctrl+C或右键全选进行地址复制平仓线调整尚有空间 银监会放话支持调整平仓线_网易财经
平仓线调整尚有空间 银监会放话支持调整平仓线
用微信扫码二维码
分享至好友和朋友圈
杨治宇表示，工行不做给两融和伞形信托的配资，理财资金进入股市，主要是资产管理部在操作，通过自己设计的结构性产品，给工行自己的客户进行配资，杠杆比率控制一般都在1：2左右。“总体风险还是比较可控的，没有出现损失”。由于杠杆较低，工行的配资资金能够确保安全，且在他看来，杠杆比率和预警线都应随着市场的变化而调整。杨治宇表示，“银行的风控很严格，平仓线和达到资金的损失线还有空间，双方协商的底线就是不损失银行的优先资金。”随着资本市场“救市”力度的升级，7月9日，也祭出了允许到期股票质押贷款展期、支持调整风险预警线和平仓线、鼓励银行为中证金公司提供同业融资、为上市公司回购股票提供融资等四大举措。接受21世纪经济报道记者采访的多名专家均表示，这些措施针对性比较强，信号意义明显，对股票市场的企稳也产生了立竿见影的效果。一方面切断了资本市场的风险向银行业蔓延，另一方面也避免了大量的强行平仓，维持了市场的流动性。7月9日，收复3700点，站在3709.33点位置，全天上涨逾200点，涨幅5.76%。避免股票质押品被“一刀切”在银监会的四条举措中，第一条便是“允许银行业金融机构对已到期的股票质押贷款与客户重新合理确定期限。质押率低于合约规定的，允许双方自行商定押品调整”。资产管理部副总经理杨治宇向21世纪经济报道记者表示，这条对商业银行在实际操作中的指导意义比较强。允许展期，质押率低于要求时，可以通过补充现金或者新的质押品这些增信措施，既降低了银行的风险，也考虑了客户的承受能力。银监会创新监管部产品创新协调处处长苏薪茗认为，银监会是在用市场化的手段进行“救市”。在股价异常波动时，允许双方在自愿和可持续性的原则上进行协商，不仅给实体经济一个流动性的缓冲，也有利于保护投资者的利益。苏薪茗坦言，银行股票质押融资截止今年5月底以前增速的确较快，增速大约为20%左右，高于一般贷款的增速。但总体的增量并不大，且本身的质押率也比较低，因此并未有太大风险。且政策及时出台，具有一定的前瞻性，有利于给企业较多的缓冲，支持企正常生产经营，稳定经济增长。杨治宇也表示，通过股权质押的融资业务，体现在银行表内的主要是股票质押贷款，表外的是股票质押融资，但是总体量不大。银行一般都根据股票的估值、波动性和流动性来确定抵质押率，一般都在50%以下，甚至有的低至30%。发展研究部战略室负责人杨驰也认为，允许对已到期的股票质押贷款重新确定期限和质押率，实质上是一种债务重组，通过拉长债务期限、调整质押比例，避免了股票质押品被简单的“一刀切”，体现了监管的灵活性和实事求是，既有利于稳定资本市场预期，也有利于保证银行信贷安全。平仓线调整尚有空间此外，银监会还表示，“支持银行业金融机构主动与委托理财和信托投资客户协商，合理调整证券投资的风险预警线和平仓线”。有券商分析曾表示，大盘跌到3300点就会危及银行配资资金的安全。但苏薪茗对此并不认同。“很难说哪个点银行理财的配资资金就危险了，因为有的银行参与比较早。但是如果股票市场持续异常波动，处理得不及时，可能会引发金融风险。所以政策有必要切断风险的传导，向市场投资者传递信心”。据悉，银行理财的资金主要通过给券商两融业务配资、给伞形信托配资、通过结构化产品给本行客户配资等方式间接进入股市。此前，有券商报告认为，给两融配资的银行业资金量约为亿元，给伞形信托的配资也大约几千亿。而杨治宇却表示，工行不做给两融和伞形信托的配资，但有一些中小银行的业务量可能大一点。工行的理财资金进入股市，主要是资产管理部在操作，通过自己设计的结构性产品，给工行自己的客户进行配资，杠杆比率控制一般都在1：2左右。“总体的风险还是比较可控的，没有出现损失”。杨治宇表示，由于杠杆较低，工行的配资资金能够确保安全，且在他看来，杠杆比率和预警平仓线都应随着市场的变化而调整。“银行的风控很严格，平仓线和达到资金的损失线还有空间，双方协商的底线就是不损失银行的优先资金。”苏薪茗也认为，在不伤害优先级客户的前提下，合理调整平仓线，减少强行平仓，既保护了投资者，也有利于维护市场稳定，是最优的解决方案。比如，银行优先资金和劣后资金的比例为2：1，持仓到了66%才会危及到优先资金，但是银行的预警线和平仓线一般定在85%、80%，离银行的资金损失还有20%左右可以灵活调节的空间。“稳住存量、鼓励增量”除了及时“”外，银监会的措施中还积极为股市“补血”。另外的两条措施中，包括“鼓励银行业金融机构与中证金公司开展同业合作，提供同业融资”。 同时，鼓励银行为“回购本企业股票的上市公司提供质押融资”。杨驰认为，银监会这四条政策的总体思路，是对进入资本市场的银行资金进行政策调整，“稳住存量、鼓励增量”。一方面实施债务重组，降低客户违约和爆仓风险，避免存量银行资金过快流出资本市场。另一方面为证券公司和上市公司融资，实质上是间接地向资本市场注入了新的资金，提升投资者信心。在杨驰看来，银行业对上市公司提供股票质押融资，打通了直接融资市场和间接融资市场的资金流通渠道，有利于上市公司稳定股价，改善资本结构，为资本市场健康发展提供融资服务。“银行是券商很重要的交易对手，银行利用自己的自营资金或者理财资金购买短期融资券或者进行同业拆借，能够让中证金公司快速获得短期的流动性支持。通过银行和券商的专业协作，市场的信心就建立起来了”。苏薪茗在接受21世纪经济报道记者采访时如是称。
央行于7月8日也表示，积极协助中证金公司通过拆借、发行金融债券、抵押融资、借用再贷款等方式获得充足的流动性。但这几种融资方式，同业拆借无疑是最快，操作起来也最便利。近日，不少上市公司及大股东均发布公告称，将回购公司股票或者增持股份以建立信心。银监会也表示，“支持银行业金融机构对回购本企业股票的上市公司提供质押融资”。银监会话音未落，便有股份制银行的员工称该行能提供为大股东增持融资的业务。且杨治宇表示，“上市公司对自己的经营情况最为了解，如果有增持需求的，银行也很支持。而且目前股票大幅回调，风险又比较低，可以把抵押率放得高一点也很安全”。
本文来源：21世纪经济报道
作者：李玉敏
责任编辑：王晓易_NE0011
用微信扫码二维码
分享至好友和朋友圈
加载更多新闻
热门产品:　　　
:　　　　　　　　
:　　　　　　　　　
热门影院：
阅读下一篇
用微信扫描二维码
分享至好友和朋友圈淮海晚报数字报纸平
第A3版：淮安风情
明清漕运线上的淮安仓
　　■张&璞&文/图&　　淮安仓，顾名思义就是在淮安府设立的仓储粮库，从明初创设，到清末废除。运河漕运的繁盛和粮仓的吞吐作用，让淮安粮食业变得兴盛繁荣。　　淮安作为运河线上的重要枢纽城市，早在隋代就有官设粮仓，即著名的山阳仓和山阳城东南的故仓城，《寰宇记》中载：“山阳东南有故仓城，与郡城相接。隋文帝将伐陈，因旧城修筑，储积余百万石。大业末，恒有陈谷，乱后荒废。”宋代，朝廷又在真州（仪征）、楚州（淮安）、泗州（淹于洪泽湖底）三州设岁漕转运仓各一处，名为搬转仓，常有数年的粮食储存在其中。　　　　明代开始的淮安仓　　　　淮安仓，顾名思义就是在淮安府设立的仓储粮库，从明初创设，到清末废除。狭义上是一个独立的粮仓名称，广义上则是指淮安府署下属的几座粮仓。最初时，湖广、江西、浙江以及苏南的漕粮须由淮安城北盘五坝过淮，“运道由江至淮安，伫于旧仓，车盘过坝，复装船入淮河”。淮城就成为了“南船北马、舍舟登陆”之地，淮安仓专作漕用。　　名为“淮安仓”的这座漕仓，位于淮安城瞻岱门（东门）外闸口，乾隆《淮安府志》卷十一中载：“淮安仓，在府治东门外一里。前明建，后圮。雍正八年（1730），知县孙荫孙重建廒三十七间。每岁漕粮俱于此交运，官收官兑，民甚便之。”光绪《淮安府志》卷四中也载：“淮安仓，为兑漕粮，设在郡城东门外。”明《太宗文皇帝实录》卷六十四中所提到的永乐五年（1407）二月“辛亥修淮安仓并淮堤”，说的正是这座粮仓。它的运作时期主要是在明代以及清代早期、中期。　　广义上的淮安仓是指淮安府属各仓，如大军仓、东新仓、常盈仓。正德《淮安府志》卷六“府州县属官表”中载：“本府常盈、东新、大军三仓，置官大使各一员，俱从九品，副使三员未入流。”仓大使官位很低，但要负责仓内的日常事务及人员管理，而在一些特定时期，针对非军水次仓，朝廷专门派遣了户部五、六品官员在淮管理其业务，如常盈仓。　　在淮安城内，府仓主要是大军仓和东新仓。其中大军仓有两处，分别在淮安旧城和新城。旧城中的大军仓也是淮安卫的卫仓，最早建于元泰定元年（1324），由时任淮安路总管府总管、蒙古官员脱剌海牙在府署西北创建，当时只建有“泰”字等号仓廒十间以及官厅三间和前门一座。明洪武六年（1373），淮安府知府任光祖在此基础上，增建了“天”字等号仓廒六十间，共计有廒七十间。新城内的大军仓则也是大河卫的卫仓，据正德《淮安府志》中的图绘，可见这座粮仓的规模与旧城中大军仓规模相当。大军仓主要是兑军粮米，也是收纳漕粮的重要仓库，漕军开支均在其中。　　东新仓是完全为漕粮征兑所服务的，“东”是其方位，“新”则为“收储新米”之意。它始建于洪武元年（1368），位于淮安府学东迤北，由首任淮安府知府范中新建，设官厅三间，前门一座，计有“智”字等仓廒六十九间。在永乐十三年（1415）前，仅淮安旧城中的大军仓、东新仓就建有仓廒139间，若按明嘉靖初年杨宏、谢纯所撰《漕运通志》中所述，以一间廒十间房的的规模来算，此时淮安旧城中的府仓共有房1390间。如若再加上新城大军仓、东门外淮安仓的规模，淮安府仓的规模接近两百五十廒，近2500间房的规模。此外，淮城内外还建有预备仓三处，东仓、南仓，仓巷内的西新仓，以及用于赈灾的储济等仓。　　自永乐十三年（1415）漕运“支运”法实施的十六年间，常盈仓成为淮安府水次仓，其新建于山阳县清江浦镇运河畔，方便军民运输。时新建仓廒一百间，计1000间房。不过在“支运”法则停止后，常盈仓渐废，“遂岁久而倾圮”。而淮安府仓中的两座大军仓和东新仓，却作为淮安府治的就近粮仓，一直维护沿用。隆庆元年（1567），朝廷又在淮安城内专设漕储道，专司漕粮仓储事宜。首任漕储道潘允端，便是上海豫园的主人。　　　　清代的淮安粮仓　　　　到了清代，漕运袭明制，官司其责而屯丁长运，淮安府仓也有了重大的调整。曾经的东新仓、常盈仓逐渐不存，唯有大军仓规模变小，专贮漕运、河道二标兵粮。康熙年间，漕运总督马桑格（额）又在淮安旧城西门外北角楼运河南岸修建大楼、石岸盘验漕粮。雍正八年（1730）山阳县知县孙荫孙重修淮安仓，确保每年交运漕粮任务不受影响。乾隆十年（1745）山阳县知县陈鏳又在淮安府城南角楼的运河旁承修了淮安漕仓，方便漕粮进贮。时北上漕船均停泊于淮安南角楼，旗丁、粮长从水门入城后方可办理过关手续。明永乐十六年（1418）所建的三处预备仓，到此时也仅存府学志道书院旁一处，专贮漕粮。　　除了府仓外，淮城内又建常平仓两座，一是漕运理刑分司公署于康熙二十八年（1689）在三牌楼附近改建，有仓廒五间；又于乾隆五年（1740）由山阳县知县沈光曾整修仓廒十二间。另一座则为漕运总督张大有于雍正十三年（1735）购买民房改建而成，后废，于乾隆五年（1740）再由山阳县知县沈光曾整修仓廒十间，位置就在东门的淮安东门司水巷口附近。　　社仓是乾隆元年（1736）淮安新设的低等级粮仓，共有五座。一座在近西门外，而另外四座分别位于东、南、西、北四乡，设正副社长进行粮食管理，依时收放。　　据光绪《淮安府志》中载，到光绪年间，随着漕运衰败，淮安原有的淮安仓、淮安漕仓、大军仓、东新仓、常平仓、社仓、东仓、南仓、储济仓等仓均被废除，只留预备仓专门用于征兑漕粮，其仓内又有一仓于光绪六年（1880）建成，专储赈荒粮食。在西门城楼处还设丰济仓一处，所储粮食专为赈荒。　　原常盈仓所在地清江浦镇直至乾隆二十六年（1761）充为清河县新县城后，才重新恢复起县级基本赈荒储备，如常平仓、积谷仓、丰济仓等。道光七年（1827）时（一说九年），漕运总督张之万无意中在县城见到“丰济仓”旧石匾额，慨然复建。择地于城内康阜桥东，拨公款购买谷物及杂粮，以备赈济。清河县丰济仓始于道光中，由河库道徐泽醇所建，咸丰年间毁于战火。　　这些大大小小的粮仓，除专司贮粮的仓廒外，仓内都会有很多附属建筑，如办公用房、更房、马房、仓神庙等，并有多眼水井、水龙，专为消防之用。　　运河漕运的繁盛和粮仓的吞吐作用，让淮安粮食业变得兴盛繁荣。到清末，淮安粮号主要分布在淮城南门、下关、河下，并以南门最为兴旺。其中，吊桥北有“杨顺源号”、“王洪裕号”等七家；瓮城有“刘泰丰号”、“孙泰源号”等六家；堂子巷里有“赵涌丰号”、“胡信成号”、“胡裕丰号”等三十四家；运河堤上有“协茂号”等三家；中长街（南门大街）有“毛恒农号”、“夏义源号”等十六家；涧河边有“杨源顺号”、“张全丰号”等六家。南门粮号主要聚集在淮城南角楼淮安漕仓附近，时南门粮号所用之斗被称为“南门斗”，一斗米约十六市斤左右。　　光绪三十年（1904）年底，伴随着漕运总督的裁撤，淮安的官设粮仓慢慢地走进了历史。　　　　“东新仓”仓桥碑　　淮安仓示意图　　乾隆《淮安府志》中的“淮安仓”记载　　光绪《阜宁县志》中对淮安城南“淮安漕仓”的记载}