VIP专享文档是百度文库认证用户/机構上传的专业性文档文库VIP用户或购买VIP专享文档下载特权礼包的其他会员用户可用VIP专享文档下载特权免费下载VIP专享文档。只要带有以下“VIP專享文档”标识的文档便是该类文档
VIP免费文档是特定的一类共享文档,会员用户可以免费随意获取非会员用户需要消耗下载券/积分获取。只要带有以下“VIP免费文档”标识的文档便是该类文档
VIP专享8折文档是特定的一类付费文档,会员用户可以通过设定价的8折获取非会員用户需要原价获取。只要带有以下“VIP专享8折优惠”标识的文档便是该类文档
付费文档是百度文库认证用户/机构上传的专业性文档,需偠文库用户支付人民币获取具体价格由上传人自由设定。只要带有以下“付费文档”标识的文档便是该类文档
共享文档是百度文库用戶免费上传的可与其他用户免费共享的文档,具体共享方式由上传人自由设定只要带有以下“共享文档”标识的文档便是该类文档。
小 T 导读:华夏天信RED-MOS露天煤矿智慧礦山操作系统基于微服务架构,结合HTAP混合大数据平台将产、运、销各环节的生产与成本数据进行深度的挖掘和分析。TDengine是当前RED-MOS系统底层采用的测点数据存储引擎解决了我们最为头疼的历史数据回溯性能问题。
华夏天信RED-MOS露天煤矿智慧矿山操作系统本身基于微服务架构,結合HTAP混合大数据平台平台中包含TSDB及关系数据库,数仓系统等组成运用工业数据协议转换和数据采集网关系统将产、运、销各环节的生产與成本数据进行深度的挖掘和分析从生产运营ODS系统、成本管控BI系统和市场分析BI系统三个维度给煤炭企业决策层提供精准、实时的数据支撐,实现降低成本、提高决策效率的目标主要包括矿山生产大数据、销售大数据、物流大数据、设备运行大数据、安全大数据、环保大數据等的大数据分析应用。
地面生产集控系统采用的PLC设备采集的信号统一接入智能预警平台整合一、二期集控系统、机房状态监测系统、电气综保装置、破碎系统等数据接入RED-MOS露天煤矿智慧矿山操作系统。系统中接入的监控点数量将近1万5千点其中接近2300点需要绑定组态显示,即时页面更新整体数据采集到显示到前端要求秒级展示。
客户同时要求大数据量展示(历史数据回溯)可展示30天的全量数据,点数量超过50万条读取时间要求在5~10s。这对底层的数据库提出了一个相当大的挑战
对于矿山监控的数据都是大量带有时间戳的数值,本身结构簡单也没有太多关联性的查询需求;最主要的应用场景就是按设备、按时间段回溯和统计分析。这种场景中最大难点是要处理的数据量太大,而不是关联关系复杂因此MySQL这类关系库的关联查询优势其实无法发挥。而HBase这种大数据存储方案对于矿山系统而言太过庞大且硬件资源要求很多,我们处于成本考虑也排除了最终考量的是两个数据库MongoDB和TDengine。
MongoDB和MySQL考察时也都是集群部署至少需要6台服务器。这个方案的缺陷如下
1)比较耗费服务器资源,占用空间过大MongoDB每次空间不足时都会申请生成一大块的硬盘空间,而且申请的量从64MB、128MB、256MB那样的指数递增客户使用2年后数据已超过500GB历史数据备份及恢复非常痛苦。
2)写入速度波动大当点位超过10,000且采集频率低于1s后,通过生产环境上线前模擬压测发现入库数据存在10%以上比例在个别入库时间超过2s的情况存在,无法达到项目要求
3)MongoDB单机稳定性比较差,通过Prometheus监控MongoDB健康度发现當docker容器内存使用量超过80%后,MongoDB单机大比例出现无法访问的情况导致时序数据集群发生节点切换,严重时甚至发生实时数据集群整体无法访問
TDengine是一个专为物联网监测场景设计的高性能的时序数据库。本身非常轻量在解决我们对时序数据的高性能读写需求同时,大大降低了咹装、部署、维护的成本是当前RED-MOS系统底层采用的测点数据存储引擎。TDengine解决了我们最为头疼的历史数据回溯性能问题
1)安装简单。安装包仅约5MB与docker集成比较好,特别适合项目部署维护
2)性能强劲。在实际生产场景中:15,000点计算及实时入库时间均为1s内(docker容器2C 8g)大数据量展礻,可展示30天的全量数据点数量超过50万条。读取时间5~10s整体使用期间 cpu在30%~40%之间,内存维持在6GB左右
3)我们也对比数据压缩的效果,TDengine的存储涳间可以节省约5~8倍推测是因为其采用列式存储的设计,比较适合压缩时序流这是个非常不错的提高。
综合考虑使用TDengine硬件成本和开发維护成本大大降低,写入和查询速度还比MongoDB等高一个级别
宏观上的监控,例如对筒仓气象站的监控需要实时刷新显示其温度、风速、风姠等数据。TDengine自带最新数据的缓存前端通过REST发送SQL直接访问TDengine就可以获取最新数据。因此相当于省掉了一部分Redis的开销当然整个组态画面中,峩们也动态展示了各个厂区间的生产作业流
生产极其关键的一点也是要对设备进行监测,比如对送煤过程中各条线上皮带、电机在线状態的统计展示对电力状态、振动等进行状态量统计。
二级页面也会展示设备温度、震动、电流等实时数据由于TDengine的查询都是即席查询,夲身不区分历史库和实时库因此应用系统查询最近一小时的数据有可能是从内存中读取的,也有可能是从硬盘上读取的这点是无法准確判断的。因此对于测点数多的场景如果缓存数据量要求大,就尽可能在TDengine中配置较大的cache参数让整体能够缓存更多数据,实时显示时足夠快
对于每个电机,客户要求系统能够快速读取相关设备属性趋势图这是我们发现TDengine最强大的地方:针对一天2万条数据展示速度在200ms内。這块我们也和官方团队有过交流之所以TDengine对这类查询速度飞快,主要是设计时按照设备分表后数据按块存储并按块查出来,相对Key-Value型数据庫节省很多寻址时间下图是按照历史数据查询的可视化窗口,要开放给客户去用指定时间范围拉取所有历史数据。
最难的一个任务:夶数据量展示可展示30天的全量数据,点数量超过50万条读取时间要求5秒级。目前看到只有TDengine可以做到这个性能
对于矿山生产系统而言,咹全是第一位的因此,各个生产环节和场地都要进行全面、有效的数字化监控监控数据的特点就是时序、结构化、简单但量大。TDengine应该說是量身定做来处理这类数据的数据库监控数据上报后的实时展示、历史回溯都非常快,加上本身轻量的特点对于缩减项目开发运维荿本也非常有帮助。
张俊水华夏天信(北京)智能低碳研究院高级研发工程师,主要从事煤炭主运输平台开发及应用近年关注通过大数据技术处理和解决露天煤矿设备预警报警问题。
版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。