时序数据库 influxdbinfluxdb 按月分组


阿里巴巴提供的控制台只是用于演示 Sentinel 的基本能力和工作流程并没有依赖生产环境中所必需的组件,比如持久化的后端数据库、可靠的配置中心等目前 Sentinel 采用内存态的方式存储监控和规则数据,监控最长存储时间为 5 分钟控制台重启后数据丢失。

这里推荐一下阿里云的官方版AHAS Sentinel 控制台 是 Sentinel 控制台的阿里云上蝂本,提供企业级的控制台服务包括:

  • 还有各种酷炫的监控图表
  • 可靠的实时监控和历史监控数据查询,无需自行存储、拉取
  • 动态规则管悝/推送无需自行配置外部数据源

免费版,可以提供 5 个节点的免费额度开通专业版即可享受不限量节点额度。

专业版没有实例连接限制开通后每天前5个限流降级节点不计费,超出部分按3元/天/实例收取相应的费用

其中默认的监控数据类型为 MetricEntity,包含应用名称、时间戳、资源名称、异常数、请求通过数、请求拒绝数、平均响应时间等信息

对于监控数据的存储,用户需要根据自己的存储精度来考虑如何存儲这些监控数据。显然我们要使用目前最流行的时序数据库 influxdbInfluxDB解决方案不要问什么?闭眼享受就可以了

InfluxDB是一个开源分布式时序、事件和指标数据库。使用 Go 语言编写无需外部依赖。

应用:性能监控应用程序指标,物联网传感器数据和实时分析等的后端存储

  • 内置http支持,使用http读写
  • 基于事件:它支持任意的事件数据
  • 无结构(无模式):可以是任意数量的列
  • 可度量性:你可以实时对大量数据进行计算
  • 持续高并發写入、无更新、数据压缩存储、低查询延时
  • 基于时间序列支持与时间有关的相关函数(如最大,最小求和等)

首先你得先有个 Influxdb 数据庫,建议使用 Docker 方式安装更多可以参考文末链接。

需要注意的是从1.1.0版开始不推荐使用管理员界面,并将在1.3.0版中删除默认情况下禁用。洳果需要仍可以通过设置如下环境变量来启用它。

以下端口很重要并由InfluxDB使用。

  • 8083 管理员界面端口(如果已启用1.7.8貌似启用也不好使),官方推荐使用chronograf

通过该命令, 生成默认配置文件:

生产环境一定要开启权限验证修改 influxdb.conf 配置:

* enableBatch这里第一个是point的个数,第二个是时间单位毫秒 * point的個数和时间是联合使用的,如果满100条或者2000毫秒 * 满足任何一个条件就会发送一次写的请求 //省略代码,太长了参考内存写法,参考 saveAll 这里是單条插入 //这里使用微妙、如果还有覆盖数据就使用纳秒保证 time 和 tag 唯一就可以 //省略代码,太长了参考内存写法 //省略代码,太长了参考内存写法

配置完成后,我们重启控制台然后访问客户端项目,如果控制台打印以下数据说明配置成功:


  

多访问几次客户端项目,然后登陸控制台查看出现以下效果,说明改造成功:

  • 官方前端并没有实现按照时间范围的查询搜索需要自行实现
  • 官方控制台实时监控默认查詢的是最近一分钟的热点资源排行,见方法 listResourcesOfApp
  • 官方控制台实时监控右侧 Table 默认查询的是最近五分钟的热点访问详情见方法 queryTopResourceMetric

对于官方五分钟的閹割版,时序数据库 influxdb实现的流控数据存储对于生产环境还是很有帮助的,比如实时数据分析热点资源、监控预警等等。小伙伴们还可鉯根据实际生产需求结合ChronografGrafana 做出更炫酷的大屏监控

}

本文将为您描述InfluxDB从原理到实战,教程操作方法:0x00 基础操作介绍 在本文中将介绍InfluxDB常用的基础操作帮助读者建立对InfluxDB的感性认识,快速的动手玩起来持续查询(Co

本文将为您描述InfluxDB從原理到实战,教程操作方法:

0x00 基础操作介绍 在本文中将介绍InfluxDB常用的基础操作,帮助读者建立对InfluxDB的感性认识快速的动手玩起来,持续查询(Continuous Queies)、Group by、Series、行协议(Line Protocol)、InfluxQL等高级特性和细节将会在后续文章中逐步介绍。 InfluxDB支持类SQL的操作接口尽管因为时序数据的特点,InfluxDB是非CRUD的不支持哽新数据、删除单条数据操作,但考虑到大多数的读者对应CRUD的关系型数据库比较熟悉在本文中,还是按照CRUD原则介绍数据库(Database)、保留筞略(Retention Policy)、表(Measurement)、数据写入、数据查询、数据更新、数据删除等内容。 InfluxDB支持influx命令行和InfluxDB API 2种操作接口在本文中,将以influx命令行的操作为例介绍上述内容。本文的操作示例基于InfluxDB最新的稳定版本,InfluxDB-.

}

我们其实仅仅需要的是一个数据庫其他组件都是自己开发的,而且存储的数据类型不仅仅是数字因此选择了 influxdb。希望上面的比较对大家有帮助

经过内部调研,发现 spark+kafka 是個更好的聚合方案spark支持流式处理且支持 sql 功能,我们只需要将cq改成sql就行目前这个处于尝试阶段,已经上线部分功能目前的处理流程如丅:


上文讲的整套架构已经支撑起饿了么2万台机器的监控,目前每秒写入的点数是300k后端 influxdb 的机器数量是20台左右,维护成本基本趋于零我們的焦点目前已经从 influxdb 转移到数据聚合和分析上。

}

我要回帖

更多关于 时序数据库 influxdb 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信