一、什么是InfluxDB?
InfluxDB 是一款用 Go 语言编写的开源分布式时序、事件和指标数据库,无需外部依赖。该数据库现在主要用于存储涉及大量的时间戳数据,如 DevOps 监控数据,APP metrics, loT传感器数据和实时分析数据。
InfluxDB特征:
– 无结构(无模式),可以是任意数量的列(tags)。
– 可以设置 metric 的保存时间。
– 支持与时间有关的相关函数(如 min、max、sum、count、mean、median 等),方便统计。
– 支持存储策略:可以用于数据的删改(influxDB 没有提供数据的删除与修改方法)。
– 支持连续查询:是数据库中自动定时启动的一组语句,和存储策略搭配可以降低InfluxDB的系统占用量。
– 原生的 HTTP 支持,内置 HTTP API。
– 支持类似 SQL 语法。
– 支持设置数据在集群中的副本数。
– 支持定期采样数据,写入另外的 measurement,方便分粒度存储数据。
– 自带web管理界面,方便使用(登入方式:http://< InfluxDB-IP >:8083)。
– 最关键的一点,也是我采用的原因,支持 Grafana 画图展示。
PS:有了 InfluxDB+Grafana 后,你就可以写一些简单的程序了,可以只负责写后端逻辑部分,数据都可以存入 InfluxDB,然后通过 Grafana 展示出来。
二、InfluxDB基本概念
在具体的讲解 influxdb 的相关操作之前先说说 influxdb 的一些专有名词,这些名词代表什么。先看下面一段 Influxdb 中的表信息。
1 2 3 4 5 6 |
> select * from disk; name: disk time count device free hostname used used_percent ---- ----- ------ ---- -------- ---- ------------ 1502089306183159978 1 /data 80 server01 100 60.33 1502089342879496791 1 /data 90 server02 110 68.33 |
InfluxDB 是时序数据库,所以怎么都绕不开时间,第一纵列time存储着时间戳,而时间戳是与数据进行关联,这样才能将时间和数据进行展示。
InfluxDB名词
name | desc |
---|---|
database | 数据库,同关系型数据库一个概念。 |
measurement | 数据库中的表,同关系型数据库中的表。 |
points | 表里面的一行数据,同关系型数据库中的记录。 |
time | 每个数据记录时间,是数据库中的主索引(会自动生成)。 |
fields | 各种记录值(没有索引的属性)也就是记录的值:温度, 湿度。 |
tags set | 各种有索引的属性,tag在InfluxDB中会按照字典序排序,不管是tag-key还是tag-value,只要不一致就分别属于两个tag set,例如hostname=server01,device=/data和hostname=server02,device=/data就是两个不同的tag set。 |
还有三个重要的名词:Series、Retention policy和Shard
Series:相当于是InfluxDB中一些数据的集合,在同一个database中,retention policy、measurement、tag sets完全相同的数据同属于一个series,同一个series的数据在物理上会按照时间顺序排列存储在一起。
Retention policy:存储策略,用于设置数据保留的时间,每个数据库刚开始会自动创建一个默认的存储策略autogen,数据保留时间为永久,之后用户可以自己设置,例如保留最近2小时的数据。插入和查询数据时如果不指定存储策略,则使用默认存储策略,且默认存储策略可以修改。InfluxDB会定期清除过期的数据。
Shard:在InfluxDB中是一个比较重要的概念,它和Retention policy相关联。每一个存储策略下会存在许多shard,每一个shard存储一个指定时间段内的数据,并且不重复,例如7点-8点的数据落入shard0中,8点-9点的数据则落入shard1中。每一个shard都对应一个底层的tsm存储引擎,有独立的 cache、wal、tsm file。
TSM存储引擎主要由几个部分组成:cache、wal、tsm file、compactor。
Cache:相当于是LSM Tree中的memtabl。插入数据时,实际上是同时往cache与wal中写入数据,可以认为cache是wal文件中的数据在内存中的缓存。当InfluxDB启动时,会遍历所有的wal文件,重新构造cache,这样即使系统出现故障,也不会导致数据的丢失。cache中的数据并不是无限增长的,有一个maxSize参数用于控制当cache中的数据占用多少内存后就会将数据写入tsm文件。如果不配置的话,默认上限为25MB,每当cache中的数据达到阀值后,会将当前的cache进行一次快照,之后清空当前cache中的内容,再创建一个新的wal文件用于写入,剩下的wal文件最后会被删除,快照中的数据会经过排序写入一个新的tsm文件中。
WAL:WAL文件的内容与内存中的cache相同,其作用就是为了持久化数据,当系统崩溃后可以通过wal文件恢复还没有写入到tsm文件中的数据。
TSM File:单个tsm file大小最大为 2GB,用于存放数据。
Compactor:Compactor组件在后台持续运行,每隔1秒会检查一次是否有需要压缩合并的数据。
主要进行两种操作,一种是cache中的数据大小达到阀值后,进行快照,之后转存到一个新的tsm文件中。另外一种就是合并当前的tsm文件,将多个小的tsm文件合并成一个,使每一个文件尽量达到单个文件的最大大小,减少文件的数量,并且一些数据的删除操作也是在这个时候完成。
三、InfluxDB目录与文件
InfluxDB的数据存储主要有三个目录,默认情况下是meta, wal以及data三个目录。
meta用于存储数据库的一些元数据,meta目录下有一个meta.db文件。
1 2 |
/var/lib/influxdb/meta/ └── meta.db |
wal目录存放预写日志文件,以.wal结尾。
1 2 3 4 5 |
/var/lib/influxdb/wal/ └── test └── autogen └── 22 └── _00002.wal |
data目录存放实际存储的数据文件,以.tsm结尾。
1 2 3 4 5 |
/var/lib/influxdb/data/ └── test └── autogen └── 22 └── 000000001-000000001.tsm |
上面几张图中,test为数据库名,autogen为存储策略名称,再下一层目录中的以数字命名的目录是shard的ID值。
存储策略下有一个shard,ID为22,shard存储了某一个时间段范围内的数据。再下一级的目录则为具体的文件,分别是.wal和.tsm结尾的文件。
四、InfluxDB安装配置
1)安装配置
将InfluxDB加入yum源
1 2 3 4 5 6 7 8 |
cat <<EOF | sudo tee /etc/yum.repos.d/influxdb.repo [influxdb] name = InfluxDB Repository - RHEL \$releasever baseurl = https://repos.influxdata.com/rhel/\$releasever/\$basearch/stable enabled = 1 gpgcheck = 1 gpgkey = https://repos.influxdata.com/influxdb.key EOF |
安装,启动,连接
1 2 3 4 5 6 7 8 |
# 安装influxdb; $ yum install influxdb # 启动influxdb; $ systemctl start influxdb # 连接influxdb; $ influx -database 'test' -host 'localhost' -port '8086' |
2)相关文件
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
$ rpm -ql influxdb # 配置文件 /etc/influxdb/influxdb.conf # 日志轮转 /etc/logrotate.d/influxdb # 命令行客户端 /usr/bin/influx # 查看工具 /usr/bin/influx_inspect # 压力测试工具 /usr/bin/influx_stress # 数据库转换工具(将数据库从b1或bz1格式转换为tsm1格式) /usr/bin/influx_tsm # 服务端 /usr/bin/influxd # Systemctl服务管理 /usr/lib/influxdb/scripts/influxdb.service /usr/lib/influxdb/scripts/init.sh ................ # 数据目录 /var/lib/influxdb # 日志目录 /var/log/influxdb |
3)开启Web
influxdb提供的简单web管理页面,可以用来操作influxdb,默认没有开启,如果想开启需要修改配置文件中[admin]部分,如下:
1 2 3 4 5 6 |
[admin] # Determines whether the admin service is enabled. enabled = true # The default bind address used by the admin service. bind-address = ":8083" |
4)配置文件
[meta] – meta相关配置
dir:meta数据存放目录,默认值:/var/lib/influxdb/meta。
retention-autocreate:用于控制默认存储策略,数据库创建时,会自动生成autogen的存储策略,默认值:true。
logging-enabled:是否开启meta日志,默认值:true。
[data] – tsm1引擎配置
dir:最终数据(TSM文件)存储目录,默认值:/var/lib/influxdb/data。
wal-dir:预写日志存储目录,默认值:/var/lib/influxdb/wal。
query-log-enabled:是否开启tsm引擎查询日志,默认值:true。
cache-max-memory-size:用于限定shard最大值,大于该值时会拒绝写入,默认值:DefaultCacheMaxMemorySize = 1024 * 1024 * 1024 // 1GB。
cache-snapshot-memory-size:用于设置快照大小,大于该值时数据会刷新到tsm文件,默认值:DefaultCacheSnapshotMemorySize = 25 * 1024 * 1024 // 25MB。
cache-snapshot-write-cold-duration:tsm1引擎snapshot写盘延迟,默认值:DefaultCacheSnapshotWriteColdDuration = time.Duration(10 * time.Minute)。
compact-full-write-cold-duration:tsm文件在压缩前可以存储的最大时间,默认值:DefaultCompactFullWriteColdDuration = time.Duration(4 * time.Hour)。
max-series-per-database:限制数据库的级数,该值为0时取消限制,默认值:DefaultMaxSeriesPerDatabase = 1000000,measurement, tag set, retention policy相同的数据集合算做一个serie,级数算法示例如下:假设monitor1这个measurement有两个tags:id 和 name id 的数量为10,name的数量为 100,则 series 基数为 10 * 100 = 1000。
max-values-per-tag:一个tag最大的value数,0取消限制,默认值:DefaultMaxValuesPerTag = 100000。
trace-logging-enabled:是否开启trace日志,默认值:false。
[coordinator] – 查询管理的配置选项
write-timeout:写操作超时时间,默认值: 10s。
max-concurrent-queries:最大并发查询数,0无限制,默认值: 0。
query-timeout:查询操作超时时间,0无限制,默认值:0s。
log-queries-after:慢查询超时时间,0无限制,默认值:0s。
max-select-point = 0:SELECT语句可以处理的最大点数(points),0无限制,默认值:0。
max-select-series = 0:SELECT语句可以处理的最大级数(series),0无限制,默认值:0。
max-select-buckets = 0:SELECT语句可以处理的最大”GROUP BY time()”的时间周期,0无限制,默认值:0。
[retention] – 旧数据的保留策略
enabled:是否启用该模块,默认值 :true。
check-interval:检查时间间隔,默认值 :”30m0s”。
[shard-precreation] – 分区预创建
enabled:是否启用该模块,默认值 : true。
check-interval:检查时间间隔,默认值 :”10m0s”。
advance-period:预创建分区的最大提前时间,默认值 :”30m0s”。
[admin] – influxdb提供的简单web管理页面
enabled:是否启用该模块,默认值:false。
bind-address:绑定地址,默认值:”:8083″。
https-enabled:是否开启https ,默认值:false。
https-certificate:https证书路径,默认值:”/etc/ssl/influxdb.pem”。
[monitor] – 这一部分控制InfluxDB自有的监控系统。 默认情况下,InfluxDB把这些数据写入_internal数据库,如果这个库不存在则自动创建。 _internal 库默认的retention策略是7天,如果你想使用一个自己的retention策略,需要自己创建。
store-enabled:是否启用该模块,默认值 :true。
store-database:默认数据库:”_internal”。
store-interval:统计间隔,默认值:”10s”。
[subscriber] – 控制Kapacitor接受数据的配置
enabled:是否启用该模块,默认值 :true。
http-timeout:http超时时间,默认值:”30s”。
insecure-skip-verify:是否允许不安全的证书,当测试自己签发的证书时比较有用。默认值:false。
ca-certs:设置CA证书,无默认值。
write-concurrency:设置并发数目,默认值:40。
write-buffer-size:设置buffer大小,默认值:1000。
[http] – influxdb的http接口配置
enabled:是否启用该模块,默认值 :true。
bind-address:绑定地址,默认值:”:8086″。
auth-enabled:是否开启认证,默认值:false。
log-enabled:是否开启日志,默认值:true。
write-tracing:是否开启写操作日志,如果置成true,每一次写操作都会打日志,默认值:false。
pprof-enabled:是否开启pprof,默认值:true。
https-enabled:是否开启https,默认值:false。
https-certificate:设置https证书路径,默认值:”/etc/ssl/influxdb.pem”。
https-private-key:设置https私钥,无默认值。
max-row-limit:配置查询返回最大行数,默认值:10000。
max-connection-limit:配置最大连接数,0无限制,默认值:0。
shared-secret:用于JWT签名的共享密钥,无默认值。
realm:配置JWT realm,默认值: “InfluxDB”。
unix-socket-enabled:是否使用unix-socket,默认值:false。
bind-socket:unix-socket路径,默认值:”/var/run/influxdb.sock”。
[[graphite]] – graphite相关配置,具体参考:https://github.com/influxdata/influxdb/blob/master/services/graphite/README.md
enabled:是否启用该模块,默认值 :false。
bind-address:绑定地址,默认值:”:2003″。
database:数据库名称,默认值:”graphite”。
retention-policy:存储策略,无默认值。
protocol:协议,默认值:”tcp”。
batch-size:批量size,默认值:5000。
batch-pending:配置在内存中等待的batch数,默认值:10。
batch-timeout:超时时间,默认值:”1s”。
consistency-level:一致性级别,默认值:”one”。
separator:多个measurement间的连接符,默认值: “.”。
udp-read-buffer = 0:udp读取buffer的大小,0表示使用操作系统提供的值,如果超过操作系统的默认配置则会出错。 该配置的默认值:0。
[[collectd]] – collectd相关配置,具体参考:https://github.com/influxdata/influxdb/tree/master/services/collectd
enabled:是否启用该模块,默认值 :false。
bind-address:绑定地址,默认值: “:25826″。
database:数据库名称,默认值:”collectd”。
retention-policy = “”:存储策略,无默认值。
batch-size:默认值:5000。
batch-pending:默认值:10。
batch-timeout:默认值:”10s”。
read-buffer:udp读取buffer的大小,0表示使用操作系统提供的值,如果超过操作系统的默认配置则会出错。默认值:0。
typesdb:路径,默认值:”/usr/share/collectd/types.db”。
[[opentsdb]] – opentsdb配置
enabled:是否启用该模块,默认值:false。
bind-address:绑定地址,默认值:”:4242″。
database:默认数据库:”opentsdb”。
retention-policy:存储策略,无默认值。
consistency-level:一致性级别,默认值:”one”。
tls-enabled = false:是否开启tls,默认值:false。
certificate:证书路径,默认值:”/etc/ssl/influxdb.pem”。
batch-size:默认值:1000。
batch-pending:默认值:5。
batch-timeout:超时时间,默认值:”1s”。
log-point-errors:出错时是否记录日志,默认值:true。
[[udp]] – udp配置
enabled:是否启用该模块,默认值:false。
bind-address:绑定地址,默认值:”:8089″。
database:数据库名称,默认值:”udp”。
retention-policy:存储策略,无默认值。
batch-size:默认值:5000。
batch-pending:默认值:10。
read-buffer:udp读取buffer的大小,0表示使用操作系统提供的值,如果超过操作系统的默认配置则会出错。 该配置的默认值:0。
batch-timeout:超时时间,默认值:”1s”。
precision:时间精度,无默认值。
[continuous_queries]
log-enabled:是否开启日志,默认值:true。
enabled:是否开启CQs,默认值:true。
run-interval:时间间隔,默认值:”1s”。
五、InfluxDB基本操作
1)用户管理
可以直接在web管理页面做操作,也可以命令行。
1 2 3 4 5 6 7 8 9 10 11 |
# 显示用户 show users # 创建用户 create user "username" with password 'password' # 创建管理员权限用户 create user "username" with password 'password' with all privileges # 删除用户 drop user "username" |
3)数据库与表的操作
可以直接在web管理页面做操作,当然也可以命令行。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
# 创建数据库 create database "db_name" # 显示所有的数据库 show databases # 删除数据库 drop database "db_name" # 使用数据库 use db_name # 显示该数据库中所有的表 show measurements # 创建表, 插入数据时就创建了表 insert disk,hostname=server01,device=/data free=90,used=110,used_percent=98.33,count=1 # 删除表 drop measurement "measurement_name" |
插入数据时,具体表示的意思如下:
字段 | 注释 |
---|---|
disk | 表示表名 |
hostname,device | tags |
free,used,used_percent,count | field |
4)普通查询
那么话说,InfluxDB的查询语法是很给力的,很像SQL语句。下面一一介绍下,常用的InfluxDB里面常用的SQL语句。 话说InfluxDB给与的搜索条件还是很丰富的,有时间分析下他落地在leveldb的数据结构。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
# 表名都可以正则 select * from /.*/ limit 1 # 输出Json格式 $ influx -database 'test' -execute 'select * from disk' -format 'json' -pretty # 查询数据大于200的 select * from disk where free > 80 # 查询数据里面含有下面字符串的 select * from user_events where url_base = ‘friends#show’ # 约等于 select line from log_lines where line =~ /paul@influx.com/ # 按照30m分钟进行聚合,时间范围是大于昨天的主机名是server1的 select mean(value) from cpu_idle group by time(30m) where time > now() – 1d and hostName = 'server1' select column_one from foo where time > now() – 1h limit 1000; select reqtime, url from web9999.httpd where reqtime > 2.5; select reqtime, url from web9999.httpd where time > now() – 1h limit 1000; # url搜索里面含有login的字眼,还以login开头 select reqtime, url from web9999.httpd where url =~ /^\/login\//; # 数据的merge select reqtime, url from web9999.httpd merge web0001.httpd; |
下面再说下数据的汇聚,聚合啥的。
1 2 3 4 5 6 7 8 9 10 11 |
# count() SELECT COUNT(column_name) FROM series_name group by time(10m) … # min() SELECT MIN(column_name) FROM series_name group by time(10m) … # MAX() SELECT MAX(column_name) FROM series_name group by time(10m) … # mean() SELECT MEAN(column_name) FROM series_name group by time(10m) … |
5)连续查询(Continuous Queries)
InfluxDB的连续查询是在数据库中自动定时启动的一组语句,语句中必须包含SELECT关键词和GROUP BY time()关键词。
InfluxDB会将查询结果放在指定的数据表中。目的:使用连续查询是最优的降低采样率的方式,连续查询和存储策略搭配使用将会大大降低InfluxDB的系统占用量。而且使用连续查询后,数据会存放到指定的数据表中,这样就为以后统计不同精度的数据提供了方便。
新建连续查询
1 2 3 4 5 |
CREATE CONTINUOUS QUERY <cq_name> ON <database_name> [RESAMPLE [EVERY <interval>] [FOR <interval>]] BEGIN SELECT <function>(<stuff>)[,<function>(<stuff>)] INTO <different_measurement> FROM <current_measurement> [WHERE <stuff>] GROUP BY time(<interval>)[,<stuff>] END |
样例:
1 2 3 |
CREATE CONTINUOUS QUERY redis_30m ON test BEGIN SELECT mean(connected_clients), MEDIAN(connected_clients), MAX(connected_clients), MIN(connected_clients) INTO redis_clients_30m FROM redis_clients GROUP BY ip,port,time(30m) END |
在test库中新建了一个名为redis_30m的连续查询,每三十分钟取一个connected_clients字段的平均值、中位值、最大值、最小值redis_clients_30m表中。使用的数据保留策略都是default。
显示或删除所有已存在的连续查询
1 2 |
SHOW CONTINUOUS QUERIES DROP CONTINUOUS QUERY <cq_name> ON <database_name> |
6)数据保存策略(Retention Policies)
InfluxDB是没有提供直接删除数据记录的方法,但是提供数据保存策略,主要用于指定数据保留时间,超过指定时间,就删除这部分数据。
6.1 查看当前数据库Retention Policies
1 |
show retention policies on "db_name" |
6.2 创建新的Retention Policies
1 |
create retention policy "rp_name" on "db_name" duration 3w replication 1 default |
rp_name:策略名;
db_name:具体的数据库名;
3w:保存3周,3周之前的数据将被删除,influxdb具有各种事件参数,比如:h(小时),d(天),w(星期);
replication 1:副本个数,一般为1就可以了;
default:设置为默认策略;
6.3 修改Retention Policies
1 |
alter retention policy "rp_name" on "db_name" duration 30d default |
6.4 删除Retention Policies
1 |
drop retention policy "rp_name" |
series操作
series表示这个表里面的数据,可以在图表上画成几条线,series主要通过tags排列组合算出来。
1 |
show series from weather |
六、结合Grafana使用
1)安装配置Grafana
CentOS系列使用YUM安装
1 2 |
$ wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.2.0-1.x86_64.rpm $ sudo yum localinstall grafana-4.2.0-1.x86_64.rpm |
或者
1 2 |
$ yum install initscripts fontconfig $ rpm -Uvh grafana-3.1.1-1470047149.x86_64.rpm |
Systemd方式启动Grafana
1 2 3 |
$ systemctl daemon-reload $ systemctl start grafana-server $ systemctl status grafana-server |
启动Granfa之后,进程名称为grafana-server。将会默认使用grafana用户和组运行Granfa进程。默认会开启HTTP的3000端口。启动服务之后直接直接在浏览器访问http://IP:3000就会出现如下界面,默认账号和用户名为admin/admin,在/etc/grafana/grafana.ini配置文件中可修改。
2)InfluxDB添加用户
1 |
create user "admin" with password 'admin' with all privileges |
3)InfluxDB插入数据
1 2 |
> use test; > insert disk,hostname=server01,device=/data free=80,used=100,used_percent=98.33,count=1 |
4)Grafana添加IfluxDB为数据源
然后就可以开始画图了。
InfluxDB中的tags可以作为条件,如hostname或device,而field可以作为value。
七、Python操作InfluxDB
1)安装infludb驱动
1 2 |
$ yum install python-pip $ pip install influxdb |
2)基本操作
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 |
#! /usr/bin/env python #-*- coding:utf-8 -*- from influxdb import InfluxDBClient json_body = [ { "measurement": "disk", "tags": { "hostname": "server01", "device":"/data" }, "fields": { "free": 89, "used": 100 } } ] # 查看数据; def showDBNames(client): result = client.query('show measurements;') print("Result: {0}".format(result)) # 初始化连接(指定要操作的数据库); client = InfluxDBClient('localhost', 8086, 'root', '', 'test') # 查看表; showDBNames(client) # 写入数据,同时创建表; client.write_points(json_body) # 查看表; showDBNames(client) # 删除表; client.query("drop measurement students") showDBNames(client) |
InfluxDB中文文档
https://github.com/jasper-zhang/influxdb-document-cn
https://blog.csdn.net/vtnews/article/details/80197045