使用Search Guard加固Elasticsearch：用户、角色和权限
一、内部数据库 Search Guard 附带内部用户数据库，如果你没有任何外部身份验证系统（如 LDAP 或 Active Directory），则可以使用此用户数据库。用户信息及其散列密码和角色存储在群集内部的 Search Guard 索引中。 内部用户在 sg_internal_users.yml 文件中配置，你可以找到模板在<ES insta……
使用Search Guard加固Elasticsearch：认证与授权
一、介绍 Elasticsearch本身没有用户及权限认证体系。虽然官方提供了自己的权限管理系统 – Shield， 但是它——收费！ 所以在这里给大家介绍一款实用的开源Elasticsearch权限管理系统——Search Guard。 Shield 现在已经被 X-pack 集成，另外 X-pack 还集成了 Watcher，Marvel，G……
Elasticsearch索引和文档操作
一、索引与文档 索引（Index） 一个索引就是含有某些相似特性的文档的集合。例如，你可以有一个用户数据的索引，一个产品目录的索引，还有其他的有规则数据的索引。一个索引被一个名称（必须都是小写）唯一标识，并且这个名称被用于索引通过文档去执行索引，搜索，更新和删除操作。 在一个集群中，你可以根据自己的需求定义任意多的索引。 类型（Type）[Depreca……
ELK技术实战-安装Elk 5.x平台
一、ELK简介 ELK技术实战–了解Elk各组件 ELK技术实战-部署Elk 2.x平台 ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称，由这三个软件及其相关的组件可以打造大规模日志实时处理系统。 其中，Elasticsearch 是一个基于 Lucene 的、支持全文索引的分布式存储和索引引擎，主要……
Docker：部署Graylog日志管理服务器
先看看推荐！国外程序员整理的系统管理员资源大全中，国外程序员整理的日志聚合工具的列表： 日志管理工具：收集，解析，可视化 Elasticsearch – 一个基于Lucene的文档存储，主要用于日志索引、存储和分析。 Fluentd – 日志收集和发出 Flume -分布式日志收集和聚合系统 Graylog2 -具有报警选项的可插入……
ELK技术实战-导致Redis队列堆积的大日志条目
提前说明，ELK是什么？Redis队列是什么？自行了解。 在使用ELK过程中，一般都是使用Redis或kafka做队列，用来缓存。基本架构图如下: 当然，我们的Redis开了多个是实例，用来存储不同的Key，因为日志量太大。 突然报警，说6382 Redis实例队列堆积，上机器看了一下paltform这个key，堆积如下： r……
ELK技术实战–使用Supervisor管理Elk
使用supervisor管理ELK 配置supervisor，使用supervisor启动各个进程，方便管理。同时ELK各个进程使用supervisor管理还有一个较大的优势就是可以很轻松开启多个进程。具体supervisor介绍使用可以看：使用Supervisor管理进程 1）首先各程序都是用elk用户来运行 [root@lo……
ELK技术实战-了解Elk各组件
源起 日志是排查问题的根源 第一个问题：你公司对服务端日志你有多重视，包括web日志、应用程序日志、网络设备日志等等？ 1）有日志，但基本不去控制需要输出的内容； 2）经常微调日志，只输出我们想看和有用的； 3）经常监控日志，一方面帮助日志微调，一方面及早发现程序的问题； 4）高度依赖日志，做服务可用性监控，故障排查，程序性能监控等等； 只做到第1点的，你可……
ELK技术实战-部署Elk 2.x平台
ELK Stack平台搭建 对于ELK部署使用而言，下面是一个再常见不过的架构了，如下图： 1）Redis：接收用户日志的消息队列。 2）Logstash：做日志解析，统一成JSON输出给Elasticsearch。 3）Elasticsearch：实时日志分析服务的核心技术，一个schemaless，实时的数据存储服务，通过index组织数据，兼具……