[Elasticsearch] 개념 - Curator Index Management

https://www.elastic.co/guide/en/elasticsearch/client/curator/index.html

Curator Index Management | Elastic

요약

Elasticsearch 6.6 버전부터 엘라스틱서치는  Basic license로 Index Lifecycle Management( or ILM)을 제공한다.

ILM은 실행 시간 분석이 아니라 정책 문제로 가장 일반적인 인덱스 관리 기능을 사용자에게 제공한다. ( ILM의 동작 방식 )

ILM가 인덱스 라이프사이클을 관리하기 위한 기능을 제공한다면, Curator 대신 ILM 사용을 고려하라.

많은 Stack 컴포넌트가 ILM을 기본으로 적용 되어 있다.

상세내용

ILM 동작

ILM은 인덱스가 시간 중심 단계에 진입함에 따라 정책 조치를 적용합니다.

• Hot
• Warm
• Cold
• Delete

정책 조치

• Set Priority
• Rollover
• Unfollow
• Allocate
• Read-Only
• Force Merge
• Shrink
• Freeze
• Delete

 

ILM or Curator란?

ILM가 인덱스 라이프사이클을 관리하기 위한 기능을 제공한다면, Curator 대신 ILM 사용을 고려하라.

많은 Stack 컴포넌트가 ILM을 기본으로 적용 되어 있다.

Beats

모든 비트는 동일한 ILM 설정을 공유한다.

예시는 Filebeat로 사용했다.

 

버전 7.0 부터 File Beat는 ILM을 제공하는 클러스터에 연결할 때, 기본적으로 ILM을 사용하기 시작했다.

Logstash

Index Lifecycle Management 기능은 logstash-output-elasticsearch 플러그인의 9.3.1 이상의 버전이 필요로한다.

Index Lifecycle Management는 ilm_enabled 설정을 통해 동작한다. 기본적으로 자동적으로 엘라스틱서치 인스턴스가 ILM을 지원 유무를 확인한다.

 

ILM과 Curator!

큐레이터는 ILM 정책 중 allow_ilm_indices 옵션이 true로 설정되어 있지 않은 인덱스에는 동작하지 않는다.

큐레이터와 ILM은 공존 가능하다. 하지만 큐레이터가 갑자기 방해하거나 ILM 정책과 충돌나는 것을  방지하기 위해, ILM 정책과 연관된 인덱스는 기본적으로 설정에서 제외되어 있다.

 

큐레이터는 allow_ilm_indices 설정 true로 되어 있는 인덱스들에게만 동작할 수 있다.