[ELK] 엘라스틱서치 Alias
·
ELK
Alias  실제 인덱스 이름 대신 사용할 수 있는 가상의 이름으로, 여러 인덱스를 하나의 이름으로 묶거나, 인덱스 변경 시 애플리케이션에 미치는 영향을 최소화할 수 있음Alias 특징 제로 다운타임(Zero Downtime) 업데이트인덱스 교체:새로운 데이터 스키마나 설정으로 인덱스를 재생성한 후, alias를 새로운 인덱스로 옮기는 방식으로 운영 중단 없이 업데이트할 수 있음 즉, 새로운 인덱스를 생성한 뒤, 기존 alias의 참조를 변경함으로써 클라이언트는 항상 동일한 alias를 사용하여 최신 데이터를 조회가 가능함필터 및 라우팅 기능 필터 적용:alias에 필터를 설정하면, 해당 alias를 통해 이루어지는 검색은 자동으로 필터 조건이 적용됨예를 들어, active_users alias를 생성할..
[ELK] 엘라스틱서치 샤드
·
ELK
샤드인덱스 내부에 색인된 데이터들이 물리적 공간 즉 여러 노드에 여러개의 부분들로 존재하는 데이터 인덱스는 기본적으로 샤드 단위로 분리됨샤드는 한마디로 인덱스에 색인되는 도큐먼트를 저장하는 공간하나의 샤드는 독립적인 Lucene 인덱스로 동작하여, 데이터 검색 및 저장을 함엘라스틱 서치는 분산 저장 및 검색 성능 향상을 위해 샤딩이라는 개념을 사용함 샤드의 종류샤드는 프라이머리 샤드와 레플리카 샤드로 구분이 됨샤드 종류설명프라이머리 샤드원본 데이터를 저장하는 기본 샤드, 데이터 원본레플리카 샤드프라이머리 샤드의 복제본, 백업 역할프라이머리 샤드원본 데이터를 저장하는 샤드데이터가 처음 저장될 때 프라이머리 샤드에 기록됨기본적으로 샤드 개수는 색인 생성시 설정되고 이후 변경이 불가능함레플리카 샤드프라이머리 ..
[ELK] 엘라스틱서치 KEYWORD / TEXT 타입
·
ELK
TEXT와 KEYWORD 타입 모두 문자열을 처리하기 위한 타입KEYWORD 타입특징: 분석(analysis) 없이 원본 문자열 그대로 저장됨.사용 용도: 정렬, 집계(aggregation), 필터링(filtering) 등에 적합검색 방식: 전체 문자열이 하나의 토큰으로 저장되서 전체 문자열 검색{ "mappings": { "properties": { "category": { "type": "keyword" } } }}위에 형태로 매핑한 경우  "category": "Web Development"라는 데이터를 저장하면 검색 시 "Web"이나 "Development"로는 검색되지 않고 "Web Development" 전체 일치해야 검색 사용 적합 예시 : 국가코..
[ELK] index [.async-search] blocked by: [TOO_MANY_REQUESTS/12/disk usage exceeded flood-stage watermark, index has read-only-allow-delete block] 발생시 처리
·
ELK
index [.async-search] blocked by: [TOO_MANY_REQUESTS/12/disk usage exceeded flood-stage watermark, index has read-only-allow-delete block] 발생 증상 기존에 개발계 테스트용도로 설치된 키바나 대시보드에서 조회가 안되고 해당 문구가 발생하며 조회가 안됨 엘라스틱서치 로그를 통해 high disk watermark[90%] exceeded .. free: 1.3gb[5.3%], shards will be relocated away from thie node; 해당 내용이 확인됨 발생원인 노드 디스크가 90%이상 사용중이면 해당 마스터노드에서는 모든 인덱스를 read-only로 만들어버림 (확인 시 디..
[ELK] 로그스태시 설치
·
ELK
설치환경 OS : CentOS 7 설치 wget https://artifacts.elastic.co/downloads/logstash/logstash-7.16.2-linux-x86_64.tar.gz --2021-12-31 08:49:32-- https://artifacts.elastic.co/downloads/logstash/logstash-7.16.2-linux-x86_64.tar.gz Resolving artifacts.elastic.co (artifacts.elastic.co)... 34.120.127.130, 2600:1901:0:1d7:: Connecting to artifacts.elastic.co (artifacts.elastic.co)|34.120.127.130|:443... connect..
[ELK] 키바나 설치
·
ELK
설치환경 GCP VM 머신 : e2-medium (vCPU 2개, 4GB 메모리) OS : CentOS 7 설치 [tgyun615@elastic-3 ~]$ wget https://artifacts.elastic.co/downloads/kibana/kibana-7.16.2-linux-x86_64.tar.gz --2021-12-28 10:31:49-- https://artifacts.elastic.co/downloads/kibana/kibana-7.16.2-linux-x86_64.tar.gz Resolving artifacts.elastic.co (artifacts.elastic.co)... 34.120.127.130, 2600:1901:0:1d7:: Connecting to artifacts.elastic..
[ELK] 엘라스틱서치 설치
·
ELK
설치환경 GCP VM 머신 : e2-medium (vCPU 2개, 4GB 메모리) OS : CentOS 7 설치 [tgyun615@elastic-1 ~]$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.16.2-linux-x86_64.tar.gz --2021-12-28 05:31:27-- https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.16.2-linux-x86_64.tar.gz Resolving artifacts.elastic.co (artifacts.elastic.co)... 34.120.127.130, 2600:1901:0:1d7:: Con..