반응형 ElasticSearch18 aws opensearch 검색 아래 문구는 검색이 되지 않는다. + - = && || > 2023. 6. 23. logstash 설치 및 설정 처음은 윈도우로 해보자 하고시작했으나 구문이 뭔가 안맞는지 실행이 되질 않으니 linux환경에서 하는것을 정신건강상 추천드립니다. 다설치하고 sample 코드로 돌려봤는데 아래 grok filter를 적용하면 실행이 되질 않음.... input { beats{ port => "5044" } } filter{ grok{ match => {"message" => "%{NUMBER:request_time:float} %{NUMBER:upstream_response_time:float} %{IPORHOST:clientip} (?:-|({%WORD}.%{WORD})) %{USER:ident} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: H.. 2022. 11. 21. [ElasticStack] Logstash 설치 elasticsearch와 logstash 호환 운영 체제와 호환 우분투 22.04를 사용하고 있어 저는 8.4를 사용합니다.. windows server는 있는데 그냥 windows는 없네요. curl -O https://artifacts.elastic.co/downloads/logstash/logstash-8.5.0-amd64.deb dpkg -i logstash-8.5.0-amd64.deb /etc/logstash에서 설정 download link https://www.elastic.co/kr/downloads/logstash Download Logstash Free | Get Started Now Download Logstash or the complete Elastic Stack (formerl.. 2022. 11. 10. [ElasticStack] Filebeat 설치 목차 https://www.elastic.co/kr/downloads/beats/filebeat Download Filebeat • Lightweight Log Analysis Download Filebeat, the open source data shipper for log file data that sends logs to Logstash for enrichment and Elasticsearch for storage and analysis. www.elastic.co 호환되는 버전 https://www.elastic.co/kr/support/matrix#matrix_compatibility 1이 ElasticSarch이고 2가 firebeat 버전이다. 맞는 버전을 설치하자 우분투의 경우는 1,2,.. 2022. 11. 8. ElasticSearch put 에러 {"error":{"root_cause":[{"type":"mapper_parsing_exception","reason":"Root mapping definition has unsupported parameters: [docs : {properties={title={type=text}, content={type=keyword}}}]"}],"type":"mapper_parsing_exception","reason":"Failed to parse mapping: Root mapping definition has unsupported parameters: [docs : {properties={title={type=text}, content={type=keyword}}}]","caused_by":{"type":.. 2022. 11. 2. ElasticSearch Analyzers 란? ElasticSearch 에서 분석하는 하여 데이터를 만드는게 Analyzers. 아래는 공식홈페이지 문서 번역한것입니다. 소개 Elasticsearch 쿼리에 적합한 분석기를 선택하는 것은 과학만큼이나 예술이 될 수 있습니다. 분석기는 문서의 문자열 필드가 역 인덱스의 용어로 변환되는 방식을 결정하는 특수 알고리즘입니다. 이 기사에서 우리는 다양한 분석기를 조사할 것이며, 각각은 텍스트 구문 분석에 대한 매우 다른 접근 방식을 보여줍니다. 10개의 토크나이저, 31개의 토큰 필터 및 3개의 문자 필터가 Elasticsearch 배포와 함께 제공됩니다. 정말 압도적인 수의 옵션. 이 숫자는 플러그인을 통해 계속 증가할 수 있으므로 선택의 폭을 훨씬 더 좁힐 수 있습니다. 이러한 토크나이저, 토큰 필터 및.. 2022. 11. 2. ElasticSearch data 노드 클러스터링 이미 마스터노드가 클러스터링이 되어 있는 곳에 data 노드를 추가적으로 클러스터링 하려고 한다. 이미 실행했을경우 clustering uuid가 존재하므로 해당 정보를 날려줘야한다. 경로는 /elasticsearch[설치경로]/data/ 폴더를 삭제 시키고 실행시켜주면 된다. 처음 실행이면 elasticsearch.yml에 설정값만 수정하면된다. (7.* 버전 이후: cluster.name, see_host, initial_master_nodes) Reference https://velog.io/@halim_limha/ElasticSearch-Clustering-%EB%B0%A9%EB%B2%95 ElasticSearch Clustering 방법 이번 글은 ElasticSearch를 설치하는 방법과 Se.. 2022. 9. 28. [ElasticSearch]클러스터에 노드 2개 붙이기... 각 노드에 처음 실행할때 seed_host와 initial_master_nodes 를 설정을 하고 실행시켜야한다. node-1 [2022-09-27T07:44:01,557][WARN ][o.e.c.c.ClusterFormationFailureHelper] [node-1] master not discovered yet, this node has not previously joined a bootstrapped cluster, and this node must discover master-eligible nodes [node-1, node-2] to bootstrap a cluster: have discovered [{node-1}{NBsKhaguTKiH_JNJ6DkRYw}{zmC5Tel1QIWGl1eUq4.. 2022. 9. 27. ElasticSearch에러: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] bootstrap check failure [1] of [1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] ERROR: Elasticsearch did not exit normally - check the logs at /home/ubuntu/elasticsearch-8.3.3-node-1/logs/My-ElasticSearch.log 최대 가상메모리가 적다고 에러가 발생하여 실행이 되지 않는다. 다음 명령어 및 파일 수정합니다. sudo vi /etc/sysctl.conf 해당 파일에 아래 문구 추가 및 숫자 수정 vm.max_map_couont=262144 그리고 명령어로 적용하면.. 2022. 9. 27. [Elasticsearch 멀티 노드] node does not have the data role but has shard data 및bootstrap checks failed 에러 서버 한대에 두번째 노드를 올리려니 다음과같은 에러가 발생하였다. [에러] node does not have the data role but has shard data 데이터 노드는 없는데 샤드데이터를 가지고 있어서 발생한다고 한다. 에러 바로 아래에 Use 'elasticsearch-node repurpose' tool to clean up f라고 나오니 elasticsearch 폴더에서 bin 아래에 해당 파일을 실행시켜주면된다. 했는데 또다시 에러가 발생 ERROR: [1] bootstrap checks failed. You must address the points described in the following [1] lines before starting Elasticsearch. bootst.. 2022. 9. 23. Elasticsearch 와 metircbeat 연결(연동) 안될때 6.5버전 이후로 exporter 대신 metricbeat로 키바나에 metric 을 보내는데.. 처음 설정할땐 안그랬는데 두번째에서 메트릭을 가져오지 못했다. 찾아보니 설정을 또 따로 해줘야한다. Elasticsearch 가 설치되어 있는서버에서 다음 설정으로 확인한다. curl -X GET "localhost:9200/_cluster/settings?pretty" 아무런 설정이 되어있지 않았다. 아래 명령어로 설정을해주자 curl -X PUT "localhost:9200/_cluster/settings?pretty" -H 'Content-Type: application/json' -d' { "persistent": { "xpack.monitoring.collection.enabled": true } .. 2022. 9. 23. elasticsearch 자바 환경변수 설정 es_java_home으로 설정 'https://www.elastic.co/guide/en/elasticsearch/reference/current/setup.html 2022. 9. 20. 이전 1 2 다음 반응형
