이것저것

Filebeat 데이터를 로드밸런싱하는 방법을 검토해보았습니다.1. logstash loadbalance 설정을 활성화시키는 방법filebeat.yml logstash: hosts: ["192.168.0.10:5044", "192.168.0.11:5044", "192.168.0.12:5044"] loadbalance: true Filebeat 설정에서 logstash의 loadbalance 옵션을 활성화시키면 등록된 Logstash hosts들에게 데이터가 분산됩니다. LogStash 인스턴스 개수가 고정이라면 이 방법이 가장 유용합니다. 하지만 LogStash가 오토-스케일링되는 조건이라면 LogStash 인스턴스들을 Discovery하여 Filebeat 설정에 반영해주는 모듈을 별도로 구현해줘야합니다..

로그 포맷제가 파싱하려는 로그는 아래의 포맷으로 기록되고 있습니다.[timestmp] [log_level] [task_id] message 로그 예제[2016-07-21 05:27:19,818] [INFO] [....................................] Received task: qservice.devicemgmt.worker.GetServices[f770306e-1582-4b1e-9a6b-b5e09ca5f924][2016-07-21 05:27:19,819] [INFO] [f770306e-1582-4b1e-9a6b-b5e09ca5f924] message...[2016-07-21 05:27:19,761] [INFO] [......................................

socket server 설정1. 서버 실행 시 참조할 log4j property 준비: ConsoleAppender를 사용하여 stdout(콘솔화면)으로 출력하는 설정 # vi ~/log4j-server.propertieslog4j.rootLogger=INFO,stdout,R # stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%5p %d{HH:mm:ss,SSS} %m%n # Adding this to avoid thrift logging disconn..

1. elasticsearch 설치 # wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz# tar zxvf ./elasticsearch-1.7.1.tar.gz 2. elasticsearch 실행: elasticsearch는 기본값으로 9200 포트로 바인딩된다. # cd elasticsearch-1.7.1# ./bin/elasticsearch & [2015-08-21 05:15:10,670][INFO ][node ] [Hindsight Lad] version[1.7.1], pid[2450], build[b88f43f/2015-07-29T09:54:16Z] [2015-08-21 05:15:10,670..