Kibana 키바나 정리

키바나는 로그를 직접 보고 분석할 때 사용한다.

 

ELK stack

로그를 수집하고 분석하여 시각화까지 해주는 솔루션이다.

Logstash

오픈소스 서버측 데이터 처리 파이프 라인으로, 다양한 데이터를 동시에 수집하고 변환하여 stash 보관소로 보낸다.

 

Elasticsearch

분산형 RESTful 검색 및 분석 엔진. 데이터를 중심부에 저장하여 예상되는 항목을 검색하고 예상치 못한 항목을 밝혀낸다.

 

Kibana

데이터를 시각적으로 탐색하고 실시간으로 분석한다.

 

 

키바나의 특징

• 로그를 원하는 조건에 맞게 검색하면서 찾는 방식으로, 이전 검색 기록이 남는 다는 것이 특징이자 장점이다.
• Elasticsearch 와 동일한 버전이어야 돌아가므로, 상위 버전의 kibana 를 사용할 수 없다.

---

키바나 구성요소

Management

• 키바나는 ElasticSearch가 저장한 데이터를 시각화하여 보여준다.
• ElasticSearch는 데이터를 index로 저장한다. (테이블로 저장된다고 생각하면 된다.)
• management에서 보기 원하는 index 패턴를 지정하여야 한다.

Discover

• 선택한 인덱스 패턴에 대한 로그들을 필터링하여 원하는 대로 볼 수 있다.
• 우측 위의 보고싶은 로그의 기간을 설정해야 한다.
• 페이지 상단 query 바에 검색을 통해 원하는 데이터를 볼 수 있다. 
  • 검색 방식엔 2가지가 있다.
  1. Lucene query syntax
     • https://lucene.apache.org/core/2_9_4/queryparsersyntax.html
  2. Elasticsearch Query DSL
     • https://www.elastic.co/guide/en/elasticsearch/reference/5.1/query-dsl.html
  • quick example
    1. 문자열을 입력하면 해당 문자열이 포함된 필드를 가진 모든 로그를 보여준다.
    2. ex) "translate"
    3. 특정 필드에 대한 값을 지정한다.
    4. ex) @timestamp : 12344567890
    5. 값의 범위도 지정할 수 있다.
    6. ex) @timestamp : [1234567890 TO 9876543210]
    7. AND 와 OR 를 혼합하여 사용할 수도 있다.
    8. ex) status:[400 TO 499] AND (extension:php OR extension:html)
• 필드의 타입에 따라 쿼리 방식의 차이가 있다.
  • 각 필드의 타입은 Management / Index Patterns 에서 원하는 인덱스를 선택하면 볼 수 있다.
• 왼쪽 field bar
  • 왼쪽에 각 필드를 확인할 수 있고, [add] 를 클릭하면 위에 Selected Fields에 추가가 되면서 오른쪽 로그 테이블에 열이 추가된다.
  • 필드를 누르면 빈도수가 높은 값들이 나오고, 그 값을 [+] 하면 해당하는 로그들만 볼 수 있다.
• 원하는 데이터만 걸러낸 상태를 저장해서 나중에 불러올 수도 있다.
• https://www.elastic.co/guide/en/kibana/5.1/search.html

Visualize

• 위 Discover에서 저장한 search 혹은 새로운 search로 검색한 데이터를 바 그래프, 파이 차트 형태로 시각화한다.

dashboard

• visualize에서 만든 여러 차트들을 한눈에 보기 쉽게 대시보드를 구성한다.