취미가 좋다

Prometheus 프로메테우스는 대상 시스템으로부터 각종 모니터링 지표를 수집하여 저장하고 검색할 수 있는 시스템이다. 프로메테우스 특징 그라파나를 통한 시각화 지원 많은 시스템을 모니터링할 수 있는 다양한 플러그인을 가지고 있다. 쿠버네티스의 메인 모니터링 시스템으로 많이 사용된다. 프로메테우스가 주기적으로 exporter(모니터링 대상 시스템)로부터 pulling 방식으로 메트릭을 읽어서 수집한다. Grafana 그라파나는 프로메테우스를 비롯한 여러 데이터들을 시각화해주는 모니터링 툴이다. Kibana(키바나)와의 차이 키바나는 주로 로그 메시지 분석에 사용된다. 그라파나는 시스템 관점(cpu, 메모리, 디스크)의 메트릭 지표를 시각화하는데 특화되어 있다. 키바나는 elasticsearch에 묶여 ..

키바나는 로그를 직접 보고 분석할 때 사용한다. ELK stack 로그를 수집하고 분석하여 시각화까지 해주는 솔루션이다. Logstash 오픈소스 서버측 데이터 처리 파이프 라인으로, 다양한 데이터를 동시에 수집하고 변환하여 stash 보관소로 보낸다. Elasticsearch 분산형 RESTful 검색 및 분석 엔진. 데이터를 중심부에 저장하여 예상되는 항목을 검색하고 예상치 못한 항목을 밝혀낸다. Kibana 데이터를 시각적으로 탐색하고 실시간으로 분석한다. 키바나의 특징 로그를 원하는 조건에 맞게 검색하면서 찾는 방식으로, 이전 검색 기록이 남는 다는 것이 특징이자 장점이다. Elasticsearch 와 동일한 버전이어야 돌아가므로, 상위 버전의 kibana 를 사용할 수 없다. 키바나 구성요소 M..

https://github.com/triton-inference-server/server/blob/main/docs/model_management.md Model Management triton 은 inference protocols and API (HTTP/REST and GRPC 프로토콜, C API) 의 부분으로 model management APIs를 제공한다. triton은 3개의 model control 모드 중 하나로 동작한다. (NONE, EXPLICIT, POLL) The model control mode determines how changes to the model repository are handled by Triton and which of these protocols and A..

https://github.com/triton-inference-server/client Triton Client Libraries and Examples triton 과의 통신을 간편하게 하기 위해, 여러 클라이언트 라이브러리와 그 라이브러리를 사용하는 예시를 제공한다. C++ / python APIs 는 triton과 통신하기 쉽다. HTTP/REST or GRPC 요청 모두 가능하고, 아래의 것들을 수행할 수 있다. inferencing, status and health, statistics and metrics, model repository management, etc. example model repository 에서 여러 예시를 사용해볼 수 있다. Getting the Client Libra..

https://github.com/triton-inference-server/server/blob/main/docs/model_repository.md Model Repository triton inference server는 서버가 지정한 model repository 에서 하나 혹은 그 이상의 모델을 제공한다. Repository Layout repository 는 triton을 시작할 때, --model-repository option으로 지정된다. $ tritonserver --model-repository= 이 repository는 무조건 아래와 같이 layout을 따라야 한다. / / [config.pbtxt] [ ...] / / ... / [config.pbtxt] [ ...] / / .....

Quickstart trtion inference server는 빌드 가능한 소스 코드로 사용할 수 있지만, 가장 쉽게 설치하고 실행하는 방법은 NGC(Nvidia Gpu Cloud)에 이미 빌드된 도커 이미지를 사용하는 것이다. Install Triton Docker Image 가장 먼저 도커를 설치해야 한다. 만약 inference 할 때, gpu를 사용할 것이라면 NIVIDIA Container Toolkit 도 설치해야 한다. 그리고 아래의 코드로 이미지를 가져온다. $ docker pull nvcr.io/nvidia/tritonserver:-py3 는 가져오고 싶은 triton의 버전을 의미한다. Create A Model Repository triton으로 서빙하고자 하는 모델을 가져와서, m..