[ Server ] Inference protocols

https://github.com/triton-inference-server/server/blob/main/docs/inference_protocols.md

 

Inference Protocols and APIs

clients 는 HTTP/REST or GRPC 프로토콜 이나 C API 를 사용하여 triton과 통신할 수 있다.

 

HTTP/REST and GRPC Protocols

triton은 KFServing 프로젝트에서 제안한 standard inference protocos 를 기반으로, HTTP/REST 와 GRPC endpoints 를 모두 제공한다.

To fully enable all capabilities Triton also implements a number HTTP/REST and GRPC extensions. to the KFServing inference protocol.

 

HTTP/REST and GRPC 프로토콜은 서버와 모델의 health, metadata, statistics 를 확인하기 위한 endpoints 를 제공한다.

추가적인 endpoints 는 모델 loading, unloading 을 지원한다.

 

C API

triton inference server 는 triton이 C/C++ 어플리케이션과 연결될 수 있도록 backwards-compatible C API 를 제공한다.