Triton Inference Server Backend

https://github.com/triton-inference-server/backend/blob/main/README.md

 

Triton Inference Server Backend

triton backend 는 모델을 실행하는 implemnetation이다.

다양한 종류의 deep learning framework (pytorch, tensorflow, tensorRT, ONNX runtime...) 으로 감싸질 수도 있다.

혹은 backend는 여러 operation (image 전처리) 를 수행하는 custom C/C++ logic 이 될 수도 있다.

 

 

FAQ

• Where can I ask general questions about Triton and Triton backends?
• Where can I find all the backends that are available for Triton?
• How can I develop my own Triton backend?
• Can I add (or remove) a backend to an existing Triton installation?
• What about backends developed using the "legacy custom backend" API.