목록Data Engineer/triton inference server (13)
취미가 좋다
[ Server ] Model Configuration
https://github.com/triton-inference-server/server/blob/main/docs/model_configuration.md Model Configuration repository에 있는 각 모델들은 configuration 을 무조건 포함해야한다. config.pbtxt 파일로 저장되고 가장 기본적이고 필수적인 정보가 포함된 양식은 아래와 같다. platform: "tensorrt_plan" max_batch_size: 8 input [ { name: "input0" data_type: TYPE_FP32 dims: [ 16 ] }, { name: "input1" data_type: TYPE_FP32 dims: [ 16 ] } ] output [ { name: "outpu..
Data Engineer/triton inference server
2021. 6. 23. 17:41