ca5eb4685c
vLLM-MLX provider-pool에서 strict output이 thinking을 끄지 않도록 하고, queue_timeout_ms=0을 IOP queue timeout 없음으로 해석해야 한다. long reasoning/long-context 요청은 IOP queue timeout이 아니라 caller cancellation과 backend timeout 정책으로 제어한다. |
||
|---|---|---|
| .. | ||
| chat_handler.go | ||
| input_estimator.go | ||
| input_estimator_test.go | ||
| ollama_passthrough.go | ||
| responses_handler.go | ||
| routes.go | ||
| run_result.go | ||
| server.go | ||
| server_test.go | ||
| stream.go | ||
| strict_output.go | ||
| tool_validation.go | ||
| types.go | ||