ONNX (Open Neural Network Exchange), Microsoft ve Facebook'un 2017'de başlattığı, sinir ağı modellerinin framework'ler arasında taşınmasını standartlaştıran açık bir formattır. PyTorch'ta eğittiğin bir modeli ONNX'e dönüştürüp ONNX Runtime, TensorRT ya da farklı bir backend üzerinde servis edebilirsin; özellikle mobil ve uç dağıtımlarda kullanışlıdır. LLM dünyasında her ne kadar vLLM ve framework-spesifik araçlar baskın olsa da, daha küçük modeller, görsel ve ses modelleri için ONNX hâlâ taşınabilirliğin en geniş ortak paydasıdır. Ekosistemi onnxruntime, onnxruntime-genai ve donanım-spesifik EP'ler (Execution Providers) ile birlikte düşünmek gerekir.
Dış Bağlantılar