在学习AI 的过程中，经常会遇到这些PyTorch、NCNN等名词，今天我们来系统的理解一下。一、先从Torch开始Torch ML既然说到PyTorch， 先来说说Torch， 这是一个开源的机器学习框架和科学计算框架， 是基于Lua 脚本语言。
没想到，Groq完全碾压两者，在输出速度上比Gemini快10倍，比GPT-4快18倍。在前段时间的基准测试中，Groq LPU推理引擎上运行的Llama 2 70B直接刷榜，而且比顶级云提供商快18倍的LLM推理性能。
例子里对流水线进行了配置，通过 pipeline_config 的 format_priority 参数给到 Towhee 一个提示，告诉 Towhee 优先把模型转到 TensorRT 的格式去做推理，如果失败就尝试走 ONNX。
