大模型分布式训练/部署/推理

实现分布式部署的一些工具和框架：

TensorFlow：提供了多种分布式策略，如 tf.distribute.MirroredStrategy（数据并行）和 tf.distribute.TPUStrategy（TPU上的数据并行）。
PyTorch：提供了 torch.distributed 包，支持数据并行和模型并行。
Horovod：一个开源库，最初由Uber开发，支持TensorFlow、Keras、PyTorch等的分布式训练，简化了多GPU和多机器训练的实现。
DeepSpeed：微软开源的一个深度学习优化库，支持大规模模型的分布式训练和推理。

基于vLLM多卡部署DeepSeek R1并集成Dify