Python库

DeepSpeed-MII：DeepSpeed开源的大模型高性能推理专属Python库

DeepSpeed-MII是微软DeepSpeed团队开源的轻量级Python库，专注于大型语言模型高效推理加速，凭借阻塞KV缓存、连续批处理、动态SplitFuse等创新技术。

AI推理模型DeepSpeedPython库微软开源模型

LangChain：一个帮助开发者实现文本生成、问答、翻译、对话等任务

LangChain是一个开源的Python库，旨在简化基于大型语言模型（LLM）的AI应用开发。它提供了一系列模块和工具，帮助开发者轻松与LLM集成，实现文本生成、问答、翻译、对话等任务。

AI开发框架Python库大型语言模型