×

支持 100 多个 LLM 的 AI 网关:多模态、负载均衡、超时重试

hqy hqy 发表于2024-11-07 21:00:46 浏览43 评论0

抢沙发发表评论

Portkey-AI/gatewayhttps://github.com/Portkey-AI/gateway

Stars: 6.2k  License: MIT

图片
picture

gateway 是一个快速的 AI 网关,可以通过一个快速友好的 API 路由到 100 多个 LLM。

  • 快速且轻量级(安装后约 45kb)
  • 支持负载均衡、回退和重试
  • 可配置请求超时处理无响应的 LLM 请求
  • 多模态支持视觉、TTS、STT 等模型之间的路由
  • 适用于企业级部署,具备增强安全性和可定制化部署能力

zongzibinbin/MallChathttps://github.com/zongzibinbin/MallChat

Stars: 3.9k  License: Apache-2.0

图片
picture

MallChat 是一个既能购物又能聊天的电商系统,以互联网企业级开发规范要求实现。它包括购物车、订单、支付、推荐、搜索等电商必备功能,并持续更新中。 该项目具有以下特点和优势:

  • 支持微信扫描登录
  • 提供丰富的消息类型和实用小轮子(如 AOP 日志,分布式锁注解)
  • 使用 Spring Boot 作为后端框架
  • 使用 MyBatis 作为 ORM 框架
  • 支持 Redis 缓存加速和 Caffeine 本地缓存
  • 使用 Nginx 进行负载均衡和 WebSocket 升级等功能

microsoft/devhomehttps://github.com/microsoft/devhome

Stars: 3.6k  License: MIT

devhome 是为 Windows 设计的全新开发者主页体验。

  • 提供更多在 Windows 上使用权力的目标
  • 包含 Dev Home、Dev Home 核心小部件等源代码
  • 支持 Windows 11 version 21H2 或更新版本,或者 Windows 10 version 22H2 或更新版本
  • 可通过 Microsoft Store 安装,也可通过 GitHub 手动下载或使用 winget 进行安装
  • 提供仪表板显示 Windows 小部件、机器配置工具和热门应用列表功能

microsoft/lidahttps://github.com/microsoft/lida

Stars: 2.7k  License: MIT

图片
picture

lida 是使用大型语言模型自动生成可视化和信息图表的库。

  • 将可视化看作代码,提供清晰的 API 用于生成、执行、编辑、解释、评估和修复可视化代码。
  • 数据总结
  • 目标生成
  • 可视化生成
  • 可视化编辑
  • 可视化解释
  • 可视化评估和修复
  • 推荐可视化方案

优势:

  • 支持多种大型语言模型提供商(OpenAI, Azure OpenAI, PaLM, Cohere, Huggingface)。
  • 兼容任何编程语言和数据可视化库(如 matplotlib,seaborn,altair,d3 等)。
  • 提供干净的 API 用于处理数据总结、目标设定以及信息图表生成。

haoheliu/AudioLDM2https://github.com/haoheliu/AudioLDM2

Stars: 2.3k  License: NOASSERTION

AudioLDM2 是一个支持文本转音频(包括音乐)和文本转语音生成的项目。

  • 支持高保真度的 48kHz AudioLDM 模型
  • 提供 16kHz 改进版的 AudioLDM 模型
  • 可以生成长于 10 秒的音频
  • 集成 Diffusers 库,支持风格迁移和修复代码
  • 提供 Web APP 和命令行使用方式


打赏

本文链接:https://www.kinber.cn/post/3949.html 转载需授权!

分享到:


推荐本站淘宝优惠价购买喜欢的宝贝:

image.png

 您阅读本篇文章共花了: 

群贤毕至

访客