跳到主要内容

Envoy AI Gateway 快速开始

Envoy AI Gateway 介绍

Envoy AI Gateway 定位

先来看看官网的介绍:

Welcome to the Envoy AI Gateway documentation! This open-source project, built on Envoy Proxy, aims to simplify how application clients interact with 
Generative AI (GenAI) services. It provides a secure, scalable, and efficient way to manage LLM/AI traffic, with backend rate limiting and policy control.

翻译为:

Envoy Proxy 构建的开源项目旨在简化应用与生成式人工智能 (GenAI) 服务的交互方式。
提供了一种安全、可扩展且高效的 LLM/AI 流量管理方式,并具备后端速率限制和策略控制功能。

Envoy AI Gateway 项目介绍

这是

本地安装并体验

本地安装

功能体验

参考资料