Dirigir el tráfico del asistente de IA local a través de una puerta de enlace autoalojada
Rutea el tráfico del asistente local de IA a través de una puerta de enlace centralizada y autoalojada que aplica compresión de llamadas en tiempo real y optimización de contexto para reducir el gasto en inferencias. Anyray Connect, de Othentic Labs Ltd, se entrega como un ejecutable de Windows firmado para equipos de ingeniería y DevOps. Expone una API compatible con OpenAI, ofrece atribución de gastos por equipo y proyecto, e incluye un tiempo de espera de fallo abierto para que los flujos de trabajo de los desarrolladores sigan funcionando. La herramienta se adapta a equipos que ejecutan LLMs a gran escala y requieren gobernanza en las instalaciones.
¿Qué hace Anyray Connect realmente por el tráfico de LLM de desarrolladores?
Anyray Connect enruta solicitudes desde herramientas de IA locales a través de una puerta de enlace interna, reescribiendo los puntos finales para que los asistentes y SDK utilicen el optimizador sin cambios en el código. El ejecutable del lado del cliente configura automáticamente las herramientas compatibles para apuntar a la puerta de enlace, y la puerta de enlace aplica transformaciones determinísticas basadas en reglas para la compresión y el recorte de contexto. La configuración está dirigida a entornos donde el contenido del aviso debe permanecer dentro de la infraestructura de la empresa, y expone una API compatible con OpenAI para que las integraciones existentes sigan funcionando.
¿Afecta a los flujos de trabajo o requiere cambios de ingeniería?
La herramienta funciona como un reemplazo directo para los puntos finales de LLM existentes, por lo que los equipos no necesitan alterar el código del asistente o las llamadas al SDK. Además, el cliente utiliza un mecanismo de falla abierta con un tiempo de espera de 800 a 1200 milisegundos que reenvía solicitudes sin cambios si el optimizador es lento, lo que preserva la productividad del desarrollador. La configuración ocurre en la capa del cliente y de la puerta de enlace, y los instaladores se distribuyen como un único ejecutable de Windows firmado o a través del Administrador de Paquetes de Windows.
¿Es seguro operar dentro de un entorno corporativo?
La seguridad está diseñada en la arquitectura autoalojada; la puerta de enlace y el optimizador se ejecutan dentro de su infraestructura (por ejemplo, Docker o Kubernetes), y el contenido de aviso/respuesta se mantiene en las instalaciones. Además, el optimizador utiliza transformaciones determinísticas para mantener estables las salidas, y la medición envía solo metadatos sin contenido para la atribución de gastos. Estas decisiones de diseño limitan la exposición externa mientras proporcionan informes de uso por equipo y por proyecto.
Una herramienta específica para equipos de ingeniería que ya gestionan infraestructura autoalojada
Anyray Connect se adapta a equipos de ingeniería y DevOps que necesitan una gobernanza granular del tráfico de LLM y ya operan servicios en contenedores o locales. Preserva las integraciones existentes al exponer una API estándar y mantiene los mensajes sensibles dentro de la red. La principal compensación es el requisito operativo: los equipos deben alojar y mantener la infraestructura de la puerta de enlace para beneficiarse de las características de optimización y atribución.
