OpenAI pone Decisions API a disposición de todos los clientes
El modelo rápido y económico entra en un mercado dominado por Jev de TypeSafe y otros modelos de decisión.
Laboratorios#05
Laboratorios
Imagen: TechCrunch
En corto
- OpenAI puso su modelo Decisions API a disposición de todos los clientes el jueves, tras anunciarlo en su evento para desarrolladores del 29 de septiembre.
- El modelo es ChatGPT Luna, reconfigurado para acelerar la inferencia y reducir el costo.
- En pruebas iniciales, clientes como Box, Datadog, Ramp y Speak lo usaron en lugar de los LLM de OpenAI.
- El CTO de Speak dijo que el tiempo entre acciones bajó de 1.4 segundos a .13 segundos.
Por qué importa
Los modelos de decisión funcionan como clasificadores rápidos. Eligen entre un conjunto de opciones y dan un nivel de confianza, y los desarrolladores han visto que pueden reemplazar LLM en muchos flujos de trabajo a un costo mucho menor. El artículo señala que todavía no hay un estándar claro para un buen modelo de decisión, así que los equipos deben probar los modelos con su propio trabajo.
“The big unlock with Decisions API has been the speed, shrinking things from one to three seconds to 100, 120, 180 milliseconds”