La disponibilidad regional de los modelos de lenguaje a gran escala (LLMs, por sus siglas en inglés) desempeña un papel crucial al proporcionar una ventaja competitiva a las empresas. Aquellas organizaciones que tienen acceso rápido a los LLMs pueden acelerar sus procesos de innovación, mientras que aquellas que enfrentan retrasos pueden correr el riesgo de quedarse atrás.
La integración de nuevos LLMs puede lograrse de manera se sencilla tan pronto como estén disponibles. Con este desarrollo, las organizaciones pueden ahora aprovechar LLMs de forma privada y segura en regiones como Estados Unidos, la Unión Europea y Asia Pacífico y Japón (APJ), sin incurrir en cargos adicionales por salida de datos.
Para ejecutar la inferencia y generar respuestas dentro del perímetro seguro de Snowflake, los usuarios deben configurar un parámetro a nivel de cuenta que especifique dónde se procesará la inferencia. Cortex AI selecciona automáticamente una región para el procesamiento cuando un LLM solicitado no está disponible en la región de origen. Por ejemplo, configurando un parámetro a «AWS_US,» la inferencia puede procesarse en las regiones este u oeste de Estados Unidos. Sin embargo, es importante tener en cuenta que, actualmente, las regiones de destino solo pueden configurarse dentro de AWS.
Arun Agarwal ilustró un escenario donde Snowflake Arctic se utiliza para resumir un párrafo en AWS EE. UU. este. En caso de que Arctic no esté disponible en esta región, Cortex identifica esta limitación y dirige la solicitud a AWS EE. UU. oeste 2 a través de la inferencia transfronteriza. Posteriormente, la respuesta se envía de vuelta a la región de origen de manera fluida. Agarwal también destacó la simplicidad de ejecutar este proceso, enfatizando que puede lograrse con una sola línea de código. Los usuarios son cobrados con créditos basados en el uso de LLM en la región de origen, sin tarifas adicionales por el procesamiento transfronterizo.
Deja una respuesta