La revolución de la IA: Del transformer a los agentes financieros (7)

Hoy me puse a revisar sobre prompt engineering, en específico como podría elaborar instruccciones efectivas a un modelo LLM y me topé con varios recursos interesantes que a continuación comparto.

A continuación un resumen de mi primera sesión de clase:

 El Prompt en Finanzas y Equity Research

Un prompt es una instrucción o pregunta diseñada para guiar a una inteligencia artificial en la generación de una respuesta específica. En el contexto de finanzas y equity research, los prompts son fundamentales para obtener análisis precisos y útiles.

¿Qué es un prompt efectivo?

Un prompt efectivo en finanzas y equity research tiene características clave:

• Claro: Proporciona el contexto relevante sobre el instrumento financiero o empresa
• Específico: Se enfoca en la información necesaria sin detalles irrelevantes
• Abierto pero dirigido: Permite descubrir perspectivas no obvias pero mantiene el enfoque

Ejemplos de prompts efectivos en finanzas/equity research

Ejemplo 1: Análisis de empresa

"Analiza la posición competitiva de Tesla en el mercado de vehículos eléctricos. Incluye: 
1) Ventajas competitivas actuales 
2) Principales amenazas de competidores como BYD y Volkswagen 
3) Proyección de cuota de mercado para los próximos 3 años basada en tendencias recientes"

Este prompt es efectivo porque:

• Define claramente la empresa y el enfoque (posición competitiva)
• Solicita aspectos específicos para analizar
• Establece un marco temporal concreto

Ejemplo 2: Evaluación de ratios financieros

"Evalúa los siguientes ratios financieros de JPMorgan Chase en comparación con Bank of America y Citigroup durante los últimos 2 años: ROE, eficiencia operativa y ratio de capital. ¿Qué tendencias significativas destacan y qué implican para la valoración relativa?"

Este prompt funciona bien porque:

• Especifica las empresas a comparar
• Identifica ratios específicos de interés
• Solicita interpretación de los datos y su impacto en la valoración

Ejemplos de prompts inefectivos

Ejemplo 1: Demasiado general

"Dime sobre acciones bancarias"

Este prompt es inefectivo porque:

• No especifica qué bancos o qué aspectos analizar
• No proporciona un marco temporal
• No indica el propósito del análisis

Ejemplo 2: Expectativas irreales

"Predice con exactitud el precio de las acciones de Amazon para el próximo trimestre"

Este prompt es problemático porque:

• Solicita predicciones precisas que ningún sistema puede garantizar
• No especifica qué factores considerar
• No reconoce la incertidumbre inherente a los mercados

Consejos para crear prompts efectivos en finanzas

1. Especifica el horizonte temporal: "Analiza el rendimiento del último trimestre" vs. "Analiza el rendimiento"
2. Define métricas concretas: "Evalúa el crecimiento de ingresos, márgenes y ROIC" vs. "Evalúa el desempeño"
3. Contextualiza la solicitud: "Considerando el actual entorno de tipos de interés elevados, analiza cómo afecta a los márgenes de interés neto del sector bancario europeo"
4. Solicita comparativas: "Compara la valoración de Alphabet con otras empresas tecnológicas de gran capitalización utilizando múltiplos P/E, EV/EBITDA y PEG"
5. Incluye fuentes de datos relevantes: "Basándote en los últimos informes trimestrales y la guidance proporcionada en la call de resultados..."

Los prompts efectivos en finanzas y equity research permiten obtener análisis profundos y útiles para la toma de decisiones de inversión, mientras que los prompts vagos o irrealistas generan información poco útil o potencialmente engañosa.

Referencias:

- Promp for investment research 

- 5-Day Gen AI Intensive Course with Google Learn Guide

La revolución de la IA: Del transformer a los agentes financieros (6)

Continuamos con la serie de posts. 

Diferencias entre LLMs Multimodales y No Multimodales

Los Modelos de Lenguaje de Gran Escala (LLMs) se dividen en dos categorías principales con capacidades muy diferentes:

1. LLMs Multimodales

Son modelos capaces de procesar y comprender múltiples tipos de datos (modalidades), incluyendo texto, imágenes, audio y video.

Capacidades clave:

• Pueden analizar simultáneamente imágenes, videos y texto
• Establecen conexiones entre diferentes tipos de datos
• Comprenden contextos complejos que involucran múltiples sentidos
• Generan respuestas basadas en información visual y textual

Aplicaciones:

• Conservación de vida silvestre: Analizan imágenes, videos y datos textuales para detectar amenazas potenciales a la fauna
• Ciberseguridad: Monitorizan feeds de video y datos textuales de redes sociales para identificar amenazas
• Contratación y RR.HH.: Evalúan perfiles de candidatos y entrevistas en video para encontrar a los mejores talentos
• Asistencia médica diagnóstica (análisis de imágenes + historial clínico)
• Sistemas de vigilancia inteligente
• Experiencias de compra mejoradas (búsqueda visual + preferencias)

Ventajas:

• Mayor versatilidad en tipos de datos
• Capacidad para tareas que requieren integración sensorial
• Mejores para simulación de inteligencia humana holística

Desventajas:

• Mayor complejidad técnica y computacional
• Requieren más recursos de procesamiento
• Entrenamiento más complejo y costoso

2. LLMs No Multimodales

Están limitados al procesamiento de un solo tipo de datos, típicamente texto, sin capacidad nativa para entender otros formatos.

Capacidades clave:

• Excelentes en el procesamiento profundo de texto
• Optimizados para una sola modalidad
• Requieren conversión previa de otros formatos a texto
• Generalmente más eficientes en tareas puramente textuales

Aplicaciones:

• Análisis de sentimiento: Analizan feedback textual de clientes para determinar sentimientos y opiniones
• Detección de movimiento: Identifican patrones de movimiento mediante procesamiento de datos numéricos/textuales
• OCR avanzado: Convierten imágenes de documentos impresos o manuscritos a formato digital
• Generación y análisis de contenido puramente textual
• Análisis de datos estructurados
• Traducción de idiomas
• Resumen de documentos extensos

Ventajas:

• Más eficientes en tareas específicas de texto
• Generalmente requieren menos recursos
• Mayor madurez tecnológica

Desventajas:

• Limitados a un solo tipo de entrada de datos
• Incapaces de procesar directamente contenido visual o auditivo
• Menos versátiles para aplicaciones del mundo real

El futuro de los LLMs

La tendencia actual apunta hacia una mayor integración de capacidades multimodales en los LLMs. Mientras que los modelos no multimodales seguirán siendo relevantes para tareas específicas de texto, los avances en procesamiento multimodal están abriendo nuevas posibilidades para aplicaciones más sofisticadas.

La elección entre modelos multimodales y no multimodales dependerá de factores como:

• Los tipos de datos disponibles para análisis
• La complejidad de la tarea a realizar
• Los recursos computacionales disponibles
• El nivel de precisión y comprensión contextual requerido

La revolución de la IA: Del transformer a los agentes financieros (5)

Cómo los Modelos de Lenguaje de Gran Escala (LLMs) están Transformando la Industria Financiera

Años atrás se hablaba del proceso de transformación digital, los Modelos de Lenguaje de Gran Escala (LLMs) es el siguiente paso en este camino, para estar en la vanguardia de esta transformación. Estas herramientas de IA están dando mayor autonomía a los algoritmos, por ello seguiremos escribiendo de estos temas de manera secuencial, pues el objetivo es desarrollar de modo práctico el uso de agentes financieros en una entrada de post futura.

¿Qué impacto tienen los LLMs en el sector financiero?

Los LLMs están revolucionando cada aspecto de la industria financiera, mediante la eficiencia de los procesos en general, desde el análisis de datos hasta la atención al cliente. Veamos cómo estas tecnologías están transformando áreas clave:

Procesamiento y análisis de documentos financieros

Los LLMs tienen la capacidad de procesar y analizar enormes volúmenes de información financiera de diversas fuentes:

1. Reportes de inversión: Pueden analizar perspectivas de inversión, identificar tendencias y extraer conclusiones clave, ahorrando horas de trabajo manual.
2. Informes anuales: Procesan rápidamente informes financieros extensos, identificando datos relevantes, tendencias financieras y riesgos potenciales.
3. Artículos de noticias: Monitorean y analizan noticias financieras en tiempo real para identificar eventos que puedan impactar los mercados.
4. Publicaciones en redes sociales: Analizan el sentimiento del mercado a través de las conversaciones en redes sociales, proporcionando información valiosa sobre la percepción pública.

Transformación de datos en inteligencia financiera

El verdadero poder de los LLMs reside en su capacidad para transformar datos sin procesar en información accionable:

1. Análisis de mercado avanzado: Los LLMs pueden identificar patrones ocultos en los datos del mercado, predecir tendencias y proporcionar análisis profundos que van más allá de las capacidades humanas.
2. Gestión de carteras personalizada: Pueden generar recomendaciones de inversión personalizadas basadas en perfiles de riesgo, objetivos financieros y condiciones del mercado.
3. Identificación de oportunidades de inversión: Descubren oportunidades de inversión emergentes mediante el análisis de datos del mercado, noticias y tendencias globales.

Aplicaciones prácticas de los LLMs en finanzas

Los LLMs están siendo implementados en diversos aspectos del sector financiero:

1. Servicios de asesoramiento financiero

Los asesores financieros virtuales impulsados por LLMs pueden proporcionar recomendaciones personalizadas, responder preguntas complejas y educar a los clientes sobre productos financieros, todo en un lenguaje natural y accesible.

2. Análisis predictivo

Al combinar datos históricos con información en tiempo real, los LLMs pueden generar predicciones más precisas sobre el comportamiento del mercado, ayudando a los inversores a tomar decisiones más informadas.

3. Automatización de procesos

Tareas como la preparación de informes financieros, el análisis de estados financieros y la generación de resúmenes ejecutivos pueden ser automatizadas, liberando tiempo para actividades de mayor valor.

4. Detección de fraudes

Los LLMs pueden identificar patrones anómalos en transacciones y comportamientos que podrían indicar actividades fraudulentas, aumentando la seguridad del sistema financiero.

El futuro de las finanzas con LLMs

A medida que los LLMs continúan evolucionando, podemos esperar:

1. Mayor democratización del acceso a asesoramiento financiero de calidad
2. Análisis más profundos y precisos para toma de decisiones
3. Experiencias de cliente altamente personalizadas
4. Colaboración más eficiente entre humanos y IA en roles financieros

La revolución de los LLMs en el sector financiero apenas está comenzando, pero su impacto ya es innegable. Las instituciones financieras que adopten estas tecnologías estarán mejor posicionadas para prosperar en un mercado cada vez más competitivo y orientado a los datos.

¿Cómo se está preparando tu organización para la era de los LLMs?

La revolución de la IA: Del transformer a los agentes financieros (4)

¿Qué son los modelos de gran escala?

Los modelos de gran escala (LLMs) son sistemas de inteligencia artificial diseñados para procesar, comprender y generar texto de forma similar a como lo haría un humano. Estos modelos son una subcategoría dentro del Procesamiento del Lenguaje Natural (NLP) y se caracterizan por:

1. Estar construidos sobre arquitecturas de redes neuronales profundas, generalmente basadas en transformers
2. Haber sido entrenados con enormes cantidades de texto (cientos de miles de millones o incluso billones de palabras)
3. Tener la capacidad de capturar patrones complejos del lenguaje, incluyendo gramática, contexto y, hasta cierto punto, conocimiento del mundo
4. Poder generar respuestas coherentes y contextualmente apropiadas a una amplia variedad de preguntas y peticiones
5. Ser aplicables a múltiples tareas como traducción, resumen, generación de contenido, programación, análisis de datos, y conversación

Ejemplos de LLMs incluyen GPT (de OpenAI), Claude (de Anthropic), LLaMA (de Meta), PaLM y Gemini (de Google), entre otros. Estos modelos han revolucionado la forma en que interactuamos con la tecnología, permitiendo interacciones más naturales y capaces entre humanos y máquinas.

Con el avance de los LLMs, estamos viendo una evolución hacia sistemas más complejos como los agentes de IA, que pueden tomar decisiones autónomas y realizar tareas específicas. Para profundizar en este tema, a continuación compartimos una guía práctica elaborada por OpenAI que explica cómo funcionan estos agentes, sus capacidades y limitaciones actuales:

Esta guía nos ayuda a entender cómo los agentes representan el siguiente paso en la evolución de la IA, construyendo sobre las capacidades fundamentales de los LLMs que hemos descrito anteriormente.

Nos vemos en el siguiente post.

La revolución de la IA: Del transformer a los agentes financieros (3)

 Los LLMs (Modelos de Lenguaje de Gran Escala) sirven como el 'cerebro' de razonamiento del Agente, procesando entradas de texto para comprender instrucciones y planificar acciones. Estos modelos sofisticados analizan el contexto, interpretan la intención del usuario y generan respuestas coherentes basadas en su extenso entrenamiento. Funcionan como el núcleo intelectual que permite al Agente entender problemas complejos, tomar decisiones informadas y ejecutar tareas de manera autónoma. En un agente financiero, los LLMs ayudan a interpretar consultas sobre mercados, analizar tendencias económicas, y formular estrategias de inversión basadas en datos textuales de diversas fuentes.

Revisemos el modelo original, representado por el siguiente diagrama. En este punto recomiendo revisar las notas del profesor Tom Yeh 

Este diagrama muestra la arquitectura de un modelo Transformer, la base fundamental de los Modelos de Lenguaje de Gran Escala (LLMs) modernos. La imagen ilustra los componentes clave que permiten a estos modelos procesar y generar texto de manera eficiente.

El diagrama presenta:

1. Embeddings de entrada y salida: Convierten tokens en representaciones numéricas
2. Bloques de atención que contienen:
   • Mecanismos de atención multi-cabezal (que permiten al modelo enfocarse en diferentes partes del texto)
   • Redes neuronales feed-forward
   • Capas de adición y normalización (conexiones residuales y normalización de capas)
3. Atención multi-cabezal enmascarada en la sección del decodificador
4. Capas lineales y softmax en la parte superior que transforman las representaciones internas del modelo en probabilidades de salida

Esta arquitectura revolucionaria, con su capacidad de procesamiento paralelo y sus mecanismos de atención, permite a los LLMs capturar relaciones entre palabras y comprender el contexto a través de secuencias más largas de texto, lo que representó un avance significativo respecto a arquitecturas anteriores.

Introducción a los Transformers

• Los modelos Transformer revolucionaron el procesamiento de lenguaje natural
• La arquitectura original combina un codificador (encoder) y un decodificador (decoder)
• Base de los modelos de IA más avanzados en la actualidad

Componentes del Encoder

• Procesa el texto de entrada convirtiéndolo en representaciones densas (embeddings)
• Utiliza mecanismos de atención multi-cabezal para captar relaciones entre palabras
• Incorpora redes neuronales feed-forward y capas de normalización
• Ejemplo famoso: BERT de Google
• Aplicaciones: clasificación de textos, búsqueda semántica, reconocimiento de entidades
• Tamaño típico: millones de parámetros

Componentes del Decoder

• Genera texto nuevo, un token a la vez
• Emplea atención multi-cabezal enmascarada (diferencia clave respecto al encoder)
• Solo puede ver tokens previamente generados al producir nuevos
• Ejemplo conocido: LLaMA de Meta
• Aplicaciones: generación de texto, chatbots, escritura creativa
• Tamaño típico: miles de millones de parámetros

Arquitectura Seq2Seq (Combinada)

• Integra componentes de encoder y decoder trabajando en conjunto
• El encoder procesa la entrada → crea representación contextual → el decoder la utiliza para generar salida
• Ilustrada en el diagrama con secciones izquierda (encoder) y derecha (decoder)
• Ejemplos: T5, BART
• Casos de uso: traducción, resúmenes, paráfrasis

Elementos Arquitectónicos Clave

• Embeddings de entrada/salida convierten tokens en vectores
• Múltiples capas de atención y feed-forward se apilan para representaciones más profundas
• Capas "Add & norm" proporcionan conexiones residuales y normalización
• Capas finales lineales y softmax convierten representaciones internas en probabilidades de salida

Conclusión

• La versatilidad de esta arquitectura permite abordar diversas tareas de lenguaje
• El equilibrio entre encoder y decoder determina las capacidades específicas del modelo
• La comprensión de esta arquitectura es fundamental para aprovechar el potencial de la IA de lenguaje

Para cerrar este post los dejo con esta herramienta visual elaborada por Brendan Bycroft

La revolución de la IA: Del transformer a los agentes financieros (2)

Los LLMs permiten al Agente interpretar, planificar y decidir los siguientes pasos. Las Acciones son los pasos que toma el Agente, mientras que las Herramientas son recursos externos que el Agente puede usar para realizar esas acciones. Las Herramientas permiten a los Agentes interactuar con el mundo real y completar tareas. 

A continuación seguiré revisando los principales conceptos que nos permitan entender como funcionan los agentes de inteligencia de inteligencia artificial.  

¿Qué es un Modelo de Lenguaje Grande (LLM)?

Un Modelo de Lenguaje Grande (en inglés: Large Language Model o LLM) representa una de las tecnologías más avanzadas en Inteligencia Artificial, especializada en comprender y generar lenguaje humano de manera natural. Imagina una biblioteca digital masiva que no solo almacena información, sino que aprende a entender y generar texto como lo haría un humano.

¿Cómo funciona?

• Se entrena con vastas cantidades de texto de internet, libros y documentos
• Aprende patrones del lenguaje, desde gramática básica hasta contextos culturales
• Puede contener billones de parámetros que le permiten procesar y generar texto

Base técnica: La mayoría de los LLMs modernos se construyen sobre la arquitectura Transformer, introducida en el paper "Attention Is All You Need" (2017). Esta arquitectura revolucionó el campo del procesamiento del lenguaje natural, y fue la base para modelos pioneros como:

• BERT (Google, 2018)
• GPT (OpenAI)
• LLaMA (Meta)
• Gemini (Google)

Capacidades clave:

• Comprensión contextual del lenguaje
• Generación de texto coherente
• Respuesta a preguntas
• Traducción
• Análisis de sentimientos
• Resumen de textos
• Programación y depuración de código

La arquitectura Transformer y sus avances posteriores han permitido que los LLMs actuales puedan procesar y generar texto de una manera que cada vez se acerca más a la comprensión humana del lenguaje.

Nota: Este es un borrador de la presente entrada. 

Bibliografía recomendada:

1. Libros fundamentales:

• "Hands-On Large Language Models" por Mecha Bechara y Ashwin Kumar (2023) - Una guía práctica para entender y trabajar con LLMs

2. Papers académicos clave:

• "Attention Is All You Need" - El paper original que introdujo la arquitectura Transformer
• "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" - Documento fundamental sobre BERT
• "Language Models are Few-Shot Learners" - Paper que presentó GPT-3 y sus capacidades

3. Recursos en línea:

• Hugging Face Documentation - Documentación completa sobre transformers y LLMs
• OpenAI Documentation - Guías y documentación sobre modelos GPT
• Google AI Blog - Publicaciones técnicas sobre avances en IA y LLMs

4. Cursos en línea:

• "Deep Learning Specialization" por Andrew Ng en Coursera
• "Natural Language Processing Specialization" en Coursera
• "Practical Deep Learning for Coders" por fast.ai

5. Comunidades y foros:

• r/MachineLearning
• Stack Overflow - AI/ML tags
• Papers with Code - Implementaciones de papers de IA

 

La revolución de la IA: Del transformer a los agentes financieros

El vertiginoso avance de la inteligencia artificial puede resultar abrumador. Hoy en día, interactuar con modelos como GPT, Gemini o Claude se ha vuelto tan común como usar cualquier otra herramienta digital. Y aunque a nivel usuario el proceso es relativamente simple - escribes una consulta (prompt) y obtienes una respuesta - el potencial de esta tecnología va mucho más allá.

La clave del éxito: validación y criterio

Como usuario, la clave para aprovechar la IA de manera efectiva radica en tu capacidad de validar las respuestas. Cuando puedes verificar la precisión y relevancia de lo que el modelo genera, la IA se convierte en una poderosa aliada para impulsar tu productividad. No se trata de confiar ciegamente en las respuestas, sino de aplicar tu criterio y conocimiento para sacar el máximo provecho.

Los orígenes de una revolución

Para entender cómo llegamos hasta aquí, es fascinante remontarnos al documento que lo cambió todo: "Attention is all you need". Este paper seminal, desarrollado en Google, introdujo una arquitectura de red neuronal revolucionaria conocida como transformer.

Lo verdaderamente interesante es que fue OpenAI, una startup en ese momento, quien reconoció el verdadero potencial de esta innovación. Su visión para aplicar y expandir esta tecnología ha sido fundamental en el desarrollo de los modelos de IA que usamos hoy.

Agentes IA en finanzas: más allá de la automatización

En el ámbito financiero, estamos apenas rozando la superficie de lo que es posible. Los agentes de IA son la tendencia de este año, estos son sistemas autónomos capaces de realizar tareas financieras.

Los agentes de IA representan una revolución en el campo financiero al trascender la simple automatización de tareas. Su verdadero poder radica en su capacidad de aprendizaje, adaptación y pensamiento autónomo, permitiéndoles analizar vastos conjuntos de datos para predecir tendencias y tomar decisiones inteligentes. Lo que los hace particularmente valiosos es su habilidad para interpretar datos no estructurados, como correos electrónicos y documentos financieros, algo que tradicionalmente requería intervención humana. Además, estos agentes no solo proporcionan análisis en tiempo real para facilitar la toma de decisiones estratégicas, sino que también mejoran continuamente su rendimiento a través del aprendizaje automático, adaptándose y refinando sus capacidades con cada nueva interacción y conjunto de datos que procesan.

Esta tecnología está redefiniendo el panorama del análisis financiero, combinando la velocidad y precisión de la IA con la capacidad de aprendizaje y adaptación que tradicionalmente se asociaba solo con analistas humanos.

¿Qué es un agente de inteligencia artificial?

Basado en el curso AI agents course de Hugging Face

"Un Agente es un sistema que aprovecha un modelo de IA para interactuar con su entorno con el fin de lograr un objetivo definido por el usuario. Combina el razonamiento, la planificación y la ejecución de acciones (a menudo mediante herramientas externas) para cumplir tareas."

El modelo de IA más común que se encuentra en los Agentes es un LLM (Modelo de Lenguaje Grande), que toma Texto como entrada y también produce Texto como salida. Ejemplos bien conocidos son GPT4 de OpenAI, LLama de Meta, Gemini de Google, etc. 

En los próximos post compartiré mi ruta de aprendizaje con el objetivo de implementar un agente de inteligencia artificial en el ámbito financiero.