Transformers
Una familia arquitectónica de redes neuronales
Transformer es una familia de arquitecturas neuronales que combina mecanismos de atención con transformaciones de representaciones para modelar relaciones entre posiciones de una entrada o secuencia. No identifica un modelo entrenado particular, un proveedor ni un agente. Muchos modelos de lenguaje modernos utilizan variantes de esta familia, pero Transformer y LLM no son sinónimos.
El trabajo original Attention Is All You Need, presentado en 2017 por Vaswani y colaboradores, propuso una arquitectura encoder-decoder para transducción de secuencias basada en atención, sin la recurrencia o convoluciones características de otros sistemas de ese momento. Ese contexto explica una contribución histórica concreta; no implica que todas las redes posteriores deban abandonar otras estructuras.
Neural Networks conserva los fundamentos de parámetros, capas y aprendizaje. Aquí interesa cómo se relacionan representaciones mediante atención y cómo se organizan bloques. Las variantes pueden modificar detalles importantes, por lo que el nombre de la familia no permite deducir todas las propiedades de una implementación.
La idea es útil más allá del lenguaje: una entrada puede representar texto, regiones de imagen u otras unidades según la tarea. Eso no significa que cualquier Transformer procese automáticamente todas las modalidades. La representación, el objetivo y el entrenamiento delimitan qué hace una instancia concreta.
De unidades de entrada a representaciones
Una secuencia se convierte en representaciones numéricas que el modelo puede transformar. En lenguaje suelen partir de tokens determinados por un tokenizer. Un token no equivale necesariamente a una palabra y su identificador no contiene por sí solo una descripción completa de su significado. LLM Fundamentals desarrolla esa representación en modelos de lenguaje.
Una tabla o mecanismo de embedding puede asociar unidades con vectores iniciales. Las capas posteriores producen representaciones dependientes del contexto: una misma unidad puede participar de manera distinta según lo que la rodea. Embeddings distingue estas representaciones internas de vectores destinados al consumo externo.
Las posiciones también necesitan información sobre orden o relaciones posicionales. La secuencia «cliente paga proveedor» no expresa lo mismo que otra con esos elementos reorganizados. El mecanismo de atención por sí solo no debe imaginarse como una lectura humana de izquierda a derecha que ya conoce el orden por encontrarse escrito en una pantalla.
La preparación de entrada forma parte del contrato del modelo. Dos secuencias visibles parecidas pueden convertirse en unidades o marcas diferentes. Un cambio en ese procesamiento puede alterar resultados sin modificar los pesos. Examinar únicamente la arquitectura deja fuera esa dependencia práctica.
Atención: combinar información mediante relaciones calculadas
La atención calcula una combinación de información atendiendo a relaciones entre representaciones. En una forma habitual, una consulta se compara con claves para obtener pesos y estos se utilizan para combinar valores. Es una operación aprendida o parametrizada dentro del modelo, no una facultad que garantice comprender qué es importante para el usuario.
Queries, keys y values son representaciones con roles diferentes. La query participa en la pregunta computacional de qué información combinar; las keys intervienen en la comparación; los values aportan contenido a la combinación resultante. Son nombres funcionales de vectores, no preguntas y respuestas redactadas por una persona ni claves de una base de datos convencional.
En atención por producto escalar, los vectores de consulta y clave producen puntuaciones de compatibilidad, que se transforman en pesos bajo las reglas del mecanismo. Escalado y normalización ayudan a organizar esa operación. No es necesario derivar matrices aquí para comprender que cambiar las representaciones o la máscara cambia qué información puede contribuir.
Un peso elevado indica una contribución bajo una operación particular, no una explicación completa de por qué el sistema produjo cierta respuesta. La salida depende además de otras cabezas, capas y transformaciones. Interpretar atención como comprensión o como prueba de causalidad del comportamiento excede lo que esa observación demuestra.
Self-attention y cross-attention
Self-attention relaciona posiciones dentro de una misma secuencia o conjunto de representaciones: consultas, claves y valores se construyen desde ese material bajo las transformaciones correspondientes. Permite que la representación de una posición incorpore información de otras posiciones autorizadas por la estructura y la máscara.
Atención es más amplia que self-attention. En cross-attention, las consultas pueden proceder de un lado y las claves y valores de otro, como cuando un decoder utiliza representaciones generadas por un encoder. No toda arquitectura necesita esa relación ni todo mecanismo de atención tiene que organizarse exactamente como el Transformer original.
Una máscara limita contribuciones posibles. Una máscara causal permite que una posición no utilice directamente información de posiciones posteriores en la secuencia objetivo. Otras máscaras pueden impedir atender a relleno u organizar restricciones específicas. Enmascarar relaciones computacionales no constituye una política general de autorización sobre herramientas, archivos o datos externos.
Las fronteras importan para comparar objetivos de entrenamiento. Representar una secuencia viendo contexto en ambos sentidos y producir una continuación causal utilizan información de manera diferente. Ambos pueden involucrar Transformers sin que sus representaciones o usos sean intercambiables automáticamente.
Multi-head attention y posición
Multi-head attention utiliza varias transformaciones de consulta, clave y valor para combinar información en subespacios diferentes, cuyos resultados se integran. La intuición es disponer de varias relaciones computacionales en paralelo dentro del bloque, no asignar obligatoriamente una cabeza a sintaxis, otra a negocio y otra a intención humana.
El comportamiento aprendido puede distribuir información de formas que no resultan fácilmente interpretables. Más cabezas no garantiza por sí solo mayor calidad y el número no define la categoría Transformer. Su utilidad depende de dimensiones, entrenamiento, tarea y otras decisiones de arquitectura.
La información posicional puede incorporarse mediante representaciones añadidas o mecanismos que expresan relaciones entre posiciones, según la variante. Algunas opciones se aprenden y otras siguen una construcción definida. No existe una única regla posicional necesaria para todos los Transformers ni una garantía universal de extrapolar correctamente a secuencias más extensas.
Combinar posición y contenido permite modelar dependencias situadas en una secuencia. Sigue siendo una representación diseñada y aprendida: no una memoria perfecta de todo lo que ocurrió ni una comprensión garantizada de toda relación temporal del dominio.
Feed-forward, residual connections y normalización
La atención no es el único componente del bloque. Transformaciones feed-forward procesan las representaciones de cada posición con parámetros compartidos según la arquitectura. Incorporan operaciones y no linealidades que permiten transformar lo combinado por atención. Una descripción reducida a «compara todas las palabras» omite parte importante del cálculo.
Las conexiones residuales combinan una representación con el resultado de una transformación, facilitando rutas de información y optimización a través de bloques. No significan conservar intacto todo el contexto original ni evitar cualquier pérdida de información. Son una estructura de cálculo con efectos sobre entrenamiento y representación.
La normalización organiza valores bajo una operación definida y puede ayudar a la estabilidad del entrenamiento. Su ubicación respecto de otras operaciones cambia entre variantes. Tampoco significa normalizar el significado del texto o corregir errores factuales. Es importante separar el sentido matemático de estos mecanismos de las metáforas de comprensión.
Los bloques se apilan para producir transformaciones sucesivas. Profundidad, dimensiones y organización afectan capacidad y recursos, sin fijar por separado el comportamiento de una instancia. El capítulo académico The Transformer Architecture de Dive into Deep Learning permite contrastar esta composición, sin exigir adoptar sus ejemplos de código.
Encoder, decoder y encoder-decoder
Las arquitecturas orientadas a encoder suelen producir representaciones de una entrada utilizando relaciones permitidas dentro de ella. Pueden servir para tareas de comprensión o clasificación según su entrenamiento y componentes de salida. Encoder no significa que el modelo tenga comprensión humana ni que no pueda formar parte de un sistema generativo compuesto.
Las orientadas a decoder suelen utilizar control causal para predecir continuaciones sobre la secuencia. Son habituales en generación autoregresiva: cada token elegido se incorpora al contexto de los siguientes. La arquitectura y el objetivo concreto deben examinarse juntos; el nombre decoder no define todos sus usos posibles.
Un encoder-decoder representa una entrada y produce otra secuencia utilizando esa representación, frecuentemente mediante cross-attention. Traducción es un ejemplo histórico útil, no la única tarea posible. Las tres orientaciones se mantienen dentro del canonical porque diferencian estructuras de la misma familia sin necesitar una página por variante.
Estos nombres tampoco identifican checkpoints entrenados. Dos sistemas con la misma orientación pueden tener tokenización, dimensiones, datos y procedimientos distintos. Que un artefacto pertenezca a una familia no demuestra compatibilidad de pesos o de interfaces con otro.
Paralelismo de entrenamiento y generación
Durante entrenamiento se conocen secuencias objetivo que permiten calcular operaciones sobre muchas posiciones conjuntamente, respetando máscaras y dependencias definidas. Esto ofrece posibilidades de paralelismo frente al recorrido recurrente que debe producir un estado antes de pasar al siguiente. No significa que toda operación, todo dispositivo o todo workflow sea completamente paralelo.
En generación autoregresiva existe una dependencia entre tokens generados: la continuación utiliza elecciones anteriores. Se pueden optimizar operaciones internas y compartir trabajo, pero no desaparece esa relación por utilizar un Transformer. El cálculo sobre una entrada disponible y la creación de tokens que todavía no existen son situaciones distintas.
Una caché de claves y valores puede reutilizar representaciones calculadas en ciertas implementaciones. Es una optimización de ejecución, no Agent Memory ni un sistema que conserva aprendizajes para futuras tareas por sí mismo. Tampoco cambia la autoridad de una aplicación para consultar información externa.
La atención densa convencional puede relacionar muchas posiciones entre sí, con crecimiento importante de recursos al extender la secuencia. Variantes y optimizaciones pueden cambiar cómo se ejecuta esa relación. No se fija aquí una cifra de contexto, latencia o costo válida para todos los modelos; la arquitectura, el runtime y el contrato concreto importan.
Transformer, LLM y agente
Transformer describe arquitectura; LLM Fundamentals describe una categoría de modelos de lenguaje y sus objetivos, capacidades y límites. Muchos LLMs utilizan Transformers, pero la arquitectura también puede utilizarse para otras tareas o modalidades. No basta con implementar atención para obtener el comportamiento de un modelo de lenguaje grande entrenado.
El Transformer tampoco es Agent. Una red que transforma representaciones no incorpora por definición filesystem, herramientas, memoria durable, permisos, planificación o un loop de ejecución. Esas responsabilidades pueden pertenecer al sistema construido alrededor del modelo, según la aplicación y su harness.
Del mismo modo, una API de chat o un producto de asistencia puede incluir varias piezas que no son arquitectura neuronal. Confundirlas dificulta explicar fallos: una respuesta puede fallar por representación, datos recuperados, política de ejecución o interpretación del resultado, aunque el cálculo del modelo se complete según sus reglas.
La ruta ML → Neural Networks → Transformers → LLMs ayuda a comprender muchos sistemas actuales, sin afirmar una cronología donde cada familia reemplazó a la anterior. Las alternativas siguen coexistiendo y la selección necesita evidencia para la tarea.
Ejemplo de lectura y límites
La arquitectura delimita operaciones posibles; el objetivo de entrenamiento determina qué comportamiento se favorece sobre esas operaciones. Usar bloques Transformer para representar una entrada y utilizarlos para producir una continuación puede compartir componentes sin resolver exactamente la misma tarea. No alcanza con conocer el grafo de capas para inferir qué salida tiene significado o qué datos fueron utilizados para aprenderla.
Queries, keys y values tampoco son copias literales de palabras de un diccionario. Habitualmente proceden de transformaciones parametrizadas de representaciones disponibles en el bloque. Una posición puede cambiar su contribución a medida que atraviesa capas, aunque conserve la misma identidad de token en la secuencia de entrada. Esta distinción ayuda a evitar la imagen de que atención selecciona frases completas de una memoria documental externa.
Si una aplicación necesita datos actuales sobre un pedido, la arquitectura no garantiza obtenerlos. Una representación aprendida de lenguaje y una consulta a un servicio vigente cumplen funciones diferentes. Agregar retrieval o herramientas modifica el sistema compuesto; no convierte esos recursos en propiedades intrínsecas del Transformer ni demuestra que sus resultados se utilicen correctamente.
También conviene separar restricciones arquitectónicas y condiciones operativas. Una máscara define relaciones computacionales admitidas; un permiso define acciones autorizadas del sistema. Un caché reutiliza cálculo; un registro de desarrollo conserva evidencia para otra tarea. Compartir palabras como contexto o estado no vuelve equivalentes todas esas responsabilidades. La distinción permite revisar fallos sin atribuir a la red capacidades que pertenecen al entorno construido alrededor.
Al procesar «el pedido llegó después de la fecha prometida», las representaciones de posiciones pueden combinar información sobre elementos cercanos o distantes. El modelo puede utilizar ese resultado para clasificar o continuar una secuencia según su objetivo. La existencia de relaciones de atención no demuestra que identifique correctamente el compromiso comercial ni que conozca el estado real del pedido.
Una aplicación puede agregar datos externos y reglas antes de decidir una acción. Esas piezas conservan sus propios contratos. El fundamento arquitectónico ayuda a formular preguntas sobre representaciones y dependencias, pero no permite inferir automáticamente calidad, veracidad o autorización a partir del nombre Transformer.
Fuentes y alcance
Fuentes consultadas el 2026-10-30: Vaswani et al., Attention Is All You Need, 2017, para el origen de la arquitectura; y Dive into Deep Learning: The Transformer Architecture, como referencia académica de su composición. Los ejemplos y las fronteras de integración son síntesis del Atlas. No se copian figuras ni se introducen fórmulas que requieran otro renderer. No se documentan proveedores, modelos actuales o pipelines de entrenamiento.