1 
0 Recientemente, se ha observado una tendencia creciente en el uso de transformadores de gran escala para llevar a cabo aprendizaje por transferencia con modelos más compactos. El aprendizaje por transferencia no es más que una técnica de inteligencia artificial que consiste en llevar a cabo el conocimiento adquirido al resolver un problema a otro problema relacionado.
Entonces, ¿Qué Es un Modelo Transformer?
Un modelo transformer es una red neuronal que aprende contexto y, por lo tanto, significado mediante el seguimiento de relaciones en datos secuenciales como las palabras de esta oración.
Ejemplo: Dada una palabra en la entrada, prefiere mirar todas las palabras que la rodean (lo que se conoce como autoatención) y representar cada palabra con respecto a su contexto. Por ejemplo, la palabra “banco” puede tener diferentes significados según el contexto en el que aparece. Si el contexto habla de finanzas, entonces “banco” probablemente denota una institución financiera. Por otro lado, si el contexto menciona un río, entonces probablemente indica una orilla del río.
Los modelos Transformers, han transformado la inteligencia artificial desde su introducción en 2017 en el influyente artículo «Attention is All You Need» de Vaswani et al, es una categoría de enfoques de aprendizaje automático.
¿Qué Pueden Hacer los Modelos Transformer?
Los modelos Transformer son altamente versátiles y pueden realizar una amplia gama de tareas en el campo de la inteligencia artificial, procesamiento de lenguaje natural y visión por computadora.
En general están revolucionando la traducción de texto y habla en tiempo real, brindando accesibilidad a personas con discapacidades auditivas en reuniones y aulas. Además, aceleran la investigación al permitir a científicos comprender genes y proteínas de manera más eficiente, lo que potencialmente impulsará el diseño de fármacos y el estudio de enfermedades genéticas.
El centro académico de salud de la Universidad de Florida colaboró con investigadores de NVIDIA para crear GatorTron. El modelo de transformer tiene como objetivo extraer información de enormes volúmenes de datos clínicos para acelerar la investigación médica.
Los Transformers Crecen
Por ejemplo, investigadores de Rostlab de la Universidad Técnica de Múnich, que ayudó a trabajar de forma pionera en la intersección de la IA y la biología, utilizaron el procesamiento de idiomas naturales para comprender las proteínas. En 18 meses, pasaron de usar RNN con 90 millones de parámetros a modelos de transformers con 567 millones de parámetros.
El laboratorio de OpenAI demostró que el tamaño importa, gracias a su Transformer Generativo Previamente Entrenado (GPT). La versión más reciente, GPT-3, se compone de 175,000 millones de parámetros, en contraste con los 1500 millones de GPT-2.
Gracias a su mayor complejidad, GPT-3 tiene la capacidad de proporcionar respuestas a las preguntas de los usuarios, incluso en tareas que no son su especialidad específica. Empresas líderes como Cisco, IBM y Salesforce ya han comenzado a incorporar este potente recurso en sus operaciones.
Los modelos Transformer, son un avance sobresaliente en la inteligencia artificial. Con su capacidad para procesar secuencias de datos de manera eficiente, han revolucionado tareas de procesamiento de lenguaje natural y visión por computadora. Estos modelos están equipados con una característica distintiva: «la atención», que les permite comprender y procesar el contexto en el que se encuentran las palabras o elementos. Esto los hace ideales para una variedad de aplicaciones, desde traducción hasta resumen de texto y generación de contenido. Su creciente adopción por parte de empresas líderes en tecnología confirman su impacto en la inteligencia artificial actual.
