Microsoft anunció un nuevo modelo de respuesta a preguntas conversacionales que supera a otros métodos, respondiendo preguntas de forma más rápida y precisa y utilizando muchos menos recursos.
Lo que se propone es una nueva forma de clasificar pasajes de contenido utilizando lo que llaman recuperación generativa para respuesta a preguntas conversacionales, al que denominaron GCoQA.
Los investigadores escriben que la siguiente dirección a seguir es explorar cómo utilizarlo para la búsqueda web general.
Recuperación generativa para responder preguntas conversacionales
Un modelo de lenguaje autorregresivo predice cuál será la siguiente palabra o frase.
Este modelo utiliza modelos autorregresivos que utilizan “cadenas de identificadores” que, en lenguaje sencillo, son representaciones de pasajes de un documento.
En esta implementación, utilizan el título de la página (para identificar de qué trata la página) y los títulos de las secciones (para identificar de qué trata un pasaje del texto).
El experimento se llevó a cabo con datos de Wikipedia, donde se puede confiar en que los títulos de las páginas y las secciones son descriptivos.
Se utilizan para identificar el tema de un documento y el tema de los pasajes contenidos en una sección del documento.
Entonces es algo así como, si se usa en el mundo real, usar el elemento de título para saber de qué trata una página web y los títulos para entender de qué tratan las secciones de una página web.
Los “identificadores” son una forma de codificar todo ese conocimiento como una representación, que se asigna a los pasajes de la página web y a los títulos.
Los pasajes recuperados se colocan posteriormente en otro modelo autorregresivo para generar respuestas a las preguntas.
Recuperación generativa
Para la parte de recuperación, el artículo de investigación dice que el modelo utiliza una técnica llamada “búsqueda por haz” para generar identificadores (representaciones de pasajes de la página web) que luego se clasifican en orden de probabilidad de ser la respuesta.
Los investigadores escriben:
“…utilizamos la búsqueda por haz… una técnica comúnmente utilizada, para generar múltiples identificadores en lugar de solo uno.
A cada identificador generado se le asigna una puntuación de modelo de lenguaje, lo que nos permite obtener una lista de clasificación de identificadores generados en función de estas puntuaciones.
Naturalmente, los identificadores de clasificación podrían corresponder a una lista de clasificación de pasajes”.
El artículo de investigación continúa diciendo que el proceso podría verse como una “búsqueda jerárquica”.
Jerárquico, en este escenario, significa ordenar los resultados primero por tema de página y luego por pasajes dentro de la página (usando los encabezados de sección).
Una vez que se recuperan esos pasajes, otro modelo autorregresivo genera la respuesta en función de los pasajes recuperados.
Comparación con otros métodos
Los investigadores descubrieron que GCoQA superó a muchos otros métodos comúnmente utilizados con los que lo compararon.
Fue útil para superar limitaciones (cuellos de botella) en otros métodos.
En muchos sentidos, este nuevo modelo promete traer un cambio profundo a la respuesta a preguntas conversacionales.
Por ejemplo, utiliza una décima parte de la cantidad de recursos de memoria que los modelos actuales, lo que supone un gran salto en eficiencia, además de que es más rápido.
Los investigadores escriben:
“…se vuelve más conveniente y eficiente aplicar nuestro método en la práctica”.
Los investigadores de Microsoft concluyen más tarde:
“Al beneficiarse de las interacciones cruzadas detalladas en el módulo decodificador, GCoQA podría atender el contexto de la conversación de manera más efectiva.
Además, GCoQA tiene un menor consumo de memoria y una mayor eficiencia de inferencia en la práctica”.
Limitaciones de GCoQA
Sin embargo, existen varias limitaciones que deben resolverse antes de poder aplicar este modelo.
Descubrieron que GCoQA tenía limitaciones debido al uso de la técnica de “búsqueda de haz”, que limitaba la capacidad de GCoQA para recordar “pasajes a gran escala”.
Aumentar el tamaño del haz tampoco ayudó, ya que ralentizó el modelo.
Otra limitación es que, si bien Wikipedia es confiable en cuanto al uso de títulos de manera significativa.
Pero usarlo en páginas web fuera de Wikipedia podría hacer que el modelo se tope con un obstáculo.
Muchas páginas web en Internet no hacen un buen trabajo al utilizar los títulos de sus secciones para indicar con precisión de qué trata un pasaje (que es lo que se supone que deben hacer los SEO y los editores).
El trabajo de investigación observa:
“La generalización de GCoQA es una preocupación legítima.
GCoQA se basa en gran medida en la relación semántica entre la pregunta y los identificadores de pasaje para recuperar pasajes relevantes.
Si bien GCoQA se ha evaluado utilizando tres conjuntos de datos académicos, su eficacia en escenarios del mundo real, donde las preguntas suelen ser ambiguas y difíciles de relacionar con los identificadores, sigue siendo incierta y requiere más investigación”.
GCoQA es una nueva tecnología prometedora
En última instancia, los investigadores afirmaron que las mejoras en el rendimiento son una gran victoria. Las limitaciones son algo que hay que superar.
El trabajo de investigación concluye que existen dos áreas prometedoras para seguir estudiando:
“(1) investigar el uso de la recuperación generativa en escenarios de búsqueda web más generales donde los identificadores no están disponibles directamente en los títulos; y (2) examinar la integración de la recuperación de pasajes y la predicción de respuestas dentro de un modelo generativo único para comprender mejor sus relaciones internas”.
Valor de GCoQA
El artículo de investigación (Recuperación generativa para respuesta a preguntas conversacionales) fue publicado en GitHub por uno de los científicos investigadores.
Visite esa página de GitHub para encontrar el enlace al PDF.
Como sucede a veces, los trabajos de investigación tienden a desaparecer detrás de un muro de pago, por lo que no hay garantía de que seguirán disponibles en el futuro.
Es posible que GCoQA no llegue pronto a un motor de búsqueda.
El valor de GCoQA es que muestra cómo los investigadores están trabajando para descubrir formas de utilizar modelos generativos para transformar la búsqueda web tal como la conocemos hoy.
Esto podría ser un adelanto de cómo serán los motores de búsqueda del futuro relativamente cercano.
Lea el anuncio y el resumen del trabajo de investigación:
Recuperación generativa para responder preguntas conversacionales
Imagen destacada de Shutterstock/Sundry Photography
