Búsqueda web activada o no
Lo que sí podemos comparar, y lo que no
Esta página iba a comparar OpenAI con y sin búsqueda web activada. Al analizar los datos descubrimos que, en este corte, solo 2 de las 88 llamadas sin búsqueda devolvieron texto capturable: no es una muestra suficiente para una comparación justa. Lo contamos igualmente, porque es un hallazgo real sobre la fiabilidad de la captura, no sobre el comportamiento del asistente.
Resumen
Con búsqueda web activada, las 57 llamadas de este corte devolvieron texto capturable: 219 menciones, 106 restaurantes distintos y URLs citadas en 46 de las 57 respuestas (81 %). Sin búsqueda, 86 de 88 llamadas no tienen texto capturable por el fallo de captura documentado en el análisis por franja horaria; las 2 llamadas útiles que quedan no son base suficiente para ninguna comparación.
Qué pasa con la búsqueda web activada
Con la herramienta de búsqueda activada, el asistente cita fuentes reales en la mayoría de sus respuestas: TripAdvisor, TheFork, guías locales como Denia.com o VisitDenia.com, y las webs propias de varios restaurantes.
El 81 % de las respuestas con búsqueda incluyen al menos una URL citada, frente al 0 % de las respuestas sin búsqueda de este corte (aunque, de nuevo, con solo 2 llamadas útiles sin búsqueda, esa comparación concreta hay que leerla con mucha cautela).
Ejemplos reales de citas con búsqueda activada
Estos son fragmentos reales de consultas y las URLs que citó el asistente al responderlas.
"Voy con niños pequeños, ¿qué sitios de marisco y pescado fresco en Denia son buenos?"
"Busco un lloc amb terrassa i vistes al mar per a menjar una pizzería o italiano"
Por qué la comparación sin búsqueda no es fiable en este corte
De las 88 llamadas a OpenAI sin búsqueda web, 86 tienen texto de respuesta nulo: la ejecución se completó y consumió tokens, pero no se pudo recuperar el texto. Es un fallo del pipeline de captura, no una señal de que el asistente no recomendara nada; lo documentamos con más detalle en el análisis por franja horaria.
Las 2 llamadas que sí devolvieron texto mencionaron un total de 7 restaurantes (La Catrina Cantina Mexicana, Carrer Loreto, Tasca Eulàlia, Els Tomassets, Ca Pepa Teresa, Tasca Ramonet y Plaça del Convent), sin ninguna URL citada, como cabía esperar sin la herramienta de búsqueda activada. Es una muestra anecdótica, no una base para generalizar.
Qué no podemos afirmar con esto
- No podemos comparar de forma fiable las respuestas con y sin búsqueda en este corte concreto: la muestra sin búsqueda es demasiado pequeña.
- "URL citada" no equivale a "información verificada": no hemos comprobado si cada web citada confirma de verdad el dato que acompaña.
- No usamos "alucinación" como acusación genérica: no hemos podido documentar ejemplos concretos de afirmaciones incorrectas con una muestra tan pequeña sin búsqueda, así que no la usamos aquí.
- Un futuro corte con más llamadas sin búsqueda (y sin el fallo de captura) permitiría una comparación real.
Sigue explorando el dataset
Esta es una de las seis dimensiones que analizamos. El resto de variables, y el dataset completo para explorar por tu cuenta, están en la página de datos.