¿Se puede realmente medir tu visibilidad en ChatGPT o en la IA de Google? Un estudio de Rand Fishkin revela la inestabilidad de los rankings y por lo mismo, la dificultad de medir tu rendimientos en las IA.
Desde hace dos años, las empresas intentan descifrar el misterio de la visibilidad dentro de las respuestas generadas por los motores de IA con la esperanza de que el nombre de su marca aparezca cuando un usuario pide una recomendación. Pero ¿son lo suficientemente coherentes como para que estas mediciones tengan sentido? Si hacemos la misma pregunta cien veces a una IA, ¿obtendremos respuestas comparables o listas distintas cada vez? ¿Podemos hablar realmente de “ranking” en sistemas diseñados para producir respuestas probabilísticas?
En un estudio reciente publicado en SparkToro, Rand Fishkin intentó responder a esta pregunta. El estudio busca evaluar la estabilidad de las recomendaciones generadas por las IA y determinar si la visibilidad de una marca puede medirse de forma fiable.
La metodología del estudio
Rand Fishkin observó qué producen realmente las IA cuando se les hace la misma pregunta muchas veces. El estudio se centró en tres herramientas: ChatGPT, Claude y Gemini.
600 voluntarios ejecutaron 12 prompts distintos que cubrían varios sectores, tanto de consumo como B2B, algunos muy específicos y otros mucho más amplios. Cada prompt se lanzó entre 60 y 100 veces, para un total de 2,961 respuestas recopiladas.
Posteriormente, las respuestas se normalizaron para extraer las marcas o productos recomendados, su orden de aparición y el número de elementos propuestos cada vez. El objetivo era medir tres aspectos:
- La estabilidad de las listas
- La estabilidad de su clasificación
- La frecuencia de aparición de las distintas marcas.
En una segunda fase, el estudio incorporó prompts redactados libremente por los usuarios alrededor de una misma intención. A pesar de la diversidad en la formulación humana, ¿las IA remiten a las mismas marcas?
Una misma pregunta, pero respuestas diferentes
“Si pides cien veces a una herramienta de IA recomendaciones de marcas o productos, casi cada respuesta será única en tres sentidos: la lista presentada, el orden de las recomendaciones y el número de elementos de esa lista”, afirma Rand Fishkin.
Sea cual sea la IA utilizada, las listas de recomendaciones varían mucho, incluso con un prompt idéntico. La constancia de las IA es, por tanto, casi nula. El autor del estudio aclara que estas cifras no tienen en cuenta el sentimiento asociado a la marca en las respuestas. Este puede ser positivo o negativo según la respuesta generada.
En resumen: las IA no proporcionan listas coherentes de recomendaciones de marcas o productos. Si una respuesta no te convence, o si tu marca no aparece en la posición deseada, no dudes en volver a intentarlo.
¿Debemos confiar en las recomendaciones de la IA?
Millones de personas otorgan la misma confianza a las IA en materia de recomendaciones de productos, ignorando el proceso interno de la IA y sus posibles incoherencias. Una tendencia relativamente inofensiva si se trata de comprar una cafetera, pero mucho más problemática si las preguntas se relacionan con cuestiones vitales.
Imaginemos un escenario crítico en el que es absolutamente esencial obtener la mejor información posible: un cáncer en la familia. Acudes al modo IA de Google y preguntas cuál es el mejor centro oncológico de la costa oeste de Estados Unidos. Pero cuando Google devuelve la respuesta, la lista es tan aleatoria que, incluso repitiendo la consulta cientos de veces, probablemente nunca verías dos veces la misma lista en el mismo orden.
Medir la visibilidad de marca en IA
¿Listas demasiado distintas como para que el GEO (Generative Engine Optimization) no tenga sentido? No necesariamente, según Fishkin. “Mi hipótesis inicial de que las listas generadas por IA eran tan aleatorias que su seguimiento era totalmente inútil resultó ser falsa”, explica.
Lo que cambia el enfoque no es la posición de una marca, sino su frecuencia de aparición. Aunque las clasificaciones cambian casi en cada generación, parece existir un conjunto de marcas que los sistemas de IA asocia con mayor frecuencia como buenas respuestas a la intención de la consulta.
Una fuerte visibilidad tampoco garantiza una posición preferente. Refleja sobre todo el lugar que ocupa una marca dentro del universo de referencias del modelo.
La diversidad de prompts afecta
El SEO consiste, en parte, en seguir el posicionamiento de tus páginas en determinadas palabras clave. Para identificar las adecuadas, basta con comparar volúmenes de búsqueda y analizar lo que los usuarios escriben en Google. Pero ¿cómo hacerlo cuando las consultas son conversacionales?
Para tener en cuenta esta variable, pidió a los participantes que redactaran el prompt a su manera. Los resultados fueron reveladores: “De 142 respuestas, apenas dos sugerencias se parecían, siquiera remotamente. Concluí que las consultas en IA son muy diferentes a una búsqueda en Google. Las personas no se limitan a unas pocas palabras clave lógicas; muestran creatividad, originalidad y precisión”.
Sin embargo, pese a la diversidad lingüística, ciertas marcas aparecen en el 55 al 77 % de las respuestas. Es decir, aunque las formulaciones varíen ampliamente, la IA logra captar la intención subyacente y converge hacia un núcleo relativamente estable de marcas.
