Si hay algo que abunda en Twitter son opiniones sobre los temas más variopintos: series, películas, música o libros son los sospechosos habituales, pero también abundan los tuits sobre política. Teniendo eso en cuenta no es de extrañar que exista bastante literatura científica describiendo formas de explotar esos datos. De hecho, hay quien ha llegado a afirmar que Twitter puede pronosticar los resultados electorales haciendo innecesarias las encuestas. Ni que decir tiene semejantes afirmaciones se han encontrado con serias críticas y hay que ser muy cauto al interpretar ese tipo de investigación. Lo cierto es que el análisis de la opinión pública en Twitter se enfrenta con dos limitaciones muy importantes: por un lado la propia naturaleza de los datos y, por otro, los métodos que se usan habitualmente para obtener y analizar dichos datos. En este post analizo esas debilidades y discuto algunas líneas de trabajo interesantes.
No creo que ningún tuitero asiduo se haya planteado seriamente si Twitter forma parte de la idealizada “esfera pública”. Ciertamente los usuarios discuten sobre política, pero rara vez podrían tomarse esas interacciones como ejemplos de deliberación pública y razonable. Por otro lado, la información política disponible en Twitter suele carecer de profundidad y calidad y, al mismo tiempo, la desinformación y los intentos de manipulación son habituales.
Sin embargo, los tuits podrían corresponderse con otro tipo de opinión pública. Es más, responden perfectamente a las características que Floyd Allport atribuyó en 1937 a su definición de “opinión pública” al sentar las bases de la demoscopia. Al igual que el tipo de opiniones que Allport consideraba en los años 30, los tuits sobre política son verbalizaciones producidas por personas preocupadas por un tema concreto; además, esas personas son conscientes de que otros individuos están reaccionando ante la misma cuestión y que su acción colectiva puede llegar a tener un impacto real en la consecución de sus objetivos.
Desde esa interpretación el estudio de Twitter como espejo de la opinión pública resulta tremendamente atractivo. Después de todo, plantea la posibilidad de analizar en tiempo real y con muy poco esfuerzo la opinión de la población sobre cualquier tema imaginable; y no sobre una muestra precisamente pequeña sino sobre grandes segmentos de la población.
Sobre esa premisa se han desarrollado diversos proyectos de investigación para analizar la opinión pública en Twitter, todos ellos con un enfoque eminentemente cuantitativo. Dicho enfoque puede simplificarse enormemente en las siguientes fases: en primer lugar se determina un conjunto de palabras clave que determinarán los tuits a recopilar en un período determinado; a continuación, se calcula una cifra global (p.ej., porcentaje de tuits que opinan sobre cada partido que concurre a unas elecciones) o una serie temporal; finalmente, dichos valores se usan como un “proxy” de la métrica de interés. De ese modo se han tratado de determinar porcentajes de voto, índices de confianza de los consumidores o la valoración del Presidente de los EE.UU. En cuanto a las características cuantificables en Twitter que se han explorado tenemos el número de seguidores, el número de tuits incluyendo un término o hashtag determinado, así como el “sentimiento” o polaridad de los tuits.
Como ya he dicho, la literatura científica es bastante abundante y casi todos los autores afirman haber obtenido resultados más que prometedores. Uno de los trabajos más conocidos es el liderado por Andranik Tumasjan en el que se afirmaba que el volumen de tuits pronosticó el vencedor en las elecciones alemanas de 2009. No obstante, y como ya he señalado, este tipo de informes son bastante controvertidos y no están exentos de crítica. Un argumento habitual por parte de los críticos es que estos trabajos (en particular los iniciales) tienden a ignorar o minimizar tanto los sesgos de Twitter como las limitaciones de los métodos de análisis.
La principal fuente de sesgo al tratar de usar Twitter como una fuente de opinión pública radica en su escasa representatividad de la población. En general, las personas jóvenes y quienes habitan en zonas urbanas están sobrerrepresentados en Twitter. Para mejorar los resultados es imprescindible conocer la demografía de los usuarios y corregir los datos de acuerdo al peso de cada estrato dentro de la población general.
Otra fuente de sesgo muy importante es la autoselección: los tuiteros no expresan su opinión sobre cualquier tema (aún cuando puedan tenerla) y ese “silencio” puede ser tan significativo como las opiniones que sí se expresan. Si ese fenómeno no afectase por igual a todos los grupos y perfiles ideológicos podríamos estar ofreciendo una visión muy desviada de la realidad. De hecho, un informe de Pew Research no solo muestra que la opinión en Twitter difiere de la opinión pública (obtenida mediante encuestas), sino que lo hace de manera impredecible. Es decir, a veces Twitter parece mucho más progresista que la población en conjunto y en otras ocasiones mucho más conservador.
Otros dos problemas muy relacionados con el sesgo de autoselección son las minorías ruidosas y la espiral de silencio. El primero hace referencia al hecho de que la mayoría de tuits sobre cualquier tema (en particular sobre política) son el producto de una minoría de usuarios que, además, suelen ser los de posturas más extremas dentro de su grupo. Esto lleva a situaciones en las que ciertas posturas pueden llegar a parecer mucho más populares de lo que realmente son. A su vez, estas minorías ruidosas pueden disuadir a ciertos usuarios (normalmente moderados) que no expresan su postura al creer que no es mayoritaria (de ahí el nombre de espiral de silencio).
La combinación de escasa representatividad con minorías ruidosas y la espiral de silencio llevan a una situación en que las opiniones derivadas de Twitter pueden alejarse enormemente de la verdadera opinión pública. Un grave problema radica en que mientras que la falta de representatividad podría subsanarse las dinámicas de minorías ruidosas y mayorías silenciosas son un reto tremendo.
A todo lo anterior hay que añadir otro problema a la hora de analizar datos de Twitter o de cualquier medio social: la dudosa veracidad de dichos datos. En muchas ocasiones podemos encontrarnos con que cuentas que aparentan pertenecer a ciudadanos corrientes no lo son y, en consecuencia, lo que pretenden ser comentarios espontáneos son en realidad mensajes dirigidos. De hecho, un porcentaje no despreciable de usuarios de Twitter son en realidad cuentas automáticas (robots) que suelen utilizarse para difundir mensajes a favor de un candidato o para difamar a otro. Además, hasta un 5% de los usuarios en Twitter son spammers que añaden aún más ruido al publicar sus mensajes promocionales utilizando los hashtags más populares.
El uso de este tipo de tácticas hace aún más difícil la extracción de datos fiables cosa que, además, no sería sencilla ni aún cuando todos los usuarios publicasen información veraz. Lo cierto es que la minería de opiniones no es una tarea sencilla y es aún más difícil al tratar textos de naturaleza política. Las opiniones sobre política están llenas de dobles sentidos, sarcasmo y humor; además, tuits que podrían ser clasificados como neutros pueden ser en realidad opiniones negativas o positivas dependiendo de la elección de palabras o el framing de su autor. De hecho, muchos de los métodos automáticos más utilizados no son mejores que un clasificador que escogiese sus etiquetas aleatoriamente.
En resumen, el análisis de la opinión pública a partir de Twitter es un campo de investigación interesante pero tremendamente difícil. Gran parte de la investigación hecha hasta el momento ha sido excesivamente optimista y los anuncios de la muerte de las encuestas y sondeos han sido prematuros. Esto no implica que debamos abandonar este área de investigación pero debemos centrarnos en mejorar la señal sobre el ruido al extraer información de Twitter y otros medios sociales.
Algunas líneas recientes de trabajo resultan muy prometedoras como por ejemplo la evaluación de la credibilidad de los tuits, la detección de desinformación así como la obtención de perfiles demográficos para ponderar los resultados o incluso la construcción de paneles virtuales con una composición demográfica específica.
En resumen, Twitter es una fuente de datos interesantísima pero no es un espejo fiel de la sociedad ni somos capaces, aún, de interpretar sus reflejos de manera adecuada.
Este post es una adaptación de “What do we mean when we talk about Twitter political opinión?” publicado por este autor en The Plot.
Me asalta una duda. Parece que los tuits fueran como si alguien pasea por un mercado, en un día de gran afluecia, y anotase todo lo que fuera escuchando a su paso, luego lo filtrase y pretendiera tener una información relevante sobre lo ocurrido el día anterior en la ciudad donde esta el mercado. Las encuestras de opinión por contra serían como se el paseante seleccionase según su criterio a ciertas personas de las que hay en el mercado y les hace las oportunas preguntas sobre el mismo tema.
La duda: es más fiable una encuesta de opinión porque nos condiciona el cuestionario y el método empleado, que la información que se puede obtener cuando la respuesta procede de los tuits, porque estos no tienen los condicionantes anteriores?
Hola,
La metáfora de la conversación en Twitter como el ruido de fondo en un mercado (o un bar) me parece muy acertada.
No lo es tanto la aproximación a la encuesta. Para ser verdaderamente representativa la encuesta no podría centrarse sólo en ese mercado (quizás esté en una zona céntrica, u obrera o muy rural o demasiado urbanita). Para ser representativa (de esa población) quien aplicase la encuesta debería ir a todos los mercados y elegir al azar a quién se hacen las preguntas (aunque con un criterio pre-establecido para fijar cuotas por sexo y edad).
Puede resultarte interesante ver cómo hacen encuestas telefónicas en el Pew Research Center: http://www.pewresearch.org/methodology/u-s-survey-research/sampling/
Tu segunda metáfora, sin embargo, se aproxima más a cómo se trataría de hacer un panel virtual. En lugar de coger las opiniones de todo el mundo se trataría de escoger, de entre los que opinan, una muestra que se aproxime (en cuanto a la distribución de sexo, edad, ingresos, etc.) a la población. Ni que decir tiene, en Twitter, como en el mercado, tal vez no encontrases representantes de todos los estratos.
En cuanto al sesgo debido a las preguntas (e incluso a la forma de plantearlas) está claro que también puede existir y, por ello, trata de evitarse tanto al diseñar la encuesta como al administrarla.
En cuanto a la fiabilidad, con los resultados que ha habido hasta el momento sigo prefiriendo las encuestas (bien hechas) que un «análisis» de tuits. Ten en cuenta que en Twitter (como en el mercado) no todas las opiniones son «accionables»: hay mucho humor y sarcasmo que aunque pueden encerrar una opinión subyacente no son una opinión verbalizada.
En resumen, es un campo difícil, tal vez un problema irresoluble pero merece la pena intentar aproximarse a esa voz del mercado 🙂
Tal vez hayamos creado primero la herramienta ( Twitter ), y ahora debamos buscar sus aplicaciones. No hay duda que aún queda mucho por explorar. Tampoco debemos olvidar que en ocasiones, pocas, las encuestas fallan o no aciertan los resultados de forma satisfactoria.
Totalmente de acuerdo en ambos puntos.
No puedo estar más de acuerdo con el concepto «espiral de silencio».
Tengo cuenta en Twitter desde 2010, y me da la sensación de que a medida que la red social ha ido aumentando en usuarios ha ido perdiendo heterogeneidad.
Sería interesante ver cual ha sido la evolución de los Trending Topic para certificar dicha espiral de silencio.
Un factor añadido es ¿durante cuanto tiempo es Twitter una herramienta relevante? Es decir, el servicio muestra síntomas claros de decadencia. Aunque sube el número de usuarios, lo hace menos que otros servicios donde se incorporaran nuevas cohortes de población. Aunque haya muchos usuarios registrados, los realmente activos no son tantos. Y sus perfiles, pues… El periodismo le da mucha relevancia a Twitter como caladero de opiniones, pero una hipótesis es porque le gusta a los periodistas. Por tanto, afloran sus historias y búsquedas haciendo parecer que realmente son leídas, cuando probablemente son leídas en los medios que las cuentan y no en Twitter. Si un día los medios de comunicación de masas dejan de encontrarlo interesante, ¿qué valor tendrá como fuente de datos? Los bares – siguiendo la metáfora-abren, cierran y pasan de moda. Es probable que Whatsapp fuera una fuente más relevante de opiniones, pero está cerrado. Es probable que las conversaciones estén ahí y no en Twitter donde la gente va a protestar cuando quiere airear algo, pero puede que no por mucho más en un numero significativo de casos. Por terminar, una mirada a las propias estadísticas de twitter por cuenta, nos dará que las impresiones reales sobre el número de perfiles potencialmente alcazanbles está llegando a lo ínfimo. De ahí que el relato externo de, por ejemplo, la acalorada discusión entre usuarios sobre un debate político, sólo sea una ilusión que alcanza relevancia porque la cuenta el periódico, pero no porque se haya visto o participado.
Efectivamente. Por razones que resultarían complejas de explicar en un post (mucho más en un comentario) Twitter es más «accesible» como fuente de datos que otros medios sociales como Facebook, no digamos ya WhatsApp. Sin embargo, que sea más fácil de explotar no significa que sea más representativo de la sociedad en su conjunto.
Por otro lado, aún no siendo representativo de manera global siempre podría intentarse la construcción de «paneles virtuales», seleccionando cuidadosamente una muestra de usuarios que sí sea representativa. De hecho, cosas más difíciles se han hecho, como, por ejemplo, hacer sondeos de opinión pública con usuarios de Xbox 🙂 (ver http://www.stat.columbia.edu/~gelman/research/published/forecasting-with-nonrepresentative-polls.pdf)