Chatbot de la red social X es usado para difundir estafas
San José, 26 oct (elmundo.cr) – La ingeniería social es uno de los trucos más antiguos de los hackers: manipular a una víctima para que entregue su información o instale malware. La forma más común de abordar a las víctimas es a través de un correo electrónico de phishing, un mensaje de texto o una llamada telefónica y el diseño de las campañas está potenciado y optimizado por las herramientas de la inteligencia artificial generativa (GenAI) desde que estas tecnologías se masificaron. Desde ESET, compañía líder en detección proactiva de amenazas, advierten que los cibercriminales ya convirtieron en actor malicioso a la misma GenAI. Puntualmente en X (antes Twitter), lograron engañar al chatbot Grok (la IA de X) para que difunda links de phishing en su cuenta de X.
En esta campaña, los cibercriminales eluden la prohibición de X de incluir enlaces en los mensajes promocionados (diseñada para luchar contra la publicidad maliciosa) mediante la publicación de vídeos llamativos. Es el tipo de ataque en el que los actores de amenazas dan instrucciones maliciosas disfrazadas de comandos de un usuario legítimos, incluyen su enlace malicioso en campo «from» debajo del vídeo, y preguntan a Grok de dónde procede el vídeo. Grok lee el mensaje, detecta el pequeño enlace y lo amplifica en su respuesta, dándole una falsa sensación de legitimidad, al ser replicado por la misma cuenta verificada del chatbot.
“Este caso no es solo un problema de X/Grok. Las mismas técnicas podrían aplicarse teóricamente a cualquier herramienta GenAI/LLM integrada en una plataforma de confianza. Esto pone de relieve el ingenio de los actores de las amenazas para encontrar la manera de eludir los mecanismos de seguridad. Pero también los riesgos que corren los usuarios al confiar en los resultados de la IA”, comenta Camilo Gutiérrez Amaya, jefe del Laboratorio de Investigación de ESET Latinoamérica.
¿Por qué es peligrosa esta técnica?
- Este truco convierte a Grok en un actor malicioso, al incitarle a volver a publicar un enlace de phishing.
- Estas publicaciones de vídeo pagadas suelen alcanzar millones de impresiones, propagando potencialmente estafas y malware por todas partes.
- Los enlaces también se amplificarán en SEO y reputación de dominio, ya que Grok es una fuente de gran confianza.
- Los equipos de investigación encontraron cientos de cuentas que repetían este proceso hasta que fueron suspendidas.
- Los propios enlaces redirigen a formularios de robo de credenciales y descargas de malware, lo que podría llevar a la toma de la cuenta de la víctima, robo de identidad y más.
“La IA es un potenciador de la ingeniería social en dos sentidos. Por un lado, los grandes modelos lingüísticos pueden ser usados para el diseño de campañas de phishing muy convincentes a gran escala, con audios y videos falsos que logran engaños más verídicos que pueden engañar al usuario más escéptico. Por otro lado, este nuevo descubrimiento del abuso del chatbot de X (grok) dio lugar a esta técnica apodada «Grokking*», que sería una forma distinta de aprovechamiento de la GenAI por los cibercriminales”, agrega Gutiérrez Amaya de ESET.
Este tipo de ataques va en aumento. La empresa de análisis Gartner afirmaba recientemente que un tercio (32%) de las organizaciones había experimentado una inyección puntual durante el año pasado. Hay muchos otros escenarios potenciales en los que podría ocurrir algo similar al caso de uso de Grok/X.
Los mensajes maliciosos pueden ocultarse a la vista, en texto en blanco, metadatos o incluso caracteres Unicode. Cualquier GenAI que busque datos disponibles públicamente para ofrecer respuestas también es vulnerable al procesamiento de datos «envenenados» para generar contenido malicioso. Hay un número ilimitado de variaciones de esta amenaza. Desde ESET comentan que lo más importante es no confiar ciegamente en los resultados de ninguna herramienta GenAI.
Desde ESET acercan las siguientes recomendaciones:
- Si un bot GenAI presenta un enlace, pasar el mouse por encima para comprobar su URL de destino real. No hacer clic si se tienen dudas de su legitimidad.
- Ser siempre escéptico con los resultados de la IA, especialmente si la respuesta/sugerencia parece incongruente.
- Utilizar contraseñas fuertes y únicas (almacenadas en un gestor de contraseñas) y autenticación multifactor (MFA) para mitigar el riesgo de robo de credenciales.
- Asegurarse de que todo el software y los sistemas operativos de los dispositivos/ordenadores están actualizados, para minimizar el riesgo de explotación de vulnerabilidades.
- Invertir en software de seguridad multicapa de un proveedor de confianza para bloquear descargas de malware, estafas de phishing y otras actividades sospechosas en su máquina.
“Las herramientas de IA integradas han abierto un nuevo frente en la larga guerra contra el phishing. Asegúrate de no caer en la trampa, cuestiona siempre y nunca des por sentado que tiene las respuestas correctas”, concluye el investigador de ESET.
Chatbot de la red social X es usado para difundir estafas
San José, 26 oct (elmundo.cr) – La ingeniería social es uno de los trucos más antiguos de los hackers: manipular a una víctima para que entregue su información o instale malware. La forma más común de abordar a las víctimas es a través de un correo electrónico de phishing, un mensaje de texto o una llamada telefónica y el diseño
Xavier Condega
El Mundo CR
Chatbot de la red social X es usado para difundir estafas
San José, 26 oct (elmundo.cr) – La ingeniería social es uno de los trucos más antiguos de los hackers: manipular a una víctima para que entregue su información o instale malware. La forma más común de abordar a las víctimas es a través de un correo electrónico de phishing, un mensaje de texto o una llamada telefónica y el diseño de las campañas está potenciado y optimizado por las herramientas de la inteligencia artificial generativa (GenAI) desde que estas tecnologías se masificaron. Desde ESET, compañía líder en detección proactiva de amenazas, advierten que los cibercriminales ya convirtieron en actor malicioso a la misma GenAI. Puntualmente en X (antes Twitter), lograron engañar al chatbot Grok (la IA de X) para que difunda links de phishing en su cuenta de X.
En esta campaña, los cibercriminales eluden la prohibición de X de incluir enlaces en los mensajes promocionados (diseñada para luchar contra la publicidad maliciosa) mediante la publicación de vídeos llamativos. Es el tipo de ataque en el que los actores de amenazas dan instrucciones maliciosas disfrazadas de comandos de un usuario legítimos, incluyen su enlace malicioso en campo «from» debajo del vídeo, y preguntan a Grok de dónde procede el vídeo. Grok lee el mensaje, detecta el pequeño enlace y lo amplifica en su respuesta, dándole una falsa sensación de legitimidad, al ser replicado por la misma cuenta verificada del chatbot.
“Este caso no es solo un problema de X/Grok. Las mismas técnicas podrían aplicarse teóricamente a cualquier herramienta GenAI/LLM integrada en una plataforma de confianza. Esto pone de relieve el ingenio de los actores de las amenazas para encontrar la manera de eludir los mecanismos de seguridad. Pero también los riesgos que corren los usuarios al confiar en los resultados de la IA”, comenta Camilo Gutiérrez Amaya, jefe del Laboratorio de Investigación de ESET Latinoamérica.
¿Por qué es peligrosa esta técnica?
- Este truco convierte a Grok en un actor malicioso, al incitarle a volver a publicar un enlace de phishing.
- Estas publicaciones de vídeo pagadas suelen alcanzar millones de impresiones, propagando potencialmente estafas y malware por todas partes.
- Los enlaces también se amplificarán en SEO y reputación de dominio, ya que Grok es una fuente de gran confianza.
- Los equipos de investigación encontraron cientos de cuentas que repetían este proceso hasta que fueron suspendidas.
- Los propios enlaces redirigen a formularios de robo de credenciales y descargas de malware, lo que podría llevar a la toma de la cuenta de la víctima, robo de identidad y más.
“La IA es un potenciador de la ingeniería social en dos sentidos. Por un lado, los grandes modelos lingüísticos pueden ser usados para el diseño de campañas de phishing muy convincentes a gran escala, con audios y videos falsos que logran engaños más verídicos que pueden engañar al usuario más escéptico. Por otro lado, este nuevo descubrimiento del abuso del chatbot de X (grok) dio lugar a esta técnica apodada «Grokking*», que sería una forma distinta de aprovechamiento de la GenAI por los cibercriminales”, agrega Gutiérrez Amaya de ESET.
Este tipo de ataques va en aumento. La empresa de análisis Gartner afirmaba recientemente que un tercio (32%) de las organizaciones había experimentado una inyección puntual durante el año pasado. Hay muchos otros escenarios potenciales en los que podría ocurrir algo similar al caso de uso de Grok/X.
Los mensajes maliciosos pueden ocultarse a la vista, en texto en blanco, metadatos o incluso caracteres Unicode. Cualquier GenAI que busque datos disponibles públicamente para ofrecer respuestas también es vulnerable al procesamiento de datos «envenenados» para generar contenido malicioso. Hay un número ilimitado de variaciones de esta amenaza. Desde ESET comentan que lo más importante es no confiar ciegamente en los resultados de ninguna herramienta GenAI.
Desde ESET acercan las siguientes recomendaciones:
- Si un bot GenAI presenta un enlace, pasar el mouse por encima para comprobar su URL de destino real. No hacer clic si se tienen dudas de su legitimidad.
- Ser siempre escéptico con los resultados de la IA, especialmente si la respuesta/sugerencia parece incongruente.
- Utilizar contraseñas fuertes y únicas (almacenadas en un gestor de contraseñas) y autenticación multifactor (MFA) para mitigar el riesgo de robo de credenciales.
- Asegurarse de que todo el software y los sistemas operativos de los dispositivos/ordenadores están actualizados, para minimizar el riesgo de explotación de vulnerabilidades.
- Invertir en software de seguridad multicapa de un proveedor de confianza para bloquear descargas de malware, estafas de phishing y otras actividades sospechosas en su máquina.
“Las herramientas de IA integradas han abierto un nuevo frente en la larga guerra contra el phishing. Asegúrate de no caer en la trampa, cuestiona siempre y nunca des por sentado que tiene las respuestas correctas”, concluye el investigador de ESET.
Artículos de tecnología
