
Image by Matheus Bertelli, from Pexels
El Modelo de IA DeepSeek-R1 Genera Preocupaciones de Seguridad en Nuevo Estudio
Una empresa de ciberseguridad ha expresado preocupaciones sobre el modelo de IA DeepSeek-R1, advirtiendo que presenta riesgos de seguridad significativos para su uso empresarial.
¿Apurada? ¡Aquí están los datos rápidos!
- El modelo falló en el 91% de las pruebas de liberación, eludiendo los mecanismos de seguridad.
- DeepSeek-R1 era altamente vulnerable a la inyección de comandos.
- La IA producía con frecuencia contenido tóxico e información factualmente incorrecta.
En un informe publicado el 11 de febrero, los investigadores de AppSOC detallaron una serie de vulnerabilidades descubiertas a través de pruebas exhaustivas, que describieron como una amenaza seria para las organizaciones que dependen de la inteligencia artificial.
Según los hallazgos, DeepSeek-R1 mostró una alta tasa de fallos en múltiples áreas de seguridad. Se descubrió que el modelo era altamente susceptible a los intentos de jailbreak, eludiendo con frecuencia los mecanismos de seguridad destinados a prevenir la generación de contenido perjudicial o restringido.
También demostró ser vulnerable a los ataques de inyección de instrucciones, lo que permitía que las instrucciones adversarias manipularan sus salidas de formas que violaban las políticas y, en algunos casos, comprometían la integridad del sistema.
Además, la investigación indicó que DeepSeek-R1 era capaz de generar código malicioso a un ritmo preocupante, despertando temores sobre su posible mal uso.
Otros problemas identificados en el informe incluían una falta de transparencia en cuanto al origen y las dependencias del conjunto de datos del modelo, lo que aumenta la probabilidad de fallos de seguridad en su cadena de suministro.
Las investigadoras también observaron que el modelo ocasionalmente producía respuestas que contenían lenguaje perjudicial u ofensivo, lo que sugiere salvaguardas inadecuadas contra resultados tóxicos. Además, se descubrió que DeepSeek-R1 generaba información factualmente incorrecta o completamente fabricada con una frecuencia significativa.
AppSOC asignó al modelo una puntuación de riesgo general de 8.3 sobre 10, citando riesgos particularmente altos relacionados con la seguridad y el cumplimiento.
La firma enfatizó que las organizaciones deben ejercer precaución antes de integrar modelos de IA en operaciones críticas, particularmente aquellas que manejan datos sensibles o propiedad intelectual.
Los hallazgos resaltan preocupaciones más amplias dentro de la industria de la IA, donde el rápido desarrollo a menudo prioriza el rendimiento sobre la seguridad. A medida que la inteligencia artificial continúa siendo adoptada en sectores como finanzas, salud y defensa, los expertos enfatizan la necesidad de pruebas rigurosas y monitoreo continuo para mitigar riesgos.
AppSOC recomendó que las empresas que implementan IA realicen evaluaciones de seguridad regulares, mantengan una supervisión estricta de los resultados generados por la IA, y establezcan protocolos claros para gestionar las vulnerabilidades a medida que los modelos evolucionan.
Mientras que DeepSeek-R1 ha ganado atención por sus capacidades, la investigación subraya la importancia de evaluar los riesgos de seguridad antes de una adopción generalizada. Las vulnerabilidades identificadas en este caso sirven como recordatorio de que las tecnologías de IA requieren un escrutinio cuidadoso para prevenir consecuencias no deseadas.
Dejar un comentario
Cancelar