Meta y sus IAs
Meta es una empresa de tecnología global que abarca productos como Facebook, Instagram, WhatsApp y Oculus, entre otros. Su visión es conectar a las personas y crear experiencias digitales significativas. Meta se especializa en el desarrollo de plataformas de redes sociales, realidad virtual y aumentada, mensajería instantánea y servicios diversos. Además, la compañía está involucrada en proyectos de inteligencia artificial y realidad virtual, buscando liderar la revolución tecnológica. Meta se esfuerza por innovar en la forma en que las personas se conectan, comparten contenido y experimentan el mundo digital, ofreciendo un amplio espectro de servicios y productos centrados en la interconexión global. Ahora, Meta anuncia Purple Llama para una IA generativa responsable y segura. Esto es algo que muchas personas estaban pidiendo últimamente.
Meta anuncia Purple Llama para promover una IA generativa responsable y segura
Meta Platforms Inc. se embarca en una nueva iniciativa llamada Purple Llama para fomentar el desarrollo responsable de sistemas de inteligencia artificial. Este proyecto tiene como objetivo proporcionar gradualmente a la comunidad de desarrollo de IA todas las herramientas y evaluaciones necesarias para construir modelos abiertos de IA generativa de manera segura y responsable. Con Purple Llama, Meta busca impulsar la transparencia, la ética y la seguridad en el ámbito de la inteligencia artificial, ofreciendo recursos esenciales para que los desarrolladores aborden los desafíos y las oportunidades de esta tecnología emergente.
Cómo lo explican en su blog
En su publicación de blog, el equipo de investigación de IA de Meta aborda la creciente innovación impulsada por la IA generativa, desde chatbots hasta generadores de imágenes. Reconociendo la necesidad de responsabilidad, Meta lanza Purple Llama para colaborar en la seguridad de la IA, promoviendo un centro de masas para la confianza y la seguridad abiertas. Este proyecto comienza con CyberSec Eval, un conjunto de puntos de referencia de ciberseguridad para LLM, y Llama Guard, un clasificador de seguridad optimizado para el filtrado de entrada/salida. Meta destaca la importancia de la ciberseguridad y la seguridad rápida en sus pautas de uso responsable de Llama 2.
CyberSec Eval
El innovador conjunto de evaluaciones de seguridad CyberSec Eval, desarrollado en colaboración con expertos en seguridad, se posiciona como el primero en la industria para LLM. Estos puntos de referencia, basados en estándares y directrices de la industria, ofrecen métricas que permiten a los desarrolladores cuantificar los riesgos de seguridad de LLM.
Diseñados para abordar problemas como la sugerencia de código inseguro, facilitan la evaluación de LLM para evitar que las aplicaciones generen código malicioso. Meta afirma que estas herramientas ayudarán a prevenir el uso malintencionado de LLM en ciberataques, mitigando así los riesgos identificados en investigaciones anteriores sobre la generación de código inseguro por parte de la IA generativa.
Llama Guard
Llama Guard, un modelo preentrenado, se especializa en prevenir resultados arriesgados generados por modelos de IA. Desarrollado con conjuntos de datos públicos, detecta contenido infractor, permitiendo ajustes personalizados para casos de uso específicos y minimizando controversias. La función principal es evitar la generación y procesamiento de resultados problemáticos, brindando a los desarrolladores la capacidad de adaptar sus modelos de IA generativa de manera más segura y alineada con las expectativas y valores. Este enfoque proactivo subraya la importancia de abordar las implicaciones éticas y sociales de la IA generativa, asegurando que las tecnologías emergentes se utilicen de manera responsable.
Acerca del equipo
Meta presenta «Purple Llama», una iniciativa de seguridad para la IA generativa que combina tácticas de «equipo rojo» (ataque) y «equipo azul» (defensa). El enfoque «purple teaming» busca la colaboración para evaluar y mitigar riesgos, inspirando un enfoque unificado hacia la seguridad de la IA generativa. Al adoptar esta estrategia integral, Meta busca fortalecer la confianza en las innovaciones tecnológicas emergentes y abordar de manera proactiva los desafíos éticos y de seguridad asociados con la IA generativa. Este enfoque estratégico refleja el compromiso de Meta de impulsar la responsabilidad y la seguridad en el desarrollo de sistemas de inteligencia artificial.
Meta, bajo la iniciativa «Purple Llama», lidera una colaboración abierta con socios como AI Alliance, AMD, AWS, Google, Microsoft, Nvidia y más. Esta iniciativa, lanzada tras unirse a la AI Alliance de IBM, busca avanzar en la seguridad de la IA generativa. Meta tiene la intención de licenciar componentes, como CyberSec Eval y Llama Guard, para investigación y uso comercial. Este enfoque permitirá evaluar los riesgos de seguridad, abordar la salida de código inseguro y limitar el uso malintencionado de modelos de lenguaje generativo de código abierto. Meta mostrará estos componentes en NeurIPS 2023, destacando su compromiso con la transparencia y la colaboración en el desarrollo ético de la IA.