Desde a série GPT da OpenAI até o Gemini do Google, e vários modelos de código aberto, a inteligência artificial avançada está a transformar profundamente o nosso trabalho e estilos de vida. No entanto, juntamente com os rápidos avanços tecnológicos, um lado obscuro preocupante está a emergir gradualmente - o aumento de modelos de linguagem grandes não restritos ou maliciosos.
O chamado LLM irrestrito refere-se a modelos de linguagem que são especificamente projetados, modificados ou "jailbroken" para contornar os mecanismos de segurança integrados e as restrições éticas dos modelos convencionais. Os desenvolvedores de LLM convencionais normalmente investem recursos significativos para evitar que seus modelos sejam usados para gerar discurso de ódio, informações falsas, código malicioso ou fornecer instruções para atividades ilegais. No entanto, nos últimos anos, alguns indivíduos ou organizações começaram a procurar ou desenvolver modelos irrestritos para motivos como crimes cibernéticos. À luz disso, este artigo revisará ferramentas típicas de LLM irrestritas, apresentará seu abuso na indústria de criptografia e discutirá os desafios de segurança relacionados e as respostas.
Tarefas que anteriormente exigiam habilidades profissionais, como escrever código malicioso, criar e-mails de phishing e planejar fraudes, agora podem ser facilmente realizadas por pessoas comuns sem qualquer experiência em programação com a assistência de LLMs irrestritos. Os atacantes só precisam obter os pesos e o código fonte de modelos de código aberto e, em seguida, ajustá-los em conjuntos de dados contendo conteúdo malicioso, declarações tendenciosas ou instruções ilegais para criar ferramentas de ataque personalizadas.
Este modelo deu origem a múltiplos riscos: atacantes podem "magicamente modificar" modelos com base em alvos específicos para gerar conteúdo mais enganoso, contornando assim a revisão de conteúdo e as restrições de segurança dos LLMs convencionais; o modelo também pode ser utilizado para gerar rapidamente variantes de código para sites de phishing ou adaptar textos de fraude para diferentes plataformas de redes sociais; entretanto, a acessibilidade e a modificabilidade de modelos de código aberto continuam a fomentar a formação e a disseminação de um ecossistema de IA subterrâneo, fornecendo um terreno fértil para transações ilegais e desenvolvimento. Abaixo está uma breve introdução a esses LLMs irrestritos:
WormGPT é um LLM malicioso vendido abertamente em fóruns subterrâneos, cujos desenvolvedores afirmam explicitamente que não tem restrições éticas, tornando-o uma versão negra do modelo GPT. É baseado em modelos de código aberto como o GPT-J 6B e treinado em uma grande quantidade de dados relacionados a malware. Os usuários precisam pagar um mínimo de $189 para obter acesso por um mês. O uso mais notório do WormGPT é gerar e-mails de ataque de Comprometimento de E-mail Empresarial (BEC) e e-mails de phishing altamente realistas e persuasivos. Seus abusos típicos no espaço da criptografia incluem:
DarkBERT é um modelo de linguagem desenvolvido em colaboração entre pesquisadores do Instituto Avançado de Ciência e Tecnologia da Coreia (KAIST) e da S2W Inc., especificamente pré-treinado em dados da dark web (como fóruns, mercados negros e informações vazadas) com a intenção de ajudar pesquisadores de cibersegurança e agências de aplicação da lei a entender melhor o ecossistema da dark web, rastrear atividades ilegais, identificar ameaças potenciais e reunir inteligência sobre ameaças.
Embora o DarkBERT tenha sido projetado com boas intenções, o conteúdo sensível que possui sobre a dark web, incluindo dados, métodos de ataque e estratégias de comércio ilegal, poderia ter consequências graves se atores maliciosos obtivessem isso ou utilizassem tecnologias semelhantes para treinar modelos grandes sem restrições. Seu potencial uso indevido em cenários de criptografia inclui:
FraudGPT: A Faca Suíça da Fraude Online
FraudGPT afirma ser uma versão melhorada do WormGPT, oferecendo recursos mais abrangentes, vendido principalmente na dark web e fóruns de hackers, com taxas mensais que variam de 200 a 1.700 dólares. Seus abusos típicos no cenário de criptografia incluem:
GhostGPT é um chatbot de IA explicitamente posicionado como não tendo restrições éticas, com abusos típicos no cenário de criptografia incluindo:
Venice.ai fornece acesso a vários LLMs, incluindo alguns modelos com menos escrutínio ou restrições mais flexíveis. Posiciona-se como um Gateway aberto para os usuários explorarem as capacidades de diferentes LLMs, oferecendo modelos de ponta, precisos e não moderados para uma verdadeira experiência de IA sem restrições, mas também pode ser explorado por atores maliciosos para gerar conteúdo prejudicial. Os riscos associados à plataforma incluem:
A emergência de LLMs irrestritos marca um novo paradigma de ataques à cibersegurança que é mais complexo, escalável e automatizado. Estes modelos não apenas diminuem o limiar para ataques, mas também introduzem novas ameaças que são mais encobertas e enganosas.
Neste jogo contínuo de ataque e defesa, todas as partes no ecossistema de segurança devem trabalhar juntas para lidar com riscos futuros: por um lado, há a necessidade de aumentar o investimento em tecnologias de deteção para desenvolver sistemas capazes de identificar e interceptar conteúdo de phishing gerado por LLMs maliciosos, explorando vulnerabilidades de contratos inteligentes e código malicioso; por outro lado, também devem ser feitos esforços para promover a construção de capacidades de anti-jailbreaking de modelos e explorar mecanismos de marca d'água e rastreamento para acompanhar as fontes de conteúdo malicioso em cenários críticos como finanças e geração de código; além disso, deve ser estabelecido um quadro ético sólido e um mecanismo regulatório para limitar fundamentalmente o desenvolvimento e o uso indevido de modelos maliciosos.
Desde a série GPT da OpenAI até o Gemini do Google, e vários modelos de código aberto, a inteligência artificial avançada está a transformar profundamente o nosso trabalho e estilos de vida. No entanto, juntamente com os rápidos avanços tecnológicos, um lado obscuro preocupante está a emergir gradualmente - o aumento de modelos de linguagem grandes não restritos ou maliciosos.
O chamado LLM irrestrito refere-se a modelos de linguagem que são especificamente projetados, modificados ou "jailbroken" para contornar os mecanismos de segurança integrados e as restrições éticas dos modelos convencionais. Os desenvolvedores de LLM convencionais normalmente investem recursos significativos para evitar que seus modelos sejam usados para gerar discurso de ódio, informações falsas, código malicioso ou fornecer instruções para atividades ilegais. No entanto, nos últimos anos, alguns indivíduos ou organizações começaram a procurar ou desenvolver modelos irrestritos para motivos como crimes cibernéticos. À luz disso, este artigo revisará ferramentas típicas de LLM irrestritas, apresentará seu abuso na indústria de criptografia e discutirá os desafios de segurança relacionados e as respostas.
Tarefas que anteriormente exigiam habilidades profissionais, como escrever código malicioso, criar e-mails de phishing e planejar fraudes, agora podem ser facilmente realizadas por pessoas comuns sem qualquer experiência em programação com a assistência de LLMs irrestritos. Os atacantes só precisam obter os pesos e o código fonte de modelos de código aberto e, em seguida, ajustá-los em conjuntos de dados contendo conteúdo malicioso, declarações tendenciosas ou instruções ilegais para criar ferramentas de ataque personalizadas.
Este modelo deu origem a múltiplos riscos: atacantes podem "magicamente modificar" modelos com base em alvos específicos para gerar conteúdo mais enganoso, contornando assim a revisão de conteúdo e as restrições de segurança dos LLMs convencionais; o modelo também pode ser utilizado para gerar rapidamente variantes de código para sites de phishing ou adaptar textos de fraude para diferentes plataformas de redes sociais; entretanto, a acessibilidade e a modificabilidade de modelos de código aberto continuam a fomentar a formação e a disseminação de um ecossistema de IA subterrâneo, fornecendo um terreno fértil para transações ilegais e desenvolvimento. Abaixo está uma breve introdução a esses LLMs irrestritos:
WormGPT é um LLM malicioso vendido abertamente em fóruns subterrâneos, cujos desenvolvedores afirmam explicitamente que não tem restrições éticas, tornando-o uma versão negra do modelo GPT. É baseado em modelos de código aberto como o GPT-J 6B e treinado em uma grande quantidade de dados relacionados a malware. Os usuários precisam pagar um mínimo de $189 para obter acesso por um mês. O uso mais notório do WormGPT é gerar e-mails de ataque de Comprometimento de E-mail Empresarial (BEC) e e-mails de phishing altamente realistas e persuasivos. Seus abusos típicos no espaço da criptografia incluem:
DarkBERT é um modelo de linguagem desenvolvido em colaboração entre pesquisadores do Instituto Avançado de Ciência e Tecnologia da Coreia (KAIST) e da S2W Inc., especificamente pré-treinado em dados da dark web (como fóruns, mercados negros e informações vazadas) com a intenção de ajudar pesquisadores de cibersegurança e agências de aplicação da lei a entender melhor o ecossistema da dark web, rastrear atividades ilegais, identificar ameaças potenciais e reunir inteligência sobre ameaças.
Embora o DarkBERT tenha sido projetado com boas intenções, o conteúdo sensível que possui sobre a dark web, incluindo dados, métodos de ataque e estratégias de comércio ilegal, poderia ter consequências graves se atores maliciosos obtivessem isso ou utilizassem tecnologias semelhantes para treinar modelos grandes sem restrições. Seu potencial uso indevido em cenários de criptografia inclui:
FraudGPT: A Faca Suíça da Fraude Online
FraudGPT afirma ser uma versão melhorada do WormGPT, oferecendo recursos mais abrangentes, vendido principalmente na dark web e fóruns de hackers, com taxas mensais que variam de 200 a 1.700 dólares. Seus abusos típicos no cenário de criptografia incluem:
GhostGPT é um chatbot de IA explicitamente posicionado como não tendo restrições éticas, com abusos típicos no cenário de criptografia incluindo:
Venice.ai fornece acesso a vários LLMs, incluindo alguns modelos com menos escrutínio ou restrições mais flexíveis. Posiciona-se como um Gateway aberto para os usuários explorarem as capacidades de diferentes LLMs, oferecendo modelos de ponta, precisos e não moderados para uma verdadeira experiência de IA sem restrições, mas também pode ser explorado por atores maliciosos para gerar conteúdo prejudicial. Os riscos associados à plataforma incluem:
A emergência de LLMs irrestritos marca um novo paradigma de ataques à cibersegurança que é mais complexo, escalável e automatizado. Estes modelos não apenas diminuem o limiar para ataques, mas também introduzem novas ameaças que são mais encobertas e enganosas.
Neste jogo contínuo de ataque e defesa, todas as partes no ecossistema de segurança devem trabalhar juntas para lidar com riscos futuros: por um lado, há a necessidade de aumentar o investimento em tecnologias de deteção para desenvolver sistemas capazes de identificar e interceptar conteúdo de phishing gerado por LLMs maliciosos, explorando vulnerabilidades de contratos inteligentes e código malicioso; por outro lado, também devem ser feitos esforços para promover a construção de capacidades de anti-jailbreaking de modelos e explorar mecanismos de marca d'água e rastreamento para acompanhar as fontes de conteúdo malicioso em cenários críticos como finanças e geração de código; além disso, deve ser estabelecido um quadro ético sólido e um mecanismo regulatório para limitar fundamentalmente o desenvolvimento e o uso indevido de modelos maliciosos.