Uma revisão sistemática publicada na Frontiers of Engineering Management (2025) mapeou a natureza dual dos grandes modelos de linguagem (LLMs), identificando-os como ferramentas poderosas para inovação que simultaneamente introduzem riscos significativos de segurança e ética. A pesquisa, conduzida por uma equipe da Universidade Jiao Tong de Xangai e da Universidade Normal do Leste da China, analisou 73 artigos-chave de mais de 10.000 documentos para fornecer uma avaliação abrangente das ameaças, desde ataques cibernéticos até viés social. As descobertas do estudo, disponíveis via https://doi.org/10.1007/s42524-025-4082-6, ressaltam que a rápida adoção de LLMs como GPT, BERT e T5 em educação, saúde e governança digital exige atenção urgente tanto às defesas técnicas quanto à supervisão ética.
A revisão categoriza as ameaças relacionadas aos LLMs em dois domínios principais: riscos baseados em uso indevido e ataques maliciosos direcionados aos próprios modelos. O uso indevido inclui a geração de e-mails de phishing altamente fluentes, script automatizado de malware, falsificação de identidade e a produção em larga escala de informações falsas. Ataques maliciosos ocorrem tanto no nível de dados/modelo—como inversão, envenenamento e extração de modelo—quanto no nível de interação do usuário por meio de técnicas como injeção de prompt e jailbreaking. Esses métodos podem potencialmente acessar dados de treinamento privados, contornar filtros de segurança ou coagir modelos a produzir conteúdo prejudicial, representando ameaças diretas à segurança de dados e à confiança pública.
Em resposta a essas ameaças em evolução, o estudo avalia as estratégias de defesa atuais, que incluem três abordagens técnicas principais. O processamento de parâmetros visa reduzir a exposição a ataques removendo parâmetros redundantes do modelo. O pré-processamento de entrada envolve parafrasear prompts do usuário ou detectar gatilhos adversariais sem exigir retreinamento do modelo. O treinamento adversarial, incluindo estruturas de red-teaming, simula ataques para melhorar a robustez do modelo. A pesquisa também destaca tecnologias de detecção, como marcação d'água semântica, e ferramentas como o CheckGPT, que podem identificar texto gerado por modelo com taxas de precisão de até 98–99%. No entanto, os autores observam que as defesas frequentemente ficam atrás do ritmo das técnicas de ataque em evolução, indicando uma necessidade premente de soluções escaláveis, econômicas e adaptáveis a múltiplos idiomas.
Além das salvaguardas técnicas, o estudo enfatiza que a governança ética é igualmente crítica. Os pesquisadores argumentam que riscos como alucinação do modelo, viés social incorporado, vazamento de privacidade e disseminação de desinformação representam desafios em nível social, não meramente problemas de engenharia. Para promover a confiança em sistemas baseados em LLMs, o desenvolvimento futuro deve integrar princípios de transparência, rastreabilidade de conteúdo verificável e supervisão interdisciplinar. A implementação de estruturas de revisão ética, mecanismos de auditoria de conjuntos de dados e educação de conscientização pública é considerada essencial para prevenir o uso indevido e proteger populações vulneráveis.
As implicações desta pesquisa se estendem por múltiplos setores. Sistemas de defesa eficazes poderiam ajudar a proteger instituições financeiras contra esquemas de phishing sofisticados, reduzir a propagação de desinformação médica e manter a integridade científica. Técnicas como rastreabilidade baseada em marcação d'água e red-teaming podem evoluir para padrões do setor para implantação responsável de modelos. O estudo conclui que o desenvolvimento seguro e ético dos LLMs moldará fundamentalmente a adoção social da inteligência artificial. Os pesquisadores defendem trabalhos futuros focados em governança responsável de IA, estruturas regulatórias unificadas, conjuntos de dados de treinamento mais seguros e relatórios de transparência de modelo aprimorados. Com esforço coordenado, os LLMs têm o potencial de amadurecer em ferramentas confiáveis que apoiam educação, saúde digital e ecossistemas de inovação, minimizando os riscos associados ao cibercrime e à desinformação social.
