Dissertação
Security Risks and Protection of AI Models in Smart Retail EVALUATED
Nos últimos anos, a indústria de retalho tem adotado tecnologias avançadas para melhorar a experiência de compra, como large language models (LLMs) e computer vision models (CV). LLMs, que conseguem compreender e gerar texto em linguagem natural, estão a ser integrados em aplicações na forma de chatbots. Para garantir que LLMs respondam com informações relevantes, esta integração depende de middleware como Langchain. O Langchain permite o LLM converter questões dos utilizadores em queries SQL, permitindo-lhe aceder a informações da aplicação armazenadas em bases de dados para fornecer respostas relevantes. No entanto, prompts de utilizadores não-sanitizados podem levar a ataques de injeção prompt-to-SQL, comprometendo a segurança da base de dados. Em simultâneo com o rápido desenvolvimento de LLMs, verifica-se uma tendência para lojas autónomas que utilizam sensores e modelos de CV para proporcionar uma experiência sem-checkout. Um desafio fundamental consiste em garantir a segurança dos modelos CV proprietários usados para stream processing quando implementados em infra-estruturas não confiáveis. Esta tese apresenta uma análise das injeções P2SQL dirigidas a aplicações web baseadas no Langchain. Exploramos ataques de injeção P2SQL e suas variantes em vários LLMs, e propomos quatro técnicas de defesa. Propomos também TrustedVision, uma nova arquitetura concebida para implementar de forma segura aplicações proprietárias em plataformas não-confiáveis. O sistema protege a integridade e a confidencialidade de propriedade intelectual e dados sensíveis usando de Trusted Execution Environments (TEE). O proof of concept desenvolvido mostra um aumento na latência de 13,71% em aplicações LLM. Adicionalmente, propomos soluções futuras para desafios adicionais de design.
novembro 15, 2023, 9:0
Documentos da dissertação ainda não disponíveis publicamente
Orientação
ORIENTADOR
Nuno Miguel Carvalho dos Santos
Departamento de Engenharia Informática (DEI)
Professor Associado
ORIENTADOR
Paulo Jorge Fernandes Carreira
Departamento de Engenharia Informática (DEI)
Professor Associado