A rischio i sistemi RAG (server llama.cpp)

Trend Micro presenta il report “The Road to Agentic AI: Exposed Foundations” che rivela gravi vulnerabilità nei sistemi di Retrieval Augmented Generation (RAG).

Questi sistemi sono utilizzati dalle aziende per creare applicazioni personalizzate ed efficienti basate su dati privati. Un sistema RAG, per funzionare, ha bisogno di un database di blocchi di testo e di un modo per recuperarli. Di solito si utilizza un archivio vettoriale che salva il testo e una serie di numeri che permettono di trovare i blocchi di testo più rilevanti. Con questi e un prompt appropriato, si può spesso rispondere a domande o comporre nuovi testi che si basano su fonti di dati privati e sono rilevanti per le proprie esigenze. I sistemi RAG sono molto efficaci, ma come svelato dai ricercatori Trend Micro non sono privi di rischi.

I principali rischi per i sistemi RAG:

• I cybercriminali possono sfruttare i vector store esposti e le piattaforme di hosting LLM, per accessi non autorizzati e potenziali manipolazioni del sistema, che includono furti di dati
• I problemi di sicurezza, come i bug di convalida dei dati e gli attacchi denial-of-service, sono prevalenti tra i componenti dei RAG. A ciò si aggiunge il loro rapido ciclo di sviluppo, che rende difficile tracciare e risolvere le vulnerabilità
• La ricerca ha identificato 80 server llama.cpp esposti, 57 dei quali privi di autenticazione. I server esposti erano concentrati negli Stati Uniti, Cina, Germania e Francia

Per difendersi dagli attacchi cybercriminali nei confronti di questi sistemi, Trend Micro suggerisce alle aziende di implementare, oltre a protocolli di autenticazione, la crittografia TLS e di applicare una rete zero-trust per garantire che i sistemi di AI generativa e i loro componenti siano protetti da accessi e manipolazioni non autorizzati.