Het gevaar van een lekkende Llama
Steeds meer mensen gebruiken large language models (LLMs), voor zowel werk als privédoeleinden. Zowel commerciële modellen als die van OpenAI als open source modellen als Llama zijn populair. Elk van deze modellen brengt echter ook risico's met zich mee. Dit gebeurt niet alleen in het model zelf, maar ook in de software die gebruikt wordt om de modellen aan te sturen. Een veelgebruikte interface for Llama blijkt bijvoorbeeld bij onjuiste configuratie de deur open te zetten voor buitenstaanders.
Llama.cpp is een open source softwarepakket dat ontworpen is om een interface te vormen voor gebruikers van Llama, het LLM van Meta, en een aantal vergelijkbare modellen. Eén van de functies van de software is het opzetten van een server en webinterface, zodat de LLM op afstand gebruikt kan worden. En in die functionaliteit blijkt een probleem te zitten, blijkt uit onderzoek van cybersecuritybedrijf Upguard: Een verkeerd geconfigureerde software laat buitenstanders op afstand meelezen in de input die aan de LLMs gegeven wordt.
En dat is natuurlijk onwenselijk, zeker voor commerciële gebruikers. Niemand wil natuurlijk dat buitenstaanders kunnen meelezen met waar medewerkers van uw organisatie mee bezig zijn, zeker als in de prompts ook bedrijfsgegevens gebruikt kunnen worden. Als er dan ook nog klantengegevens of andere gevoelige informatie in de prompts gebruikt worden, dan worden de problemen alleen maar groter.
Het delen van persoonsgegevens via een verkeerd geconfigureerde llama.cpp server is namelijk een datalek, waarbij uw organisatie verschillende verantwoordelijkheden heeft die veel extra werk kunnen opleveren. Deze verantwoordelijkheden, vastgelegd in de Algemene verordening gegevensbescherming (AVG), kunnen er zelfs toe leiden dat uw organisatie sancties van de Autoriteit Persoonsgegevens (AP) riskeert.
Ook officiële apps en interfaces voor LLMs, ook open source modellen als Llama en DeepSeek, brengen risico's met zich mee. Een recent rapport van cybersecuritybedrijf Appknox toonde maar liefst zes verschillende problemen met de beveiliging van de app die gebruikers blootstellen aan externe aanvallen waarbij kwaadwillenden nog veel meer kunnen doen dan alleen meelezen met de prompts.
Maar dat betekent niet dat het gebruiken van LLMs van commerciële aanbieders automatisch de oplossing is. Commerciële aanbieders van LLMs en andere vormen van kunstmatige intelligentie (AI) hebben vaak dubieuze voorwaarden in de gebruikerslicentie over bijvoorbeeld auteursrecht en intellectueel eigendom. Daarnaast gaan deze bedrijven niet altijd verantwoord om met gebruikersgegevens. Eind vorig jaar nog moest OpenAI €15 miljoen betalen aan de Italiaanse evenknie van de AP, voor het niet melden van een datalek en het onverantwoord omgaan met gebruiksgegevens.
Wie LLMs of andere vormen van generatieve kunstmatige intelligentie wil gebruiken moet dus niet alleen letten op wat de AI kan doen. Ook moet er rekening gehouden worden met de manier waarop medewerkers van uw organisatie werken met de AI, welke gegevens in de AI ingevoerd worden, en welke software van derde partijen wordt gebruikt wordt om met de AI te werken. Er zal altijd kritisch gekeken moeten worden naar zowel het model als de lagen software erboven, ook met het oog van risico's voor de (cyber)veiligheid van uw bedrijf, en de risico's voor uw klanten.