Können wir Machine Learning und Quantencomputern vertrauen? | WeLiveSecurity

Können wir Machine Learning und Quantencomputern vertrauen?

Woher können wir wissen, ob ein Algorithmus manipuliert wurde?

Woher können wir wissen, ob ein Algorithmus manipuliert wurde?

Was die Anzahl wilder Sicherheitsbehauptungen betrifft, hat Quanten-Computing der künstlichen Intelligenz (KI) mittlerweile den Rang abgelaufen. Vor einigen Jahren reichte die Erwähnung des Begriffs „KI“ in Marketingtexten, um inhaltsleere Produkte zu verkaufen. Heute gilt dies für den Begriff „Quanten“. Hängt man „Verschlüsselung“ an gibts eine Gehaltserhöhung, wenn nicht sogar einen Börsengang.

Ein Quantennachweis für Zufallszahlen

Auf der diesjährigen RSA Sicherheitskonferenz, ging es in einer echten Quantencomputer-Arbeitsgruppe um wirklich relevante Probleme: Um die Fälschungssicherheit von Zufallszahlen, die die Grundlage der Quantenkryptografie bilden.

Während Quantencomputer sich Mühe geben eine echte Zufallszahl für kryptografische Schlüssel zu generieren (was ganz sicher eine gute Sache ist), können Sie nicht sehr gut belegen, ob die resultierende Zahl manipuliert worden ist oder nicht. Pfuscht man an der Zufallszahl herum, können kryptografische Schlüssel wirkungslos werden.

Hier kommt Cambridge Quantum Computing ins Spiel. Auf der RSA Konferenz hat die Firma eine Maschine vorgeführt, die, mittels eines horizontal und vertikal polarisierten Photonenpaars, eine Art unveränderlichen Nachweis für jede generierte Zahl erzeugt. Verändert man ein Photon, ist es aufgrund der Quantenverschränkung feststellbar. Das bedeutet, dass man nachweislich zufällige kryptografische Schlüssel erstellen kann. Für die Quantenkryptografie ist ein Zero-Trust-Gerät, also eine nachweislich ohne Vertrauen auskommende Sicherheitsfunktion, eine willkommene Ergänzung.

Wie lässt sich das überprüfen? Mittels der Bellschen Ungleichungs-Methode zur Verifizierung zufälliger Schlüssel, entwickelt im Jahr 1964. Selbst wenn man sie nicht anwenden kann: Fakt ist, so lässt sich die Integrität überprüfen und das wäre ansonsten kaum möglich.

Das Recht auf eine Erklärung

Apropos Vertrauen: Wie kann man feststellen ob Machine-Learning-Algorithmen manipuliert wurden?

Es gibt im maschinellen Lernen (ML) ein Konzept namens „Recht auf eine Erklärung“. Gemeint ist das Recht, für jeden Output eines Algorithmus eine Erklärung zu erhalten. Es existiert tatsächlich – außer vielleicht in den Marketingmaterialien oben erwähnter Vaporware-Unternehmen.
Wenn wir aber von einem ML Modell eine Erklärung erhalten, woher wissen wir ob sie tatsächlich korrekt ist? Wer überprüft das? Wie können wir erfahren ob die Inputs oder Outputs manipuliert worden sind?

Wenn eine ML Anwendung bestimmt, dass Sie ein Risiko für einen Immobilienkredit darstellen, würden Sie dann nicht eine Erklärung dafür wollen warum sie abgelehnt werden? Etwas konkreteres als „es ist sehr kompliziert“?

ML Modelle hatten schon früher mit fehlerhaften Ergebnissen zu kämpfen. Beispielsweise bei niedrig-dimensionalen Daten wie in der Bilderkennung, wo die Betreiber Fehler des Modells durch visuelle Überprüfung von Bildern und Anomalien bei den Ergebnissen nachvollziehen konnten. Aber bei hoch-dimensionalen Daten, wie der typischerweise komplexen Datenmodellierung in der Realität, ist es für die Betreiber fast unmöglich die Fehler des Modells zu „sehen“.

Und das ist das Problem: Festzustellen, ob Fehler auf dem Modell beruhen oder auf der Verarbeitung fehlerhafter Daten. Denn – egal ob durch Absicht oder einfach durch falsche Methodik – sie verändern das Modell so, dass es ein Ergebnis hervorbringt, das den tatsächlichen Daten nicht, oder noch nicht, entspricht.

Typischerweise ist die Antwort darauf, das Modell mit mehr Daten zu füttern und die Zaubermaschine wieder anzuwerfen. Mehr Trainingsdaten sind in der Tat nützlich, allerdings nicht, wenn jemand versucht die Ergebnisse zu manipulieren.

Erklärung gesucht

So, wie Cambridge Quantum Computing versucht einen neuartigen „Beweis“ für unmanipulierte Zufallszahlen zu erbringen, benötigt auch maschinelles Lernen eine Art von Beweis, der mehr ist als „sehr kompliziert“. Wir können mit Komplexität umgehen, doch wenn es tatsächlich darauf ankommt, ist das keine sehr befriedigende Antwort, falls es überhaupt eine ist.

Wer ist in der Zwischenzeit dafür verantwortlich, wenn eine Rakete aufgrund eines KI-Fehlers vom Kurs abkommt? Eine Erklärung nach dem Muster „Die künstliche Intelligenz zur Raketenlenkung hat sie abdrehen lassen“ wird von Menschen wahrscheinlich nicht lange akzeptiert werden.

Ebenso wenig sollten wir blindlings den Maschinen vertrauen, die viele der wichtigen Entscheidungen unserer Zukunft beeinflussen werden.

Während einer Session auf der RSA Konferenz wurde eine Arbeitsgruppe zur Fehlererkennung in KI-Systemen erwähnt, doch zu diesem Zeitpunkt gibt es wenig Konkretes. Wir hoffen, dass dies bald der Fall sein wird.

Newsletter-Anmeldung

Hier können Sie mitdiskutieren