Audit-Abweichungen mit über 80% Genauigkeit vorhersagen

Datengestützte Entscheidungsfindung im Audit-, Zertifizierungs- und Standardmanagement

Intact erkannte bereits früh, dass in den Bereichen Audit-, Zertifizierungs- und Standardmanagement riesige Datenmengen gesammelt, jedoch nur in den seltensten Fällen auch in Entscheidungsfindungsprozesse einbezogen werden. Während das Sammeln von Daten relativ einfach ist, erweist sich deren Auswertung und die Ableitung von Erkenntnissen als hoch komplex und anspruchsvoll. Hierfür bedarf es nicht nur hervorragender Fähigkeiten in den Bereichen Data Engineering und Data Science, sondern auch einer tiefgehenden Kenntnis der jeweiligen Branche. Allesamt Fähigkeiten, die kaum je in einer einzelnen Person anzutreffen sind.

Und das ist noch nicht alles. Heute sehen wir uns im Audit-, Zertifizierungs- und Standardmanagement mit immer komplexeren, sich dynamisch verändernden Systemen mit „einer immer größeren Anzahl an Faktoren und ihren multiplen Wechselwirkungen“ (Kleboth et al. 2016, S. 3, vom Autor übersetzt). konfrontiert. Die Komplexität der Systeme, mit denen wir es zu tun haben, zur Gänze zu erfassen und zu verstehen ist daher selbst für Expertinnen und Experten extrem schwierig. Konkret besteht die Herausforderung darin, die sich ständig verändernden Bedingungen in diesen Systemen im Auge zu behalten und entsprechend darauf zu reagieren. Aufgrund der zuvor genannten Hürden bleibt vielen Organisationen der Zugang zu soliden, datengestützten Entscheidungen jedoch verwehrt.

Ein Framework für risikobasierte Audits & Entscheidungsfindung in komplexen Systemen

Um diesem Missstand entgegenzuwirken und jeder Organisation die Nutzung ihrer Daten für fundierte Entscheidungen zu ermöglichen, initiierte und finanzierte Intact ein Forschungsprojekt an der Universität Wageningen in den Niederlanden. Seit 2014 haben wir an der Entwicklung eines Frameworks für risikobasierte Audits und datenbasierte Entscheidungsfindung in komplexen Systemen gearbeitet. Erste Forschungsergebnisse und eine allgemeine Darstellung des entwickelten Frameworks wurden im Oktober 2016 in der Zeitschrift Trends in Food Science and Technology im Elsevier Verlag veröffentlicht.

Audit-Abweichungen und Risiken auf Basis vorhandener Daten vorhersagen

Seit damals hat das Projekt große Fortschritte gemacht. Als erster wirklich praxisbezogener Output der Forschungsarbeit wurde ein Set von drei Vorhersagemodellen entwickelt, mit dem sich Audit-Abweichungen mit einer Anfangsgenauigkeit von über 80% vorhersagen lassen. Wir sind nun in der Lage, die Anzahl der zu erwartenden Abweichungen auf Basis vorhandener Daten einzustufen. Diese Daten können dann genutzt werden, um das Risiko potentieller Kunden und Lieferanten vorab zu bewerten, aber auch um die Risikoklasse für bereits zertifizierte Kunden und Lieferanten zu ermitteln.

Die drei Vorhersagemodelle wurden im Rahmen eines Pilotprojekts mit einem unserer Kunden, der bereits zuvor einen risikobasierten Ansatz verfolgte, entwickelt und getestet. Die umfangreiche Datenbasis hatten wir daher einfach zugänglich in ECERT – Intact Lösung für Audit-, Zertifizierungs- und Standardmanagement – zur Verfügung. Die Ergebnisse bestätigten sowohl den Erfolg des risikobasierten Ansatzes als auch die Anwendbarkeit und das Funktionieren der Vorhersagemodelle.

Schnellerkennung zentraler Risikofaktoren – Expertise, menschliche Wahrnehmung, Machine Learning

Im Umgang mit Risiken in komplexen Systemen können wir uns nicht nur auf ‚historische‘ (harte) Daten stützen, sondern auch auf die Expertise und geschulte Wahrnehmung unserer Auditoren, um insgesamt noch bessere Ergebnisse zu erzielen. Das menschliche Gehirn eignet sich hervorragend dafür, den Kontext einer Sache zu erkennen und zu bewerten. Wollen wir also im Umgang und der Bewertung unserer Daten besser werden, stellt die Wahrnehmung von Auditorinnen und Auditoren eine besonders wertvolle Ressource dar. Um Schlüssel-Risikofaktoren noch besser eingrenzen zu können, haben wir daher Interviews mit Experten geführt und die daraus gewonnen qualitativen Daten mit den bereits vorhandenen ‚harten‘ Auditdaten kreuzvalidiert.

Dieser Ansatz ist sehr effektiv, nimmt aber auch viel Zeit in Anspruch. Ziel war es daher, ein zeitsparenderes, praxistaugliches Verfahren zu entwickeln, mit dem menschliches Wissen angezapft und nutzbar gemacht werde kann. Das infolge entwickelte Schnellverfahren setzt auf Machine Learning, Spieldesignelemente und -prinzipien, um unkompliziert und spielerisch Wissen von Auditoren (und anderen Expertinnen und Experten) abzugreifen und zu validieren. Darauf aufbauend werden wir sogar in der Lage sein, Auditorinnen und Auditoren bei ihrer Arbeit im Feld zu unterstützen. Das ist aber Stoff für einen zukünftigen Beitrag.

Quellenangabe:
Kleboth, J. A., et al., Risk-based integrity audits in the food chain – A framework for complex systems, Trends in Food Science & Technology (2016), http://dx.doi.org/10.1016/j.tifs.2016.07.010