Mit künstlicher Intelligenz analysieren Unternehmen die große Menge an relevanten Daten im Social Web. Das Verfahren erlaubt den Unternehmen nicht nur, Meinungen über ihre Produkte, Dienstleistungen oder das Unternehmen selbst zu erfahren, sondern auch Benchmarks durchzuführen, Rechtsverletzungen zu identifizieren und Trends zu erkennen.
Vor allem spielt Künstlicher Intelligenz jedoch in der Initiierung von Marketing-Maßnahmen eine wichtige Rolle. Erst wenn das Gefüge im Web bzw. innerhalb der Netzkultur über die Branche bekannt wird, können auch klare Maßnahmen oder Strategien entwickelt werden. Doch wie kann man die Fülle von Daten erfassen und im Dschungel der Informationen überhaupt eine gezielte Meinung erkennen?
Sentiment Analysis
Der Nutzen von Sentiment Analysis wurde in letzter Zeit kontrovers diskutiert. Das Verfahren erlaubt, beispielsweise durch das Natural Language Processing (NLP), Texte automatisch zu erkennen.
Das Ziel dabei ist es, ohne oder mit geringem Einsatz menschlicher Arbeitskräfte, Texte nach Themen zu sortieren und die darin enthaltenen Meinungen automatisch zu bewerten. Die Sentiment-Analyse ist ein Verfahren, welches aus Texten die Meinung eines Nutzers durch künstliche Intelligenz zu erfassen versucht. Hierbei werden linguistische Mittel eingesetzt, die gezielt Bedeutungen in einem Text identifizieren sollen. In der Theorie erkennt die Maschine, ob der Nutzer über ein bestimmtes Produkt negativ oder positiv spricht oder rechtsverletzende Inhalte publiziert. Bestenfalls soll der Computer daraufhin automatisch Handlungsempfehlungen generieren. Die Rede ist vom Traum eines Computers mit menschlichen Eigenschaften. Aufgrund der hohen Menge an Social-Media-Inhalten scheint der Gedanke, die Auswertung einer Maschine zu überlassen, zunächst logisch und nahe liegend.
Schwächen der Sentiment Analyse
Diese und weitere Verfahren weisen im praktischen Einsatz allerdings noch deutliche Schwächen auf, insbesondere wenn es um User Generated Content geht.
Das Problem liegt häufig darin begründet, dass Nutzer dazu tendieren, ihre persönliche „Story“ zu ihrem Posting zu schreiben und der Computer nicht mehr in der Lage ist, den Inhalt nachzuvollziehen. Fehler werden schließlich erst sichtbar, wenn die Auswertungen und Resultate aus diesen Verfahren daraufhin von Menschen geprüft werden.
Zudem stellen auch ironische Beiträge ein großes Problem dar, welche in Social Media allerdings gang und gäbe sind. Nutzer erläutern oftmals ihre Probleme, zeigen Mängel von Produkten auf und bringen ihre Empörung hierbei mit verschiedenen Wortspielereien zum Ausdruck. Sie äußern sich nicht selten emotional und mit sarkastischem Ton, indem sie von „Begeisterung“ sprechen: Ausrufe wie „Na Klasse!“, „Scheiße ist das geil!“ oder Formulierungen wie „Da gehe ich bestimmt wieder hin.“ sollen häufig genau das Gegenteil ausdrücken.
Darüber hinaus muss dabei nach Branche und Community unterschieden werden. Während in Fachkreisen grammatikalisch korrekte Sätze und ein klarer Ton verwendet werden, unterhalten sich Foren-Mitglieder in größeren Foren durchaus zügelloser. Ironie, verbunden mit Polemik und inkorrekter Schreibweise, können Ergebnisse verfälschen. Unternehmen, die in diesem Bereich Erfahrungen sammeln konnten, beschränken sich mittlerweile nicht auf derartige automatische Auswertungen und bauen ihre Entscheidungen nicht darauf auf.
„Hier stellt sich die entscheidende Frage, ob die automatisierte Auswertung von Sentiments Resultate erzielen kann, welche den Anforderungen der unterschiedlichen Nutzergruppen gerecht werden. Häufig hört man von Unternehmen die Forderung, dass mindestens 80% der Sentiments korrekt klassifiziert werden müssen, um den Einsatz zu rechtfertigen.
Verfahren
Viele der derzeit verfügbaren Sentiment-Analysis-Anwendungen und -Dienste nutzen aber ausschließlich einfache lexikonbasierte Verfahren, die lediglich nach bestimmten positiv oder negativ gefärbten Schlüsselbegriffen suchen und auf diese Weise versuchen, Dokumente in Bezug auf vorkommende Sentiments zu klassifizieren.
Die menschliche Sprache ist jedoch sehr komplex und die Anzahl einfach zu analysierender Sätze wie: ‚Ich finde Produkt x gut.‘ oder ‚Der Service der Firma y ist schlecht.‘ sind deutlich in der Unterzahl. Aus diesem Grund weisen derart rudimentäre Systeme häufig Fehlerraten von weit über 50% auf und sind (…) für seriöse Analysen nicht geeignet (Schönhalz, 2010)“.
Das Problem der mangelhaften Qualität automatisch ausgewerteter Daten sollte dem Auftraggeber bewusst sein. Die Nachvollziehbarkeit der Ergebnisse von automatisch ausgewerteten Daten wird dementsprechend von den etablierten Monitoring-Agenturen auch gewährleistet.
Qualität
Die Software muss zusätzlich zu den jeweiligen grafisch aufgearbeiteten Ergebnissen (zum Beispiel „positiv“, „negativ“, „neutral“ oder sogar „Freude“, „Ärger“, „Trauer“, „Liebe“) auch in der Lage sein, die Beiträge auflisten zu können.
Ein sogenannter Drill Down auf die Social-Media-Beiträge muss möglich sein. Nur so kann der Auftraggeber erkennen, welche Texte von der Maschine tatsächlich auf welche Art und Weise bewertet wurden. Wenn die Qualitätskontrolle deutliche Defizite in den Analyseergebnissen aufzeigt, wird schließlich ein Rollback notwendig, in dem geprüft werden muss, an welchen Prozesspunkten die Text-Mining-Software Fehler verursacht hat. Das setzt allerdings voraus, dass die Software auch den Einblick in ihre Strukturen erlaubt und detailliert ihre Vorgehensweise aufzeigen kann.
Sentiment-Analysen werden vom Aufwand her oft unterschätzt. Die Annahme, dass eine vollkommen automatisierte Lösung Kosten spare, muss daher immer hinterfragt werden. Auch wenn durch die Bewertung der Inhalte kein zusätzlicher Aufwand entsteht, da das System diese automatisch vornimmt, ist die Einrichtung des Systems sowohl branchen- als auch themenbezogen mit Zeit und hohen Kosten verbunden, die oftmals übersehen werden.
Bedenklich ist es, wenn derartiger Aufwand erst gar nicht betrieben wird und automatische Analysen ohne tiefgehende Betrachtung und Konfiguration auf Social-Media-Inhalte angewendet werden. In diesem Fall kann die Fehlerquote derart hoch ausfallen, dass die Ergebnisse als unbrauchbar zu bewerten sind. Der Worst Case entsteht, wenn das Unternehmen sich auf die Auswertungen verlässt und die Korrektheit der Informationen nicht hinterfragt.
Während bei einer intellektuellen Analyse durch ein menschliches Team davon ausgegangen werden kann, dass die Qualität der Ergebnisse größtenteils gegeben ist, muss bei einer automatischen Lösung ein klarer Prozess der Qualitätsprüfung aufgebaut werden.
Gefährlich ist es immer dann, wenn Unternehmen in der Hoffnung auf eine schnelle und kostengünstige Alternative auf automatische Lösungen setzen, ohne das Thema differenziert betrachtet zu haben.
Wie durch ein menschliches Researcher-Team Social-Media-Daten ausgewertet werden, wird im Kapitel „Cockpit-Funktionen / Flagging“ näher erläutert.
Gegen den Information Overflow
In Deutschland spielen nebst Social Media wie Facebook & Co. auch Foren eine große Rolle, da hier eine große Menge an Inhalten zu finden ist.
Allein im Automobilforum Motor Talk befinden sich beispielsweise ca. 20 Millionen Beiträge rund um das Thema KFZ. Schränkt man den Zeitraum und die Themen weiter ein, bleiben immer noch mehrere tausende Beiträge übrig, die für das Unternehmen relevant sein können. In die gleiche Kategorie fallen beispielsweise Groups in Facebook, die innerhalb von Social-Media-Portalen eingerichtet werden. Darüber hinaus existiert eine Fülle von Quellen, wie Blogs und auch Twitter, in denen Blogger nicht nur Inhalte produzieren, sondern auch anderen Lesern durch Kommentare oder sogenannte Retweets bei Twitter die Möglichkeit zur inhaltlichen Beteiligung geben. Zieht man also weitere Quellen dem Gesamtgeflecht Social Media hinzu, hat man es schließlich mit einer nicht mehr überschaubaren Anzahl von Beiträgen zu tun. Daher scheint der Gedanke, die Auswertung einer Maschine zu überlassen, zunächst logisch und naheliegend.
Sentiment-Analyse
Die Sentiment-Analyse ist im Grunde ein Verfahren, welches aus Texten die Meinung eines Nutzers durch künstliche Intelligenz zu erfassen versucht.
Hierbei werden linguistische Mittel eingesetzt, die gezielt Bedeutungen in einem Text identifizieren sollen. In der Theorie erkennt die Maschine, ob der Nutzer über ein bestimmtes Produkt negativ oder positiv spricht und/oder rechtsverletzende Inhalte publiziert. Bestenfalls soll der Computer daraufhin automatisch Handlungsempfehlungen generieren. Die Rede ist vom Traum eines Computers mit menschlichen Eigenschaften.
Schreibstil in Social Media
Darüber hinaus muss dabei je nach Branche und Community unterschieden werden. Während in Fachkreisen grammatikalisch korrekte Sätze und ein klarer Ton verwendet werden, unterhalten sich Foren-Mitglieder in größeren Foren durchaus zügelloser.
Ironie, verbunden mit Polemik und inkorrekter Schreibweise, können Ergebnisse soweit verfälschen, dass dies verheerende Folgen für das Unternehmen haben kann. Außerdem enthalten Beiträge wesentlich differenziertere Ergebnisse als nur negativ oder positiv.
Das hat auch das Forschungsteam an der -Universität Düsseldorf, Abteilung für Informationswissenschaft am Institut für Sprache und Information Stock erkannt. Dort forscht man derweil an Erkennungsmerkmalen in Form von Gefühlen innerhalb von User Generated Content. Emotional Information Retrieval, abgekürzt EmIR, heißt das Forschungsthema, in dem man Inhalte, beispielsweise von Texten und Bildern, Gefühlen zuzuordnen versucht. Hier nutzt man Merkmale, wie Freude, Liebe, Ärger, Traurigkeit und Ekel. Dabei konzentriert sich das Forschungsteam auf die von Nutzern vergebenen Bewertungen innerhalb des Social Webs.
Qualitätsmanagement in Social Media
Das Thema der Social-Media-Bewertung ist für die meisten Unternehmen noch ein unbekanntes Feld, so dass ein Qualitätsmanagement oft weitgehend unbeachtet bleibt. Die Frage, ob die Ergebnisse korrekt sind, wird aufgrund der fehlenden Nachvollziehbarkeit oftmals vernachlässigt.
Das Problem der mangelhaften Qualität von automatisch ausgewerteten Daten ist derweil aber einigen Unternehmen durchaus bewusst, so dass sie vermehrt die Nachvollziehbarkeit solcher Ergebnisse einfordern. Die Software muss zu den jeweiligen grafischen Ergebnissen (z. B. positiv, negativ, neutral oder Freude, Ärger, Trauer, Liebe) auch in der Lage sein, die Beiträge bzw. Postings auflisten zu können. Nur so kann der Auftragnehmer erkennen, welche Texte von der Maschine tatsächlich auf welche Art und Weise bewertet wurden.
Wenn die Qualitätskontrolle deutliche Defizite in den Analyseergebnissen aufzeigt, wird schließlich ein Rollback notwendig, in der geprüft werden muss, an welchen Prozesspunkten die Text-Mining-Software Fehler verursacht hat. Das setzt allerdings voraus, dass die Software auch den Einblick in ihre Strukturen erlaubt und detailliert ihre Vorgehensweise aufzeigen kann.
Im Bereich der künstlichen Intelligenz, in dem komplexe Algorithmen zum Einsatz kommen, haben sich im Laufe der Jahre Prinzipien entwickeln, die Qualitätskontrollen erlauben sollen. Claude Shannons vom Massachusetts Institute of Technology, der Entwickler des ersten Schachprogramms, hatte bereits in den frühen 60er Jahren vorgewarnt: Wenn komplexe Algorithmen zum Einsatz kommen, werden deren Mängel und Fehler unter dem Vorwand der Sicherheit geschlossen gehalten. Eine Software, die grundsätzlich ihre Ergebnisse nicht preisgeben kann, arbeitet laut Shannon nach dem Prinzip des „Security by Obscurity“ (zu Deutsch: Sicherheit durch Unklarheit). Bereits vor mehr als 100 Jahren hatte auch Auguste Kerckhoffs erkannt, dass ein Algorithmus nicht auf einer Geheimhaltung beruhen darf und formulierte daraufhin das Kerckhoffs’sche Prinzip, das unter anderem die Offenheit und Transparenz von Systemen verlangt.
Daher sollten Ergebnisse also nur dann in die unternehmerischen Prozesse eingebunden werden, wenn sie zurückverfolgbar sind und eine Qualitätskontrolle möglich ist.
Blödmarkt Mediamarkt
Etablierte Lösungsvorschläge in diesem Bereich sind beispielsweise schon seit längerer Zeit von Presseclipping-Agenturen bekannt.
Diese setzen bereits seit Jahren das Prinzip der intellektuellen Bewertung durch menschliche Teams ein, wie auch beispielsweise das Düsseldorfer Unternehmen Pressrelations. Diese Methode lässt fälschlicherweise vermuten, dass dadurch höhere Kosten entstehen könnten. Der Aufwand der automatischen Auswertung, der beim Aufbau der Text-Mining-Infrastruktur entsteht, wird allerdings unterschätzt. Zwar gibt es eine große Anzahl von Wörterbüchern, die bei der automatischen Auswertung zum Einsatz kommen und standardmäßig vorkonfiguriert sind, dennoch muss für jedes Unternehmen und jede Branche individuell eine Fülle von branchenbezogenen Keywords erstellt werden. Das liegt daran, dass Nutzer je nach Themenbereichen verschiedene Abkürzungen und Synonyme verwenden. Eine Analyse von kritischen oder negativen Beiträgen ohne das Synonym „Blödmarkt“ würde beispielsweise Tausende von Beiträgen in der Elektronik-markt-Branche unberücksichtigt lassen. Genauso fatal wäre es jedoch, im System derartige Synonyme ohne weiteres als negativ einzustufen. Im Web haben sich bestimmte Verwendungen von Begriffen etabliert, die nicht unbedingt in einem negativen Kontext genutzt werden, wie beispielsweise: „Ohne die Beratung bei Blödmarkt, hätte ich mir fast den falschen TV gekauft“. Weiterhin müssen auch branchenbezogene Abkürzungen gesammelt und das System damit gefüllt werden. Spezialthemen in den Bereichen wie Healthcare, Versicherungen und Elektronik beinhalten zahlreiche Abkürzungen, die Nutzer täglich benutzen. Dabei werden Falschschreibweisen häufig erst in der Gesamtbetrachtung durch einen Menschen erkannt und richtig interpretiert. Somit müssen branchenspezifische Kombinationen zum Einsatz kommen. Die Maschine muss also ständig mit neuem Wissen gefüllt werden und eine derartige Konfiguration des Systems kann bis zu mehreren Wochen oder Monaten dauern. Da sich die Produkte des Unternehmens und die Themen im Social Media rapide ändern, werden zudem kontinuierliche Nachkorrekturen und Aktualisierungen notwendig.
Tonalitätsanalyse
Das Problem der mangelhaften Qualität automatisch ausgewerteter Daten sollte dem Auftraggeber bewusst sein. Die Nachvollziehbarkeit der Ergebnisse von automatisch ausgewerteten Daten wird dementsprechend von den etablierten Monitoring-Agenturen auch gewährleistet.
Die Software muss zusätzlich zu den jeweiligen grafisch aufgearbeiteten Ergebnissen (zum Beispiel „positiv“, „negativ“, „neutral“ oder sogar „Freude“, „Ärger“, „Trauer“, „Liebe“) auch in der Lage sein, die Beiträge auflisten zu können. Ein sogenannter Drill Down auf die Social-Media-Beiträge muss möglich sein. Nur so kann der Auftraggeber erkennen, welche Texte von der Maschine tatsächlich auf welche Art und Weise bewertet wurden. Wenn die Qualitätskontrolle deutliche Defizite in den Analyseergebnissen aufzeigt, wird schließlich ein Rollback notwendig, in dem geprüft werden muss, an welchen Prozesspunkten die Text-Mining-Software Fehler verursacht hat. Das setzt allerdings voraus, dass die Software auch den Einblick in ihre Strukturen erlaubt und detailliert ihre Vorgehensweise aufzeigen kann.
Sentiment-Analysen werden vom Aufwand her oft unterschätzt. Die Annahme, dass eine vollkommen automatisierte Lösung Kosten spare, muss daher immer hinterfragt werden. Auch wenn durch die Bewertung der Inhalte kein zusätzlicher Aufwand entsteht, da das System diese automatisch vornimmt, ist die Einrichtung des Systems sowohl branchen- als auch themenbezogen mit Zeit und hohen Kosten verbunden, die oftmals übersehen werden.
Bedenklich ist es, wenn derartiger Aufwand erst gar nicht betrieben wird und automatische Analysen ohne tiefgehende Betrachtung und Konfiguration auf Social-Media-Inhalte angewendet werden. In diesem Fall kann die Fehlerquote derart hoch ausfallen, dass die Ergebnisse als unbrauchbar zu bewerten sind. Der Worst Case entsteht, wenn das Unternehmen sich auf die Auswertungen verlässt und die Korrektheit der Informationen nicht hinterfragt.
Während bei einer intellektuellen Analyse durch ein menschliches Team davon ausgegangen werden kann, dass die Qualität der Ergebnisse größtenteils gegeben ist, muss bei einer automatischen Lösung ein klarer Prozess der Qualitätsprüfung aufgebaut werden.
Gefährlich ist es immer dann, wenn Unternehmen in der Hoffnung auf eine schnelle und kostengünstige Alternative auf automatische Lösungen setzen, ohne das Thema differenziert betrachtet zu haben.
Wie durch ein menschliches Researcher-Team Social-Media-Daten ausgewertet werden, wird im Kapitel „Cockpit-Funktionen / Flagging“ näher erläutert.
Fazit Künstliche Intelligenz
Sentiment-Analysen werden vom Aufwand her oft unterschätzt. Die Annahme, dass allein eine technische und automatisierte Lösung Kosten spare, muss daher immer hinterfragt werden.
Auch wenn für die Bewertung der Inhalte kein zusätzlicher Aufwand entsteht, da das System diese automatisch vornimmt, ist die Einrichtung des Systems, sowohl branchen- als auch themenbezogen, mit Zeit und hohen Kosten verbunden, die oftmals übersehen werden.
Bedenklich ist es, wenn derartiger Aufwand erst gar nicht betrieben wird und automatische Analysen ohne tiefgehende Betrachtung und Konfiguration auf das Social Web losgelassen werden. In diesem Fall kann die Fehlerquote schließlich derart hoch sein, dass die Ergebnisse als unbrauchbar zu bewerten sind. Der Worst Case entsteht, wenn das Unternehmen sich blind auf die Auswertungen verlässt und erst gar nicht mehr die Korrektheit der Informationen hinterfragt.
Während bei einer intellektuellen Analyse durch ein menschliches Team davon ausgegangen werden kann, dass die Qualität der Ergebnisse größtenteils stimmt, muss bei einer automatischen Lösung ein klarer Qualitätsprozess aufgebaut werden. Die Ergebnisse einer automatischen, emotionalen Intelligenz bleiben daher weiterhin fraglich. Derartige Auswertungen befinden sich derzeit noch im Aufbau, und künstliche Intelligenz wird auch in Zukunft kontrovers diskutiert werden.
Die Gefahr ist immer dann gegeben, wenn Unternehmen, in der Hoffnung auf eine schnelle und kostengünstige Alternative, auf derartige automatische Lösungen setzen, ohne das Thema differenzierter betrachtet zu haben. Vielleicht spielt beim Einsatz solcher Technologien auch verstärkt ein Glaube oder Wunsch an die Wundertechnik eine Rolle. „Künstliche Intelligenz“ oder „Automatismus“ klingt so schön nach Prozessoptimierung und Zukunft. Welches Unternehmen kann da schon widerstehen?
