von Dominik Grimm
Themen: Social Media Monitoring, Social Media, Sentimentanalyse, Komposita-Zerlegung, Synonym-Erkennung, Relevanzverfahren
Viele Unternehmen haben die Notwendigkeit erkannt, Foren, Blogs und Social Networks nach produkt- bzw. firmenrelevanten Beiträgen zu scannen und auszuwerten. Die Bezeichnung dafür ist Social Media Monitoring.
Diese Dienstleistung bietet Unternehmen zum Beispiel die Möglichkeit, die Stimmungslage zu eigenen Produkten im Web zu erfassen, Benchmarks durchzuführen, Frühwarnsysteme zu etablieren oder Trendthemen zu identifizieren. Dabei werden vor allem B2C-Unternehmen mit einer Vielzahl an Beiträgen konfrontiert. Allein in Foren ist zu einem einzigen Unternehmen eine bis zu 5-stellige Anzahl an Beiträgen täglich keine Seltenheit.
Dabei sind Foren im deutschsprachigen Social Web auch für eine detaillierte Meinungsbildanalyse die qualitativ hochwertigste Quelle. Während im englischsprachigen Ausland Blogs einen höheren Stellenwert genießen, werden Blogs hierzulande bei Fragen zu Produkten oder Dienstleistungen eher selten frequentiert. In Foren hingegen gibt es kaum eine Frage, die noch nicht beantwortet wurde. Mitunter werden die Inhalte dieser Fragestellungen auf sehr hohem Niveau diskutiert, nicht selten sogar von Fachleuten mit Insiderwissen. Diese Forenbeiträge zu identifizieren und zu indexieren, ist eine Herausforderung an professionelle Social-Media-Monitoring-Unternehmen. Diese Inhalte auch inhaltlich auszuwerten, um die Fragestellungen seitens der beauftragenden Unternehmen aufschlussreich zu beantworten, ist eine weitere.
Um diese Masse an Beiträgen nach Tonalität und Inhalt auszuwerten, werden derzeit verschiedene automatisierte Verfahren angeboten. Diese sogenannten Tonalitäts- bzw. Sentimentanalysen versprechen unter anderem, Unternehmen einen Einblick in die Webdiskussionen zu geben und die Reputation einzelner Produkte automatisch auszuwerten. Während bereits in der linguistischen Erschließung von deutscher Literatur mit einer Vielzahl an Herausforderungen wie beispielsweise der Synonymkontrolle, der Komposita-Zerlegung oder der Stoppwort-Eliminierung zu rechnen ist, stellt die Erschließung und Auswertung von Social-Media-Beiträgen die Wissenschaft vor noch größere Hürden. Denn die Sprache im Social Web folgt eigenen Regeln. Besonders in Foren werden unzählige Abkürzungen und eigene Wortkreationen genutzt, Rechtschreibung und grammatikalische Regeln werden sehr oft nicht beachtet, Emoticons tragen zur Sinngestaltung bei. Zudem ergibt sich ein Problem bei der Zuordnung von Beiträgen in Foren.
Dazu ein Beispiel: Person Anton stellt in einem Forum eine Frage zum Kundenservice bei der Victoria Versicherung und eröffnet somit einen Thread. Person Berta antwortet, dass die von dem „Verein“ doch „super schlecht“ seien und Person Cäsar sagt aus, dass seine Tochter Victoria bei der Allianz versichert und er mit dem Support dort zufrieden sei. Person Dora schaltet sich auch noch in die Diskussion ein und schreibt, dass die Hotline-Mitarbeiter immer eine gute Antwort hätten, die Lösung jedoch auf einem anderen Blatt geschrieben stehe.
Die Probleme, die sich bei der Auswertung ergeben, liegen auf der Hand. Wird jeder einzelne Beitrag zum Thema Victoria Versicherung untersucht, kann lediglich der erste Beitrag von Person Anton dieser Fragestellung einwandfrei zugeordnet werden. Um die weiteren Beiträge zuordnen zu können, müssen die Ergebnisse nach der Indexierung zuerst strukturiert und in Verbindung mit der Ausgangsfragestellung gestellt bzw. die Postings müssen den Threads zugeordnet werden. Doch bereits hier scheitert eine Vielzahl der automatischen Lösungen.
Ist die Zuordnung innerhalb einer Datenbank tatsächlich erfolgt, entstehen weitere Probleme, denn die Person Berta nennt die Victoria nicht mehr namentlich, sondern bezeichnet sie als „Verein“. Somit muss für das Auswertungstool ein Zusammenhang von „Verein“ zur Victoria Versicherung hergestellt werden. Zudem muss das System erkennen können, dass die Aussage „super schlecht“ als Phrase eine negative Gewichtung erfährt. Person Cäsar erwähnt zwar den Begriff Victoria, meint damit jedoch den Namen seiner Tochter. Jedoch ist er mit den Leistungen der Allianz zufrieden und kommt auf den ursprünglichen Versicherer nicht zu sprechen. Hier greifen die Herausforderungen der Synonym-Erkennung und Themenzuordnung. Zusätzlich steht das System vor der Herausforderung, den Begriff „Support“ dem Thema Kundenservice zuzuordnen, um ein aussagekräftiges Ergebnis zu bekommen. Person Dora hingegen postet aus maschineller Sicht eine positive Antwort, die von Menschen jedoch als ironisch erkannt wird.
Zudem wird in diesem Beispiel von einem fehlerfreien Schreibstil nach den Regeln der deutschen Rechtschreibung ausgegangen, so dass die Fehlerkorrektur in der Beschreibung der Problemstellung gar nicht erst auftaucht. Viele automatisierte Texterkennungsverfahren kombinieren unterschiedliche Methoden mit dem Versuch, die Ergebnisse zu optimieren. So werden unter anderem Stoppworteliminierung, Stemmingverfahren, Worthäufigkeiten bzw. Density und Wörterbuchabgleich hintereinander geschaltet, um die Daten besser zu filtern. Jedoch ergibt sich aus einer Vielzahl an Verfahren in Kombination mit einer hohen Anzahl an Beiträgen ein nicht zu unterschätzendes Performance-Problem. Der Abgleich an Wörterbüchern, die zusätzlich Phrasen beinhalten, braucht, je nach Menge der Beiträge, eine am Ergebnis gemessen unverhältnismäßig große Menge an zeitlichen und technischen Ressourcen.
Ein weiteres Beispiel, eine Wortmeldung von „bikiniland2″: „ach du scheisse is de geil *_* !!!ich bin so dumm !!! meine mutter wollte mir ein ipad kaufen aber ich hab ja unbedingt ein laptop haben müssen -.-.-..- MAAAAAHN!“
Was hier wie eine unqualifizierte Äußerung aussieht, die inhaltlich nicht viel zu bieten hat, ist innerhalb eines Forums ein klares Votum für das iPad und müsste in einem Stimmungsbarometer positiv dargestellt werden. Ein klarer Bezug zum iPad ist maschinell erkennbar, jedoch sind die zwei Terme „scheisse“ und „dumm“ negativ besetzt. Der Ausdruck „geil“ beinhaltet wiederum eine Vielzahl von Interpretationsmöglichkeiten. Das System steht also vor dem Problem zu entscheiden, ob ein Beitrag negativ oder positiv ist. Zudem muss vorab festgelegt sein, wann ein Beitrag positiv oder negativ einzuordnen ist.
Aktuell gehen die glaubwürdigsten Schätzungen im Rahmen der Ergebnisgenauigkeit von 60 Prozent aus. Innerhalb dieser Schätzungen ist nicht klar, welche Datengrundlage vorliegt, wie vollständig die Analyse ist und ob überhaupt die deutsche Sprache damit gemeint ist. Des Weiteren sind die Testverfahren zumeist nicht bekannt. Ein seriöser Anbieter muss daher Auskunft über seine Vorgehensweise und über den Umgang mit den oben geschilderten Fragestellungen Antworten geben können.
Um sich für eine automatische Auswertung von Social-Media-Inhalten zu entscheiden, sollte die Methode vorab mit dem angestrebten Ziel verglichen werden. Selbst zur Trendbestimmung sind viele Verfahren unzureichend. Einige Verfahren zeigen zum Beispiel Begriffe sortiert nach Häufigkeit an, die rund um den Namen des Unternehmens genannt werden. Doch hier muss die Frage gestellt werden, welchen Mehrwert diese Information tatsächlich bietet.
Nimmt man einmal an, dass zum Unternehmen „Dresdner Bank“ häufig der Begriff „Bankenkrise“ fällt. Da dieser Begriff im Umfeld anderer Banken auch häufig zu finden ist, ist zunächst nicht festzustellen, welchen Bezug „Bankenkrise“ nun zu „Dresdner Bank“ hat. Ist die Dresdner Bank von der Bankenkrise betroffen oder hat sie die Bankenkrise ausgelöst? Diese und weitere Fragen lassen sich erst nach einem manuellen Research in den Ergebnissen beantworten. Nicht selten stellt sich dabei heraus, dass das als Trend genannte Thema keinen Impact oder Mehrwert für das eigene Unternehmen besitzt.
Der Qualitätsaspekt ist somit die zentrale Fragestellung bei der Entscheidung, Social Media nur mit automatisierten Verfahren auszuwerten. Um diese Fragestellungen und Probleme zu lösen, setzen einige Anbieter auf eine hybride Methode. Zusätzlich zur automatischen Auswertung werden die Ergebnisse um intellektuelle Auswertungen ergänzt. Somit werden die erhobenen Daten transparent und können als Grundlage für eine Handlungsempfehlung dienen oder ein Stimmungsbarometer darstellen. Dazu wird vorab die Masse der Beiträge durch Relevanzverfahren reduziert. Diese legen die unternehmensrelevanten Quellen fest. Schließlich werden die automatischen Verfahren von ausgebildeten Researchern aufgesetzt, unterstützt und bewertet.
Aktuell forschen u. a. die Technische Hochschule Köln und die Universität Düsseldorf an Lösungen für ein hochwertigeres Ergebnis automatischer Analysen in der deutschen Sprache in Verbindung mit menschlicher Unterstützung. Es empfiehlt sich daher, bei der Auswahl eines solchen Tools, Anbieter mit den oben genannten Fragestellungen zu konfrontieren. Für ein qualitativ hochwertiges Ergebnis in der deutschen Sprache ist es weiterhin notwendig, menschliche Ressourcen einzusetzen, um qualitativ hochwertige Ergebnisse zu erhalten.
