Seit ihrer ursprünglichen Entwicklung in der wegweisenden KI-Forschungsarbeit Attention Is All You Need, haben transformerbasierte Architekturen das Feld der Verarbeitung natürlicher Sprache (NLP) vollständig neu definiert und den Stand der Technik für zahlreiche KI-Benchmarks und -Aufgaben gesetzt.
Was sind Transformer-Modelle? Sie sind fortschrittliche Modelle der künstlichen Intelligenz , die von einer „Ausbildung“ profitiert haben, wie sie sich manche Dutzend Menschen in ihrem ganzen Leben aneignen könnten.
Transformer-Architekturen werden typischerweise halbüberwacht mit einer gewaltigen Textmenge trainiert – etwa der englischen Wikipedia, Tausenden von Büchern oder sogar dem gesamten Internet. Durch die Verarbeitung dieser riesigen Textkorpora werden transformerbasierte Architekturen zu leistungsstarken Sprachmodellen (LM), die in der Lage sind, auf Grundlage von Textanalysen präzise zu verstehen und Predictive Analytics durchzuführen.
Im Wesentlichen ermöglicht dieses umfassende Trainingsniveau es Transformer-Modellen, die menschliche Texterfassung – das Lesen – auf bemerkenswert hohem Niveau nachzubilden. Das bedeutet nicht nur einfaches Verstehen, sondern (im besten Fall) auch das Herstellen übergeordneter Zusammenhänge im Text.
Kürzlich wurde gezeigt, dass sich diese beeindruckenden Lernmodelle auch schnell für anspruchsvollere Aufgaben wie Sentiment-Analyse, die Erkennung doppelter Fragen und andere textbasierte kognitive Aufgaben feinabstimmen lassen. Durch zusätzliches Modelltraining mit einem separaten Datensatz beziehungsweise einer separaten Aufgabe im Verhältnis zu dem, wofür das Modell ursprünglich trainiert wurde, lassen sich die Parameter des Netzwerks für die neue Aufgabe geringfügig anpassen.
In den meisten Fällen führt dies zu einer besseren Leistung und einem schnelleren Training, als wenn dasselbe Modell mit demselben Datensatz und derselben Aufgabe von Grund auf trainiert worden wäre.
Siehe auch: Top 10 Text Analysis Solutions
Vorteile von Transformer-Modellen
1) Hervorragend bei sequenziellen Daten
Transformer-Modelle eignen sich hervorragend für die Herausforderungen im Umgang mit sequenziellen Daten. Deshalb fungieren sie als Encoder-Decoder-Framework, in dem der Encoder Daten auf einen Repräsentationsraum abbildet. Anschließend werden sie mithilfe des Decoders auf die Ausgabe abgebildet. Dadurch lassen sie sich gut auf Hardware für die parallele Verarbeitung wie GPUs skalieren – Prozessoren mit enormer Rechenleistung, die KI-Software voranbringen.
2) Vortrainierte Transformer
Vortrainierte Transformer können entwickelt werden, um verwandte Aufgaben schnell auszuführen. Der Grund dafür ist, dass Transformer bereits über ein tiefes Sprachverständnis verfügen, sodass sich das Training auf das Erreichen des jeweiligen Ziels konzentrieren kann. Dazu gehören beispielsweise die Erkennung benannter Entitäten, die Sprachgenerierung oder die Fokussierung auf Konzepte. Durch ihr Vortraining sind sie besonders vielseitig und leistungsfähig.
3) Funktionen direkt einsatzbereit nutzen
Durch die Feinabstimmung vortrainierter Transformer lässt sich ohne enorme Investitionen sofort eine hohe Leistung erzielen. Im Vergleich dazu würde ein Training von Grund auf länger dauern und ein Vielfaches an Rechenleistung und Energie verbrauchen, nur um dieselben Leistungswerte zu erreichen.
4) Optimierung der Sentiment-Analyse
Transformer-Modelle ermöglichen es, ein groß angelegtes LM (Sprachmodell), das mit einer gewaltigen Textmenge trainiert wurde (den vollständigen Werken Shakespeares), für eine bestimmte konzeptionelle Aufgabe zu aktualisieren, die weit über das bloße „Lesen“ hinausgeht – etwa für die Sentiment-Analyse oder sogar Predictive Analytics.
Dies führt tendenziell zu einer deutlich besseren Leistung, weil das vortrainierte Modell Sprache bereits sehr gut versteht und daher nur noch die spezifische Aufgabe erlernen muss, anstatt Sprache und Aufgabe gleichzeitig erlernen zu müssen.
Ausblick: Das Feld der NLP neu definieren
Seit ihrem frühen Aufkommen sind Transformer zum De-facto-Standard für Aufgaben wie die Beantwortung von Fragen, die Sprachgenerierung und die Generierung benannter Entitäten geworden. Auch wenn sich die Zukunft der KI nur schwer vorhersagen lässt, ist die Annahme plausibel, dass Transformer-Modelle als aufkommende Technologie der nächsten Generation weiterhin große Aufmerksamkeit verdienen.
Am bedeutendsten ist wohl ihre Fähigkeit, Machine-Learning-Modelle nicht nur die Feinheiten und das Verständnis des menschlichen Lesens nachbilden zu lassen, sondern die menschliche Kognition auf vielen Ebenen deutlich zu übertreffen – weit über bloße Verbesserungen bei Umfang und Geschwindigkeit hinaus.
Über den Autor:
Dylan Fox ist CEO von AssemblyAI