BERT

Geschrieben von Ralf Dodler am 16.05.2025.

« Zurück zum Glossar Index

Was ist BERT?

BERT ist ein Open-Source-Framework für maschinelles Lernen zur Verarbeitung natürlicher Sprache (Natural Language Processing, NLP).

Es wurde 2018 von Google-Forschern entwickelt und steht für „Bidirectional Encoder Representations from Transformers“.

BERT ist darauf spezialisiert, die Bedeutung mehrdeutiger Sprache in Texten zu verstehen, indem es den umgebenden Text verwendet, um Kontext herzustellen.

Wie funktioniert BERT?

BERT arbeitet bidirektional und analysiert Wörter in einem Satz sowohl von links nach rechts als auch von rechts nach links.

Diese bidirektionale Verarbeitung ermöglicht ein tieferes Verständnis des sprachlichen Kontexts. Das Modell basiert auf der Transformer-Architektur, die 2017 im Paper „Attention is All You Need“ vorgestellt wurde.

Ein Schlüsselelement von BERT ist die maskierte Sprachmodellierung (MLM). Dabei werden 15% der tokenisierten Wörter während des Trainings maskiert, und das Modell muss diese versteckten Wörter vorhersagen.

Diese Technik zwingt das Modell dazu, den Kontext in beide Richtungen zu analysieren.

Wann wurde BERT veröffentlicht?

BERT wurde am 31. Oktober 2018 von Google AI veröffentlicht. Es wurde ursprünglich in zwei Modellgrößen implementiert: BERT BASE mit 110 Millionen Parametern und BERT LARGE mit 340 Millionen Parametern.

Beide wurden mit dem Toronto BookCorpus (800 Millionen Wörter) und der englischen Wikipedia (2,5 Milliarden Wörter) trainiert.

Wofür wird BERT verwendet?

BERT findet Anwendung bei zahlreichen NLP-Aufgaben:

Frage-Antwort-Systeme: BERT war einer der ersten Chatbots mit Transformator-Architektur
Stimmungsanalyse: Erkennung positiver oder negativer Stimmungen in Texten
Textgenerierung: Erstellung langer Texte mit einfachen Eingabeaufforderungen
Textzusammenfassung: Komprimierung komplexer Texte aus Bereichen wie Recht und Gesundheit
Sprachübersetzung: Übersetzung zwischen verschiedenen Sprachen
Automatische Textvervollständigung: Einsatz in E-Mails oder Nachrichtendiensten
Textklassifikation: Automatische Kategorisierung von Texten, z.B. zur Spam-Filterung

Welche Bedeutung hat BERT für die KI-Entwicklung?

BERT gilt als Meilenstein in der Entwicklung von Sprachmodellen. Es hat den Weg für die generative KI-Revolution geebnet und war ein wichtiger Vorläufer moderner großer Sprachmodelle (LLMs) wie ChatGPT und Google Bard.

BERT verbesserte den Stand der Technik bei Sprachmodellen dramatisch und ist bis heute eine allgegenwärtige Grundlage für NLP-Experimente.

Nach der Veröffentlichung von BERT entstand ein ganzes Forschungsgebiet namens „BERTology“, das versucht zu interpretieren, was BERT tatsächlich lernt.

Tausende vortrainierte Open-Source-BERT-Modelle sind für spezifische Anwendungsfälle verfügbar.

Wie unterscheidet sich BERT von früheren Modellen?

BERT unterscheidet sich von früheren Modellen durch seine bidirektionale Verarbeitung.

Während ältere Modelle Texte sequenziell von links nach rechts analysierten, betrachtet BERT alle Wörter einer Eingabesequenz gleichzeitig und analysiert sie sowohl vom Anfang als auch vom Ende her. Dies ermöglicht ein besseres Verständnis für kontextuelle Beziehungen.

Die Transformer-Architektur von BERT nutzt Selbstaufmerksamkeitsmechanismen und verzichtet auf rekurrente Strukturen, was eine effizientere Verarbeitung ermöglicht.

Im Gegensatz zu früheren rekurrenten Sprachmodellen wie LSTM oder Seq2Seq kann BERT komplexe semantische Zusammenhänge erfassen und Beziehungen zwischen allen Wörtern eines Satzes bestimmen.

Häufige Fragen (FAQ)

Was bedeutet die Abkürzung BERT?

BERT steht für „Bidirectional Encoder Representations from Transformers“, was die bidirektionale Verarbeitung und die Verwendung der Transformer-Architektur beschreibt.

Wie hat Google BERT in seine Produkte integriert?

Google hat BERT 2019 zunächst in die englischsprachige Google-Suche implementiert, später folgten weitere Sprachen, um den Kontext von Suchanfragen besser zu erfassen.

Ist BERT Open Source?

Ja, BERT wurde als Open-Source-Modell veröffentlicht und steht unter der Apache 2.0-Lizenz zur Verfügung.

Welche Ressourcen benötigt das Training von BERT?

Das Training von BERT ist rechenintensiv und erfordert leistungsstarke Hardware wie Tensor Processing Units (TPUs).

Kann BERT die menschliche Sprachverarbeitung übertreffen?

BERT übertrifft bei einigen NLP-Aufgaben bereits die menschliche Leistung, was einen bedeutenden Fortschritt im Bereich des maschinellen Lernens darstellt.