Transcriberen hoef je niet te leren met Whisper!

Het eerste wat opvalt is dat het model heeft herkend welke taal er wordt gesproken. Het is op voorhand niet nodig om aan te geven welke taal er wordt gesproken in het audio- of videofragment. Verder is het indrukwekkend dat de ondertiteling vrij accuraat is. De verschillen met de originele ondertiteling zijn minimaal. Door de goede geluidskwaliteit worden er slechts enkele woorden zoals “warp” (worp) niet goed herkend. Toch zijn er ook dingen die het model niet (goed) kan, zoals het herkennen van de exacte tijden dat een woord i.p.v. een regel wordt uitgesproken of het herkennen van de sprekers in het fragment.

Om dit te doen zullen we zelf het model moeten verrijken! Hiervoor kunnen we gebruikmaken van andere modellen die getraind zijn voor deze specifieke taken. Whisper is niet in staat om accuraat de exacte tijden dat een woord wordt uitgesproken te herkennen. Hiervoor moeten we gebruikmaken van een ander model dat hier speciaal voor getraind is. Deze resultaten kunnen we samenbrengen met die van het Whisper model.

Zodoende hebben we een nauwkeurige ondertiteling van het Whisper model en is deze verrijkt met de exacte tijden dat de woorden worden uitgesproken.

Daarnaast zou het handig zijn om te herkennen wie er aan het woord is. Het onderscheiden van de sprekers wordt ook wel “diarization” genoemd. Whisper is hier niet geschikt voor omdat deze juist getraind is om verschillen tussen sprekers te negeren. Om dit wel te doen kunnen we wederom gebruik maken van een ander model dat hier speciaal voor getraind is. Vervolgens combineren we wederom de resultaten van dit model en het Whisper model zodat we de sprekers kunnen onderscheiden.

De bovenstaande resultaten zijn hieronder te zien in de verrijkte ondertiteling. Sprekers worden aangeduid met een kleur terwijl het gesproken woord dikgedrukt is.

Hoe kan ik het gebruiken?

De verrijkte ondertiteling geeft veel meer informatie prijs! De sprekers worden in de meeste gevallen goed onderscheiden en de tekst loopt ook goed mee. Natuurlijk is dit slechts een voorbeeld waarmee we de mogelijkheden en beperkingen van het Whisper model willen demonstreren. Toch is het ook leuk om na te denken over de daadwerkelijke toepassingen van dit model;

• Zo zou je video meetings kunnen opnemen en deze automatisch kunnen notuleren en vervolgens kunnen laten samenvatten door ChatGPT! Zo heb je binnen een handomdraai een samenvatting van de meeting die je net hebt gehad!

• Ook zou je marketing video's automatisch kunnen laten transcriberen. De geluidskwaliteit van deze video’s is vaak uitstekend waardoor Whisper in staat is om vrijwel perfecte ondertitelingen op te leveren!

Waarvoor zou jij Whisper willen gebruiken?

Door Remco Loof | 16 mei 2023