podbesedna tokenizacija
DEFINICIJA:
tokenizacija, ki besede razcepi na manjše enote, npr. glede na morfološke značilnosti ali po statističnih zakonitostih


ANGLEŠČINA
TERMIN:
subword tokenization



Vir: Terminološki slovar s področja umetne inteligence - Skupina avtorjev

Komentiraj slovarski sestavek