tokenizacija
DEFINICIJA:
postopek avtomatske obdelave besedil v naravnem jeziku, ki vhodno besedilo razdeli na osnovne enote, npr. besede ali besedne zveze in ločila


ANGLEŠČINA
TERMIN:
tokenization



Vir: Terminološki slovar s področja umetne inteligence - Skupina avtorjev

Komentiraj slovarski sestavek