tokenizacija

postopek avtomatske obdelave besedil v naravnem jeziku, ki vhodno besedilo razdeli na osnovne enote, npr. besede ali besedne zveze in ločila
en tokenization

umétnostni

uredíti

1. en to arrange
2. to organize, to sort out to settle, to sort out
3. to regulate
4. to arrange to arrange, to organize
5. to tidy up, to put* in order to smarten up, to fix up to fix
6. to edit
1. to work out
2. to dress up

vkljúčiti

1. en to include, to incorporate
2. to turn on, to switch on to plug in
1.
2. to go* on, to come* on

vnòs

1. en entry
2. entering, entry intake
3. import

write

sl pisati, napisati, izpisati

začudenost

mera uspešnosti jezikovnega modela, ki temelji na verjetnosti, da bi model generiral dano besedilo
en perplexity

zgostíti

1. en to thicken
2. to condense

zgoščèn

1. en thick, thickened heavy, stuffy congested, heavy densely populated
2. concentrated
3. concise dense

brálnik besedíla

program, ki pretvarja zapisano besedilo v zvočno ali drugo obliko, npr. v Braillovo pisavo
en text reader