tokenizer

compiler theory derslerinde ve interpreter theory derslerinde görünür.

bir tokenizer

identifier, keyword, integer literal, real literal, character literal, string literal ve operator ya da punctuator literallerinden oluşmalıdır.

tabi bu keyword literaller de alt kategoride bool, null değerler içerirler. onların da alt değerleri olur.

örnek bir verbatim identifier'a bakılarak da bu identifier çok karmaşık denilebilir.