llama-cpp-d ~master (2026-03-20T18:06:26.5280947)
Dub
Repo
tokenAttr
llama
vocab
Token attribute flags (control, normal, byte, etc.).
@
trusted
@
nogc
nothrow
llama_token_attr
tokenAttr
(
const
(
llama_vocab
)*
vocab
,
llama_token
token
)
Meta
Source
See Implementation
llama
vocab
functions
bosToken
detokenize
eosToken
eotToken
fimMidToken
fimPadToken
fimPreToken
fimRepToken
fimSepToken
fimSufToken
isControl
isEog
nlToken
padToken
sepToken
tokenAttr
tokenScore
tokenText
tokenToString
tokenize
vocabType
Token attribute flags (control, normal, byte, etc.).