公开概念 · ec02219e-ffbb-46f8-ab5f-7749b09f2b15
词元化
德语
de
Tokenisierung首选
英语
en
tokenisation认可
tokenization首选
“breaking a stream of text up into chunks for analysis or further processing”
日语
ja
トークン化首选
中文（中国）
zh-CN
词元化首选
de
en
“breaking a stream of text up into chunks for analysis or further processing”
ja
zh-CN