Проблема с токенизатором.
#2
by
inkor
- opened
В tokenizer.json и tokenizer_config.json токены размышления обозначены как специальные,
"146237": {
"content": "",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false,
"special": true
},
"146238": {
"content": "",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false,
"special": true
},
тогда как в оригинальном квене они такими не являются. Это вызывает проблемы в reasoning парсере в vllm. Проблема легко исправляется ручной правкой конфигов, но наверное замечание сделать стоит.
Спасибо, поправим