2024年12月23日
本次推荐的涩涩模型是32b的Qwentile2.5-32B-Instruct
模型部署教程见其余动态
------------------------------------
模型特色:
速度快
q4km量化需要越约18-20g
gguf可以利用内存
8g+16g预计速度为 2-3.5token/s(较慢)
16g显存速度为8-11token/s (较快)
(人眼阅读速度: 5 token/s)
------------------------------------
道德
实际道德水平较低, 常规的涩涩不在话下, 甚至是18+g
不过拒绝: 儿童的身亡等极端情况
状态栏等固定格式文字:
能写出较长的状态栏但做不到要求格式保持一致的状态栏
------------------------------------
推理能力
一般, 毕竟仅仅是32b模型
------------------------------------
实际表现:
底下的状态栏实际是和格式要求有所区别, 导致转换成html图片失败
罕见!
提示:
该模型非常非常需要提示词
如果没有足够多的涩涩设定和涩涩初始剧情
那么模型会优先正能量, 毕竟是基于阿里巴巴的qwen模型
------------------------------------
参数设定推荐:
