（图源：雷科技）
对于没有Intel显卡的用户，可以使用CLblast，这是OPENCL推出的、可用于生产环境的开源计算库，其最大的特征是更强调通用性，至于性能方面本人并没有做过详细测试。
另一个需要在主页调节的部分是Context Size。
想要获得更好的上下文体验，最好将其调整至4096，当然Size越大，能记住的上下文就越多，但是推理的速度也会受到显著影响。
（图源：雷科技）
再往下，就是载入大模型的部分。
目前开源大模型主要都在huggingface.co下载，没有出海能力的话，也可以在国内HF-Mirror镜像站或是modelscope魔搭社区下载。
结合个人实际体验，我推荐两款不错的本地大模型：
CausalLM-7B
这是一款在LLaMA2的基础上，基于Qwen 的模型权重训练的本地大模型，其最大的特征就是原生支持中文，显卡内存8G以下的用户建议下载CausalLM-7B，8G以上的可以下载CausalLM-14B，效果更好。
（图源：modelscope）
MythoMax-L2-13B
原生语言为英语的大模型，特征是拥有较强的文学性，可以在要求下撰写出流畅且具有阅读性的小说文本，缺点是只能通过输入英语来获得理想的输出内容，建议普通消费者使用MythoMax-L2-13B。
如果只是想使用大语言模型的话，其他部分不需要做调整，直接点击启动，你选择的模型就可以在本地加载好了。
一般来说，接下来你还得给大模型部署前端才能使用。
不过Koboldcpp最大的特点，就是在llama.cpp的基础上，添加了一个多功能的Kobold API端口。
这个端口，不仅提供了额外的格式支持、稳定的扩散图像生成、不错的向后兼容性，甚至还有一个具有持久故事、编辑工具、保存格式、内存、世界信息、作者注释、人物、场景自定义功能的简化前端——Kobold Lite。
大致上，界面就像这样。
（图源：雷科技）
功能也很简单。
人工智能、新会话就不用说了，点击上方的「场景」，就可以快速启动一个新的对话场景，或是加载对应角色卡。
