在Docker中使用官方cuda容器

当同一台电脑需要多个版本的cuda环境,并且需要使用docker时,可以考虑使用NVIDIA Container 运行时和NVIDIA在docker上发布的官方cuda容器,减少环境的配置成本。NVIDIA Container 运行时库安装nvidia-container-runtime 和 nvidia-docker 均已停止维护,相关功能完全由 libnvidia-container 替代。具

- 阅读全文 -

RAGFlow安装和使用体验

RAGFlow是一个基于深度文档理解的开源 RAG(检索增强生成)引擎。当与大型语言模型(LLMs)结合时,它能够提供可靠的问答能力,并且可以引用各种复杂格式数据中的内容作为依据。现目前也算是主流的开源知识库管理应用之一,安装过程中需要一堆依赖,好在有docker让步骤变得容易。1.硬件需求这个安装必须使用docker了,手动部署安装过于折磨。官方提供了详细的安装教程,Quick start |

- 阅读全文 -

Dify安装和使用体验

本次捣鼓的是Dify。也是一个完整的知识库解决方案。本文档更新时,最新版本为0.15.3。Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps 的理念,使开发者可以快速搭建生产级的生成式 AI 应用。官方提供了完善的部署教程,依旧是推荐使用docker进行部署。Docker Compose 部署 | Dify1.拉取G

- 阅读全文 -

MaxKB安装和使用体验

MaxKB是和1panel一个团队开发的,想起来了以前使用cpanel、da、WDCP、AppNode啥的面板时候了,一转眼又已经过去好多年了。现在时代发展了,来做知识库面板好像也不是不行,算是很对口了。MaxKB也提供了很完善的安装文档,我在此处选择的是离线安装,步骤可以参考官方文档:离线安装 - MaxKB 文档写本文时,最新的版本是1.10.1-LTS 版:下载后是-offline.tar.

- 阅读全文 -

OpenWebUI部署和使用体验

本次捣鼓的是Open WebUI,开源的AI托管平台,带有知识库应用。Open WebUI是一个可扩展、功能丰富且用户友好的自托管 AI 平台,设计为完全离线运行。它支持多种大型语言模型(LLM)运行器,如 Ollama 和与 OpenAI 兼容的 API,并内置了 RAG 推理引擎,使其成为强大的 AI 部署解决方案。官方提供了很详细的安装方法: 快速上手 | Open WebUI比较常规的安装

- 阅读全文 -

捣鼓PP-HumanSeg的使用

最近捣鼓了PaddleSeg中的PP-HumanSeg项目,人像分割。这个项目发布时间较早,根据描述,已经广泛应用在了百度视频会议中,并支持多端,多种网络架构。我使用的环境是Python 3.12.3,PaddleSeg 2.10。安装项目根目录里面提供了pip install -r requirements.txt,直接安装即可。paddleseg需要安装源码目录的版本,别使用pip直接安装。(

- 阅读全文 -

LLaMA-Factory对模型进行微调

LLaMA-Factory提供了简单易用的WebUI对模型进行微调,是一个非常好用的微调平台。LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调官方提供了详细的教程:安装 - LLaMA Factory。# 拉取源 git clo

- 阅读全文 -

捣鼓两块Siynkike信克3T-SAS硬盘

从海鲜市场买了两块3T的SAS盘,硬盘本身是日立的HUS72303CLAR3000和HUS724030ALS640,都是3.5寸,7200转的硬盘,橙色倒是还凑合,有个9新,原来的旧标已经撕下来了,SMART信息不知道被清理了多少次了,满扫倒是还能保持全绿。最扯的是,我买的时候,两块一起买的,标也是差不多的,盘芯正好赶上了日立(HITACHI)改名为昱科(HGST)的时候,两块硬盘虽然关键参数上差

- 阅读全文 -

最新文章

分类

标签

归档

其它