大模型
企业级大模型私有化部署(四):Xinference 部署 Embedding 与 Rerank
装 Xinference、部署 bge-large-zh-v1.5 和 reranker,再通过 6007 隧道接进 Dify,补 xoscar 兼容问题。
大模型
企业级大模型私有化部署(三):AutoDL + Ollama 部署 qwen3:4b
租 4090、开学术加速、装 Ollama、跑 qwen3:4b,再用 SSH 隧道把模型接进 Dify。
大模型
企业级大模型私有化部署(二):腾讯云 + Docker 起 Dify
从腾讯云 CVM 选型、装 Docker、拉 Dify 源码到首次设置管理员,附镜像、端口和常见报错。
大模型
企业级大模型私有化部署(一):RAG、Agent 与三台服务器
企业为什么要私有化、RAG 和 Agent 两个场景怎么落到模型服务,以及 Dify、Ollama、Xinference 三台服务器怎么分工。
大模型
Dify 本地化部署指南(全平台):Docker Compose 一键拉起
Dify 是目前用得比较多的开源 LLM 应用开发平台,但官方文档主要讲「怎么用」,部署这一步散在各处。这篇把全平台的本地化部署过程整理成一条线:环境检查 → 依赖安装(Windows / Linux / macOS)→ 启动 Dify → 验证 → 配置模型供应商 → 日常维护
大模型
Windows 原生部署 Qdrant 完整教程(无 Docker 环境)
Qdrant 官方文档主推 Docker 部署,但如果你的机器上既没装 Docker 也没启用 WSL,怎么办?答案是跑官方提供的 Windows 原生二进制——解压即用,不依赖任何额外运行时。 这篇把整个过程从头写一遍:下载、目录规划、配置、开机自启、自己构
大模型
4GB 显存跑通本地大模型:Ollama + Qdrant 环境搭建完整教程
如果你想在一台没有独立显卡(或者只有一张老显卡)的机器上,跑通一套**完全离线**的「文档问答」环境——本地把文字转成向量、本地存起来、本地检索、本地生成回答,不调用任何在线大模型服务——这篇文章把整个过程从头到尾写了一遍。 实测机器:i5-10400F +