셀프 호스팅 AI 검색은 더 이상 ‘Docker에서 Perplexity 클론을 실행하는 것’에 그치지 않습니다. 2026년에는 웹 답변 엔진, 비공개 문서 검색, 심층 리서치 에이전트, 엔터프라이즈 지식 검색, 로컬 검색 백엔드까지 아우르는 분야가 되었습니다.
적합한 선택은 검색어, 모델, 파일, 임베딩, 검색 인덱스 또는 전체 검색 결과 파이프라인 중 실제로 무엇을 직접 관리하고 싶은지에 따라 달라집니다. 이 10가지 도구를 활용하면 주요 방식으로 스택을 직접 구축할 수 있습니다.
‘셀프 호스팅 AI 검색’이란 실제로 무엇을 의미할까요?
셀프 호스팅 AI 검색 도구는 여러 가지를 의미할 수 있습니다.
| 검색 유형 | 검색 대상 | 일반적인 아키텍처 |
|---|---|---|
| 웹 답변 엔진 | 실시간 웹 | 검색 백엔드 + LLM + 인용 |
| 비공개 지식 검색 | 문서, 노트, 드라이브, 앱 | 수집 + 임베딩 + 검색 결과 검색 + LLM |
| 심층 조사 에이전트 | 시간을 두고 여러 차례 웹 검색 | 검색 → 검토 → 다시 검색 → 종합 |
| 검색 백엔드 | 여러 일반 검색 엔진 | AI 계층에 연결되는 메타 검색 API |
웹 인터페이스를 자체 서버에서 실행한다고 해서 전체 검색 워크플로가 자동으로 비공개가 되는 것은 아니므로 이 구분이 중요합니다.
프런트엔드는 셀프 호스팅하면서도 검색어를 상용 LLM과 호스팅 검색 API로 전송할 수 있습니다:
브라우저
|
셀프 호스팅 검색 UI
|
+--- 클라우드 LLM
|
+--- 호스팅 검색 API
또는 거의 전체 스택을 자체 인프라에 구축할 수 있습니다:
브라우저
|
셀프 호스팅 AI 검색
|
+--- SearXNG
+--- Ollama
+--- 로컬 임베딩
+--- 로컬 검색 인덱스
+--- 비공개 파일
두 번째 아키텍처가 셀프 호스팅 AI 검색이 특히 로컬 지식 베이스와 관련성을 갖는 지점입니다. 검색은 더 이상 인터넷에서 페이지를 찾는 데 그치지 않고, 문서, 리서치 아카이브, 프로젝트 파일, 비공개 운영 데이터의 검색 계층이 될 수도 있습니다.
최고의 셀프 호스팅 AI 검색 도구를 평가한 방법
이 순위는 GitHub 스타 수 순위가 아니며, 각 도구가 모두 같은 검색 문제를 해결하는 것도 아닙니다.
순위는 스택을 얼마나 완전하게 셀프 호스팅할 수 있는지, 검색 및 검색 결과 검색 아키텍처의 품질, 로컬 모델 지원, 인용 및 출처 기반성, 비공개 데이터 검색, 배포 난이도, 2026년 현재 프로젝트의 유효성 등 실용적인 요소 7가지를 기준으로 합니다.
또한 ‘셀프 호스팅’과 ‘완전 로컬’을 구분합니다. 도구를 서버에 설치하더라도 OpenAI, Anthropic, Tavily, Brave, Exa 또는 다른 외부 제공업체를 호출할 수 있습니다. 유용할 수는 있지만, Ollama + 로컬 임베딩 + 셀프 호스팅 검색 백엔드를 사용하는 경우와는 개인정보 보호 모델이 다릅니다.
한눈에 보는 최고의 셀프 호스팅 AI 검색 도구 10선
| 순위 | 도구 | 검색 유형 | 웹 검색 | 비공개 파일 | 로컬 LLM | 추천 대상 |
|---|---|---|---|---|---|---|
| 1 | Vane | 웹 답변 엔진 | 예 | 예 | Ollama | 셀프 호스팅 Perplexity 스타일 검색 |
| 2 | Morphic | 웹 답변 엔진 | 예 | 예 | Ollama | 생성형 검색 UI |
| 3 | Onyx | 엔터프라이즈 지식 검색 | 예 | 예 | Ollama, LiteLLM, vLLM | 팀 및 회사 검색 |
| 4 | Khoj | 개인 지식 + 웹 검색 | 예 | 예 | 로컬 / 호환 API | 개인용 세컨드 브레인 |
| 5 | SurfSense | 리서치 워크스페이스 | 예 | 예 | Ollama, LM Studio | 연결된 리서치 워크플로 |
| 6 | Open WebUI | AI 워크스페이스 + 검색 | 예 | 예 | Ollama | 기존 로컬 AI UI에 검색 기능 추가 |
| 7 | Local Deep Researcher | 심층 조사 에이전트 | 예 | 有限 | Ollama, LM Studio | 반복적인 로컬 조사 |
| 8 | RAGFlow | 문서 / RAG 검색 | 次要 | 예 | 셀프 호스팅 모델 옵션 | 복잡한 비공개 문서 검색 |
| 9 | AnythingLLM | 비공개 문서 검색 | 次要 | 예 | Ollama, LM Studio, LocalAI | 간편한 로컬 문서 질의응답 |
| 10 | SearXNG | 메타 검색 백엔드 | 예 | 否 | 不适用 | 로컬 AI용 비공개 검색 백엔드 |
1. Vane — 종합 1위 셀프 호스팅 AI 검색 엔진

Vane은 이전에 Perplexica로 알려졌으며, “Perplexity 대신 어떤 서비스를 셀프 호스팅할 수 있을까?”라는 질문에 가장 직접적인 답변 중 하나입니다.
검색 백엔드와 LLM 답변 계층을 결합해 인용 출처가 포함된 근거 기반 응답을 제공합니다. 현재 프로젝트는 Ollama를 통한 로컬 추론과 OpenAI, Anthropic Claude, Google Gemini, Groq를 비롯한 호스팅 제공업체를 지원합니다.
검색 계층은 SearXNG를 기반으로 하므로 Vane은 하나의 상용 검색 API에 의존하지 않아도 됩니다. 권장 Docker 이미지는 SearXNG를 애플리케이션과 함께 번들로 제공할 수도 있으며, 경량 배포에서는 네트워크 내 다른 위치에 있는 기존 SearXNG 인스턴스를 지정할 수 있습니다.
Vane은 검색 방식을 빠른 검색, 균형 검색, 심층 조사 모드로도 구분합니다. 모든 검색어를 동일하게 처리하는 대신 일반 웹 결과, 토론 및 학술 자료를 검색할 수 있습니다.
사용자 질문
|
v
Vane
|
+---+----+
| |
SearXNG Ollama
| |
웹 로컬 LLM
+---+----+
|
인용이 포함된 답변
이 때문에 Vane을 1위로 선정했습니다. 셀프 호스팅 사용자가 검색과 추론을 모두 제어할 수 있으면서도 전형적인 AI 검색 사용 사례에 잘 부합합니다.
적합한 사용자: 인용 출처와 Ollama 지원을 갖춘 비공개 셀프 호스팅 Perplexity 스타일의 답변 엔진을 원하는 사용자.
단점: 웹 검색에는 여전히 외부 인터넷 연결이 필요하며, 클라우드 LLM 제공업체를 사용하면 Vane 애플리케이션 자체를 로컬에서 실행하더라도 개인정보 보호 모델이 달라집니다.
2. Morphic — 생성형 UI에 가장 적합한 셀프 호스팅 AI 검색 엔진

Morphic은 겉으로 보면 Vane과 비슷합니다. 둘 다 웹 검색과 LLM 생성 답변, 인용 출처, Docker 배포, Ollama, SearXNG를 결합할 수 있습니다.
차이는 표현 방식과 상호작용에 있습니다.
Morphic은 자신을 생성형 UI를 갖춘 AI 기반 검색 엔진이라고 소개합니다. 모든 답변을 일반 마크다운으로 제한하는 대신, 이미지가 포함된 섹션, 그리드, 제목 및 기타 구조화된 결과 블록과 같은 다양한 구성 요소를 인터페이스에 표시할 수 있습니다.
현재 검색 계층은 SearXNG, Tavily, Brave, Exa를 지원합니다. 모델은 OpenAI, Anthropic, Google, Ollama, Vercel AI Gateway 또는 OpenAI 호환 제공업체 중에서 선택할 수 있습니다.
Docker 설정은 특히 편리합니다. Docker Compose로 Morphic, PostgreSQL, Redis, SearXNG를 한꺼번에 실행할 수 있습니다. 덕분에 각 서비스를 일일이 구성하지 않고 완전한 로컬 검색 애플리케이션을 원하는 사용자에게 가장 적합한 선택지 중 하나입니다.
추천 대상: 더욱 풍부한 생성형 인터페이스와 유연한 검색 공급자를 갖춘 세련된 Perplexity 스타일 검색 경험을 원하는 사용자.
단점: 완전한 경험에 PostgreSQL, Redis, 인증, 기록, 추가 애플리케이션 서비스가 포함되므로 스택이 최소 구성의 Vane 배포보다 더 무겁습니다.
3. Onyx — 팀 및 회사 지식에 최적화된 셀프 호스팅 AI 검색

Onyx는 Vane 및 Morphic과 다른 범주에 속합니다.
핵심 질문은 “웹에는 무엇이 나와 있을까?”가 아닙니다. 바로 이것입니다.
“우리 조직은 이미 무엇을 알고 있을까?”
Onyx는 하이브리드 검색, RAG, 심층 리서치, 에이전트, 웹 검색, 광범위한 커넥터 생태계를 결합합니다. 내부 애플리케이션과 저장소의 정보를 인덱싱하고 필요에 따라 실시간 웹도 검색할 수 있습니다.
이 프로젝트는 50개 이상의 인덱싱 커넥터를 지원하며 Slack, Google Drive, GitHub, Jira, Confluence 및 기타 팀 시스템과 연결할 수 있습니다. Community Edition은 채팅, RAG, 에이전트, 액션의 핵심 기능을 제공하며, 대규모 조직은 엔터프라이즈용 ID 관리 및 거버넌스 기능을 추가할 수 있습니다.
또한 모든 검색 결과를 하나의 호스팅 LLM을 통해 처리하도록 강제하지 않고, Ollama, LiteLLM, vLLM 같은 셀프 호스팅 모델 인프라도 지원합니다.
Slack -------\
Drive --------\
GitHub --------> Onyx ----> 검색 / RAG / 심층 리서치
Confluence ---/
웹 ----------/
이는 단순한 Perplexity 클론이라기보다 셀프 호스팅 Glean 스타일 검색 계층에 훨씬 가깝습니다.
추천 대상: 회사 문서, 앱, 저장소, 웹 전반을 아우르는 하나의 검색 및 답변 계층을 원하는 팀.
단점: 비공개 웹 검색만이 목적이라면 Onyx는 단일 사용자가 필요로 하는 것보다 플랫폼 규모가 훨씬 큽니다.
4. Khoj — 웹 및 비공개 파일 검색에 최적화된 개인용 AI 검색

Khoj는 Onyx가 조직을 대상으로 하는 분야에서 개인용 버전에 해당합니다.
비공개 문서, 웹 정보, 시맨틱 검색, 에이전트, 개인 지식을 결합해 셀프 호스팅할 수 있는 ‘세컨드 브레인’ 스타일 환경을 제공합니다.
검색 아키텍처는 단순한 벡터 검색보다 훨씬 정교합니다. Khoj 문서에 따르면 2단계 검색 흐름을 사용합니다. 바이인코더가 후보 문서를 검색하고, 더 느린 크로스인코더가 현재 쿼리에 맞게 문서 순위를 다시 매깁니다.
이 점이 중요한 이유는 우수한 AI 검색이 임베딩 생성에만 달려 있지 않기 때문입니다. 검색 품질은 충분한 후보를 찾고 LLM이 확인하기 전에 가장 관련성 높은 근거의 순위를 매기는 데 달려 있습니다.
Khoj는 로컬 검색 모델과 Ollama 호환 설정을 포함한 OpenAI 호환 엔드포인트를 사용할 수 있어, 개인용 비공개 지식 시스템에 적합합니다.
추천 대상: 셀프 호스팅 개인 AI 워크스페이스 하나에서 노트, 파일, 문서, 웹을 검색하고 싶은 사용자.
장단점: 조직 전체의 엔터프라이즈 색인화 및 권한 관리보다는 개인 지식과 어시스턴트 작업 흐름을 중심으로 설계되었습니다.
5. SurfSense — 자체 호스팅 AI 리서치 작업 공간으로 최적의 선택

SurfSense는 또 다른 검색창이라기보다 여러 소스를 연결하는 리서치 작업 공간으로 이해하는 편이 좋습니다.
이 자체 호스팅 플랫폼은 정보 소스를 연결하고 검색 가능한 지식을 구축하며 리서치, 메모, 자동화, 에이전트를 중심으로 한 작업 흐름을 지원할 수 있습니다. 현재 문서에는 Notion, Slack, Google, Jira 및 기타 외부 지식 소스를 위한 커넥터가 안내되어 있습니다.
또한 Ollama와 LM Studio를 통한 로컬 모델 연결도 문서화되어 있어 애플리케이션 계층과 추론 계층을 모두 사용자가 제어할 수 있습니다.
따라서 “검색”이 더 긴 작업 흐름의 한 단계에 불과한 경우 SurfSense는 특히 흥미로운 선택지입니다.
소스 수집
|
지식 색인화
|
검색 / 질문
|
메모 생성
|
자동화 실행
|
리서치 계속하기
추천 대상: 검색, 연동된 소스, 메모, 자동화를 하나의 자체 호스팅 작업 공간에서 사용하려는 연구자와 지식 중심 팀.
장단점: 인용이 포함된 빠른 웹 답변만 원한다면 Vane이나 Morphic이 더 간단하고 목적에 잘 맞습니다.
6. Open WebUI — 기존 로컬 AI 스택에 검색을 추가하는 최선의 방법

Open WebUI는 주로 검색 엔진으로 만들어진 것이 아니며, 이 차이를 분명히 밝혀야 합니다.
많은 로컬 AI 사용자가 이미 Ollama 또는 다른 모델 서버 앞단의 인터페이스로 Open WebUI를 사용한다는 점이 강점입니다. 이런 사용자에게는 별도의 검색 애플리케이션을 배포하는 것보다 기존 AI 작업 공간에 검색 기능을 추가하는 편이 더 실용적일 수 있습니다.
Open WebUI는 현재 SearXNG, Brave, DuckDuckGo, Tavily, Exa, Kagi, Perplexity, Jina, Bing을 비롯한 다양한 공급자를 통한 웹 검색을 지원합니다.
공식 SearXNG 통합 가이드에서는 별도의 로컬 SearXNG 컨테이너를 Open WebUI의 검색 계층으로 사용하는 방법을 설명합니다.
같은 애플리케이션에서 업로드한 문서와 문서 라이브러리를 대상으로 로컬 RAG도 지원하므로, 사용자는 하나의 인터페이스에서 웹 검색과 비공개 파일 검색을 결합할 수 있습니다.
추천 대상: 이미 Ollama + Open WebUI를 실행 중이며 전용 답변 엔진으로 옮기지 않고 자체 호스팅 웹 검색을 추가하려는 사용자.
장단점: Open WebUI는 범용 AI 작업 공간이므로 검색 동작은 모델의 도구 호출, 컨텍스트 크기, 검색 설정, 선택한 검색 공급자의 구성에 크게 좌우됩니다.
7. 로컬 딥 리서처 — 완전 로컬 딥 리서치 에이전트

Local Deep Researcher는 AI 검색이 단일 검색어 기반 답변 엔진을 넘어 어떻게 발전하고 있는지 보여 줍니다.
이 프로젝트는 Ollama 또는 LM Studio를 통해 로컬 LLM을 사용해 검색어를 생성하고, 웹 검색 결과를 수집 및 요약한 다음 남은 지식 격차를 파악하고 새로운 검색어를 만들어 이 과정을 반복한 후 최종 출처 인용 보고서를 생성합니다.
질문
|
검색어 생성
|
웹 검색
|
요약
|
지식 격차 찾기
|
다시 검색
|
반복
|
최종 출처 인용 보고서
기본적으로 DuckDuckGo를 사용해 검색할 수 있으며, SearXNG, Tavily 또는 Perplexity를 선택적으로 연동할 수 있습니다.
이 점에서 Vane 또는 Morphic과 다릅니다. 이러한 도구는 대화형 검색 및 답변 UX에 최적화되어 있습니다. Local Deep Researcher는 반복적인 조사에 최적화되어 있습니다.
추천 대상: 한 번의 검색으로는 충분한 근거를 찾기 어렵고, 에이전트가 부족한 부분을 파악한 후 의도적으로 다시 검색해야 하는 조사 질문.
단점: 검색과 요약을 반복하는 주기는 일반적인 답변 엔진보다 느리고 더 많은 컴퓨팅 리소스를 사용합니다. 특히 LLM을 로컬에서 실행하는 경우 더욱 그렇습니다.
8. RAGFlow — 복잡한 비공개 문서 검색에 최적
RAGFlow는 주로 Perplexity와 경쟁하려는 것이 아닙니다.
복잡한 비공개 데이터를 LLM을 위한 신뢰할 수 있는 컨텍스트로 변환하는 검색 플랫폼입니다.
현재 프로젝트는 엔드투엔드 RAG에 문서 파싱, 오케스트레이션된 수집 파이프라인, 에이전트 워크플로, MCP 지원, Confluence, S3, Notion, Discord, Google Drive 등의 소스에서 데이터 동기화 기능을 결합합니다.
따라서 다음과 같은 질문에 더 적합합니다:
“신뢰할 수 있는 검색 기능으로 수천 개의 PDF, 오피스 파일, 내부 문서 및 연결된 지식 소스를 어떻게 검색하나요?”
대신 다음과 같이 묻는 것이 아니라:
“오늘 웹에서 무슨 일이 있었나요?”
RAGFlow는 에이전트 컨텍스트 계층으로도 계속 발전하고 있습니다. 2026년에는 OpenClaw를 통해 RAGFlow 데이터 세트에 액세스할 수 있는 공식 스킬을 추가해, 문서 검색이 독립형 RAG 채팅에서 재사용 가능한 에이전트 인프라로 나아가는 흐름을 보여 주었습니다.
이 계층을 더 자세히 살펴보려면 ZimaSpace 가이드 문서 검색 및 RAG에서 추출, 청킹, 임베딩, 벡터 검색, 재순위 지정, 증거를 반영한 답변 생성까지 워크플로를 단계별로 설명합니다.
추천 대상: 본격적인 수집, 파싱, 검색 및 지식 워크플로가 필요한 대규모 문서 라이브러리와 팀.
단점: RAGFlow는 단순한 로컬 문서 채팅 애플리케이션보다 훨씬 무겁고, 지식 베이스에 폴더가 몇 개뿐이라면 지나치게 복잡합니다.
9. AnythingLLM — 비공개 문서를 위한 가장 간편한 셀프 호스팅 검색

AnythingLLM은 비공개 AI 검색 도구 중에서도 사용하기 쉬운 편입니다.
별도의 구성 요소로 RAG 스택을 직접 구성할 필요 없이 문서를 가져오고, 작업 공간을 만들고, 임베딩을 생성하고, 관련 맥락을 검색하고, 출처를 표시하고, 로컬 또는 클라우드 모델에 연결할 수 있습니다.
로컬 모델로는 Ollama, LM Studio, LocalAI, llama.cpp 호환 모델을 지원합니다. 임베딩 계층도 로컬에 둘 수 있으며, 프로젝트는 LanceDB, Chroma, Qdrant, Weaviate, Milvus, PGVector를 비롯한 여러 벡터 데이터베이스를 지원합니다.
AnythingLLM의 셀프 호스팅 개인정보 보호 약관은 매우 명확합니다. 문서, 기록, 작업 공간 설정, 임베딩은 사용자가 관리하는 인프라에 보관되며, 로컬 모델과 벡터 구성 요소를 선택하면 애플리케이션을 에어갭 환경에서 실행할 수 있습니다.
따라서 “내 문서와 대화하기”와 더 완전한 로컬 AI 워크플로를 자연스럽게 이어 줍니다.
추천 대상: 더 복잡한 검색 플랫폼을 관리하지 않고 간단한 로컬 문서 검색 및 RAG 애플리케이션을 원하는 사용자.
단점: RAGFlow나 Onyx보다 배포하기 쉽지만, 그만큼 조직 전체의 인덱싱이나 고급 리서치 오케스트레이션에는 가장 적합한 선택이 아닙니다.
10. SearXNG - 로컬 AI를 위한 최고의 비공개 검색 백엔드
SearXNG는 AI 답변 엔진이 아니라는 점에서 다른 도구와 다릅니다.
최대 272개의 검색 서비스를 집계하면서 사용자를 추적하거나 프로파일링하지 않는 셀프 호스팅 메타 검색 엔진입니다.
따라서 셀프 호스팅 AI 검색 생태계에서 가장 중요한 인프라 구성 요소 중 하나입니다.
Vane은 SearXNG를 사용할 수 있습니다. Morphic도 SearXNG를 사용할 수 있습니다. Open WebUI도 SearXNG를 사용할 수 있습니다. Local Deep Researcher도 SearXNG를 사용할 수 있습니다.
역할은 간단합니다:
사용자 검색어
|
SearXNG
|
원시 검색 결과
|
로컬 LLM
|
출처가 명시된 AI 답변
검색 백엔드를 셀프 호스팅하면 검색 계층과 답변 계층을 분리할 수 있습니다. 검색 엔진을 바꾸지 않고 LLM을 변경하거나, 검색 인프라는 그대로 유지하면서 답변 애플리케이션을 바꿀 수 있습니다.
추천 대상: Vane, Open WebUI, Morphic, 리서치 에이전트 또는 맞춤형 로컬 AI 애플리케이션에 검색 결과를 제공할 수 있는 비공개 Google 스타일 메타 검색 백엔드를 원하는 사용자.
단점: SearXNG 자체로는 요약하거나 추론하거나 출처가 명시된 답변을 생성할 수 없습니다. Perplexity 스타일의 경험을 원한다면 그 위에 AI 계층이 필요합니다.
어떤 셀프 호스팅 AI 검색 도구를 선택해야 할까요?
| 원하는 것이... | 시작하기 | 이유 |
|---|---|---|
| 비공개 Perplexity 대안 | Vane | SearXNG와 Ollama를 활용하는 집중형 셀프 호스팅 웹 답변 엔진 |
| 더 풍부한 생성형 검색 인터페이스 | Morphic | 생성형 UI와 유연한 검색 공급자지원 |
| 팀 지식 전체 검색 | Onyx | 방대한 커넥터 생태계와 하이브리드 검색 및 RAG |
| 개인 파일과 웹 검색 | Khoj | 로컬 검색 기능을 갖춘 개인 지식 검색 |
| 연결된 연구 워크스페이스 | SurfSense | 검색, 출처, 메모, 커넥터 및 자동화 |
| Ollama 채팅 스택에 검색 추가 | Open WebUI | 익숙한 로컬 AI 인터페이스에 플러그인 방식으로 추가하는 검색 |
| 다단계 웹 조사 | Local Deep Researcher | 검색하고, 검토하고, 누락된 부분을 찾아 다시 검색 |
| 복잡한 엔터프라이즈 문서 검색 | RAGFlow | 고급 데이터 수집 및 RAG 아키텍처 |
| 간편한 비공개 문서 Q&A | AnythingLLM | 문서 파이프라인과 벡터 저장소를 내장한 로컬 우선 앱 |
| 비공개 검색 백엔드 | SearXNG | 다양한 AI 앱에서 재사용할 수 있는 메타검색 계층 |
Vane vs Morphic: 셀프 호스팅 Perplexity 대안 중 어느 쪽이 더 나을까요?
“Perplexity를 내 서버에서 직접 운영하고 싶다”는 생각이라면 Vane과 Morphic이 가장 직접적인 선택지입니다.
| 분야 | Vane | Morphic |
|---|---|---|
| 주요 초점 | 프라이버시 중심 AI 답변 엔진 | 생성형 UI를 갖춘 AI 검색 |
| SearXNG | 핵심 검색 경로 | 지원되며 Docker Compose에 포함됨 |
| Ollama | 예 | 예 |
| 클라우드 모델 | 예 | 예 |
| 파일 | 예 | 예 |
| 인용 | 예 | 예 |
| 검색 모드 | 속도, 균형, 품질 | 빠름, 적응형 |
| 가장 적합한 용도 | 전용 비공개 답변 엔진 | 검색 UX와 더 풍부한 결과 표시 |
간결한 SearXNG + Ollama 아키텍처를 갖춘 전용 비공개 답변 엔진이 우선이라면 Vane을 선택하세요.
검색 인터페이스 자체가 중요하고, 더 풍부한 생성형 결과 요소와 기록, 인증 및 앱에 가까운 경험을 원한다면 Morphic을 선택하세요.
비공개 지식 검색용 Onyx vs Khoj vs AnythingLLM
세 제품 모두 비공개 정보를 검색할 수 있지만, 서로 매우 다른 배포 환경을 대상으로 합니다.
| 분야 | Onyx | Khoj | AnythingLLM |
|---|---|---|---|
| 주요 사용자 | 팀/조직 | 개인 | 개인 또는 소규모 팀 |
| 연결된 앱 | 폭넓은 커넥터 생태계 | 개인 지식 소스 | 문서/워크스페이스 중심 |
| 웹 검색 | 강력함 | 지원됨 | 문서 검색의 부차적 기능 |
| 검색 깊이 | 하이브리드 검색 + 에이전트형 RAG | 바이인코더 + 재순위화 | 내장 RAG 파이프라인 |
| 로컬 모델 | 예 | 예 | 예 |
| 가장 적합한 용도 | 전사 지식 | 개인용 세컨드 브레인 | 간편한 비공개 문서 Q&A |
정보가 여러 팀용 앱에 분산되어 있고 권한 관리가 중요하다면 Onyx를 선택하세요.
지식의 주된 소유자가 한 사람이고 검색 가능한 비공개 메모리 및 조사 환경을 원하는 경우 Khoj를 선택하세요.
인프라 작업을 최소화하면서 로컬 문서 검색 워크플로를 빠르게 구축하는 것이 우선이라면 AnythingLLM을 선택하세요.
웹 검색 vs 비공개 지식 검색
이 분야에서 가장 흔한 실수 중 하나는 웹 검색과 비공개 RAG를 서로 대체 가능한 것으로 취급하는 것입니다.
각각 서로 다른 검색 문제를 해결합니다.
| 질문 | 최고의 검색 계층 |
|---|---|
| 오늘 무슨 일이 있었나요? | 실시간 웹 검색 |
| 사내 정책에는 뭐라고 나와 있나요? | 비공개 문서 검색 |
| 이 프로젝트에서 무엇이 바뀌었나요? | 연결된 앱/저장소 검색 |
| 최신 연구에서는 뭐라고 하나요? | 심층 조사 + 웹/학술 검색 |
| 6개월 전에 이 주제에 대해 뭐라고 썼지? | 개인 지식 검색 |
성숙한 AI 검색 스택은 점점 더 다음 기능을 모두 결합하고 있습니다.
웹
\
비공개 파일 ----> 검색 증강 계층 ----> LLM ----> 출처가 표시된 답변
/
연결된 앱
이 때문에 Onyx, Khoj, SurfSense, Open WebUI 같은 제품은 기존 RAG 애플리케이션을 넘어 더 폭넓은 기능을 제공하고 있습니다.
Ollama와 함께 실행할 수 있는 셀프 호스팅 AI 검색 도구는 무엇일까요?
이 목록의 여러 도구는 LLM 추론 계층을 Ollama나 다른 로컬 모델 서버로 옮길 수 있습니다.
| 도구 | 로컬 모델 경로 | 일반적인 로컬 검색 스택 |
|---|---|---|
| Vane | Ollama | Vane + SearXNG + Ollama |
| Morphic | Ollama / 호환 제공업체 | Morphic + SearXNG + Ollama |
| Onyx | Ollama, LiteLLM, vLLM | Onyx + 커넥터 + 로컬 모델 |
| Khoj | 로컬 / OpenAI 호환 엔드포인트 | Khoj + 로컬 검색 증강 + 로컬 모델 |
| SurfSense | Ollama, LM Studio | SurfSense + 커넥터 + 로컬 모델 |
| Open WebUI | Ollama | Open WebUI + SearXNG + Ollama |
| Local Deep Researcher | Ollama, LM Studio | 리서치 에이전트 + 검색 백엔드 + 로컬 모델 |
| AnythingLLM | Ollama, LM Studio, LocalAI | AnythingLLM + 로컬 임베딩 + 로컬 벡터 DB |
중요한 점은 로컬 추론을 사용한다고 해서 실시간 웹 검색까지 오프라인으로 전환되는 것은 아니라는 것입니다.
다음과 같은 스택:
Vane
|
SearXNG
|
Ollama
LLM, 검색 오케스트레이션, 기록, 애플리케이션 데이터를 자체 하드웨어에서 관리할 수 있지만, 실시간 인터넷에 대해 질문하면 SearXNG는 여전히 외부 검색 서비스에 접속해야 합니다.
진정한 에어갭 환경은 이미 로컬에 저장된 지식에만 사용할 수 있습니다. 이런 경우 AnythingLLM, RAGFlow, Khoj 같은 비공개 문서 시스템이 더욱 적합합니다.
SearXNG와 Ollama로 셀프 호스팅 AI 검색 스택 구축하기
홈랩에서는 검색, 추론, 스토리지를 분리하는 것이 가장 깔끔한 아키텍처 중 하나입니다:
브라우저
|
AI 검색 앱
Vane / Morphic / Open WebUI
|
+--+-------------------+
| |
SearXNG Ollama
| |
실시간 웹 로컬 LLM
|
인터넷
비공개 스토리지
PDF / 노트 / 문서 / 캐시 / 인덱스
이렇게 분리하면 유연성이 생깁니다. SearXNG를 그대로 두고 Vane을 Morphic으로 교체할 수 있습니다. 검색 애플리케이션을 다시 구축하지 않고도 Ollama에서 실행되는 모델을 업그레이드할 수 있습니다. 애플리케이션 컨테이너가 바뀌더라도 문서 아카이브와 인덱스는 영구 스토리지에 보관할 수 있습니다.
이 아키텍처는 자연스럽게 로컬 AI 홈랩에 적용됩니다. 스토리지, Docker 서비스, 검색 인덱스, 벡터 데이터베이스, 모델 런타임을 같은 서버에 두거나 LAN을 통해 여러 장치로 분산할 수 있습니다.
경량 서버에서 검색과 검색 증강 기능을 상시 실행하고, 더 강력한 GPU 머신에서 LLM을 실행할 수 있습니다:
상시 가동 서버 GPU 워크스테이션
| |
AI 검색 앱 Ollama
SearXNG vLLM
벡터 DB |
문서 <------ LAN ---------+
모든 서비스를 하나의 과도하게 큰 장비에 억지로 몰아넣는 것보다 실용적일 수 있습니다.
셀프 호스팅 AI 검색에 필요한 하드웨어는 어느 정도일까요?
검색 애플리케이션 자체는 일반적으로 전체 스택에서 가장 많은 리소스를 요구하는 부분이 아닙니다.
리소스 사용량은 여러 계층에서 발생합니다:
| 계층 | 주요 리소스 | 중요한 이유 |
|---|---|---|
| 웹 검색 | 네트워크 + CPU | 여러 외부 소스를 검색하고 파싱합니다 |
| LLM 추론 | RAM / VRAM | 답변과 리서치 요약을 생성합니다 |
| 임베딩 | CPU / GPU + RAM | 비공개 문서를 인덱싱합니다 |
| 벡터 데이터베이스 | RAM + 스토리지 | 임베딩을 저장하고 검색합니다 |
| 문서 파싱 | CPU + 스토리지 | PDF, 오피스 파일, OCR, 메타데이터를 처리합니다 |
| 검색 기록 / 캐시 | 스토리지 | 대화, 결과, 리서치 상태를 저장합니다 |
간단한 Vane + SearXNG 구성은 수백만 개의 문서 청크를 인덱싱하는 대규모 RAGFlow 배포보다 훨씬 적은 하드웨어로 실행할 수 있습니다.
가장 큰 변수는 대개 모델입니다. 호스팅 모델을 사용하면 검색 서버는 비교적 가볍게 유지할 수 있습니다. Ollama에서 더 큰 로컬 추론 모델을 실행하면 RAM과 가속기 요구 사항이 빠르게 늘어납니다.
AnythingLLM의 최신 가이드에서 이 차이를 잘 보여 줍니다. 애플리케이션 자체는 가벼울 수 있지만, 로컬 모델을 더 쾌적하게 사용하려면 메모리와 GPU 용량이 더 필요합니다. 이 원칙은 이 목록에 있는 대부분의 도구에도 적용됩니다.
셀프 호스팅이 자동으로 비공개를 보장하지는 않습니다
이 항목은 이 범주 전체에서 가장 중요한 개인정보 보호 확인 사항입니다.
애플리케이션을 Docker에서 실행하는 것은 여러 계층 중 하나일 뿐입니다.
| 계층 | 질문 |
|---|---|
| 검색 백엔드 | 웹 검색 쿼리는 어디로 전달되나요? |
| LLM | 프롬프트와 검색된 구절은 어디에서 처리되나요? |
| 임베딩 | 인덱싱하는 동안 문서 텍스트가 서버 외부로 전송되나요? |
| 벡터 데이터베이스 | 시맨틱 인덱스는 어디에 저장되나요? |
| 연결된 앱 | 검색 플랫폼이 어떤 외부 서비스에 접근할 수 있나요? |
| 텔레메트리 | 사용 정보 중 인스턴스 외부로 전송되는 것은 무엇인가요? |
| 검색 기록 | 쿼리와 생성된 답변은 어디에 저장되나요? |
비공개 문서 검색에서는 임베딩 계층을 특히 간과하기 쉽습니다.
로컬 LLM을 사용하더라도 워크플로에 따라 비공개 PDF의 모든 청크가 클라우드 임베딩 API로 전송될 수 있습니다. 이는 완전한 로컬 RAG 스택과 같지 않습니다.
개인 정보 보호가 목표라면 전체 처리 경로를 확인하세요:
문서
|
파서
|
임베딩 모델
|
벡터 DB
|
검색기
|
LLM
|
답변
ZimaSpace의 로컬 지식 베이스 가이드에서는 일회성 파일 채팅이 아니라 장기적인 비공개 검색을 목표로 할 때 스토리지, 임베딩, 벡터 검색, 근거 규칙이 모두 중요한 이유를 더 자세히 알아봅니다.
AI 검색이 심층 리서치로 진화하고 있습니다
2026년 가장 큰 변화는 검색이 반복적인 과정으로 바뀌고 있다는 점입니다.
기존 AI 검색 흐름은 다음과 같았습니다:
질문
|
한 번 검색
|
요약
|
답변
새로운 리서치 흐름은 점점 다음과 같은 모습으로 바뀌고 있습니다:
질문
|
검색
|
읽기
|
누락된 근거 찾기
|
다시 검색
|
출처 비교
|
질문 다듬기
|
다시 검색
|
종합하기
|
출처가 인용된 보고서
Local Deep Researcher는 이러한 패턴을 명확히 보여 주지만, Onyx의 심층 리서치, SurfSense와 같은 리서치 중심 워크스페이스, 최신 답변 엔진에 등장하는 ‘품질’ 또는 적응형 모드에서도 같은 흐름을 확인할 수 있습니다.
이러한 변화는 셀프 호스팅에서 중요합니다. 심층 리서치는 일반 검색보다 더 많은 것을 요구하기 때문입니다. 더 많은 검색 요청, 더 많은 검색 결과 텍스트, 더 긴 컨텍스트, 더 많은 모델 호출, 더 방대한 리서치 상태를 생성합니다.
이렇게 구성하면 로컬 AI 검색 서버는 비공개 Google 대체 서비스를 넘어설 수 있습니다. 공개 웹과 자체 데이터를 아우르는 상시 가동 조사 계층이 될 수 있습니다.
주목할 만한 다른 셀프 호스팅 AI 검색 도구
SearXNG, Ollama, LiteLLM, 에이전트 기반 검색을 지원하는 오픈 소스 AI 검색 프로젝트인 Farfalle도 계속 주목할 만합니다. Vane 및 Morphic과 기능이 많이 겹쳐 Top 10 주요 목록에는 포함하지 않았습니다.
학술 검색, 코드 검색, 엔터프라이즈 커넥터, 벡터 검색, NotebookLM 스타일 작업 공간을 위한 도구도 점점 더 전문화되고 있습니다. 이 분야가 빠르게 확장되면서 “최고의 AI 검색 엔진”이라는 질문은 실제로 해결하려는 검색 문제가 무엇인지 묻는 것보다 점점 의미가 줄고 있습니다.
최종 결론
SearXNG와 Ollama를 사용하는, Perplexity와 가장 유사한 셀프 호스팅 검색 환경을 원한다면 Vane을 선택하세요.
더 풍부한 생성형 검색 인터페이스와 애플리케이션에 가까운 배포 방식을 원한다면 Morphic을 선택하세요.
여러 도구와 저장소에 흩어진 회사 지식이 실제 검색 대상이라면 Onyx를 선택하세요.
비공개 파일과 웹을 아우르는 개인 검색 계층을 원한다면 Khoj를 선택하세요.
검색이 조사, 메모, 커넥터, 자동화를 아우르는 더 넓은 워크플로의 일부라면 SurfSense를 선택하세요.
이미 Ollama 기반 로컬 AI 스택을 사용하고 있고 기존 인터페이스에 웹 검색과 로컬 RAG를 추가하려는 것뿐이라면 Open WebUI를 선택하세요.
빠른 답변 하나보다 반복적인 검색, 숙고, 근거 수집이 필요한 작업이라면 Local Deep Researcher를 선택하세요.
웹 검색 UX보다 비공개 문서 파싱, 수집, 검색 품질, 대규모 RAG가 더 중요하다면 RAGFlow를 선택하세요.
로컬 모델, 로컬 임베딩, 내장 RAG를 활용해 비공개 문서를 가장 쉽게 검색하려면 AnythingLLM을 선택하세요.
웹 검색 백엔드 자체를 직접 관리하고 검색 계층을 여러 로컬 AI 애플리케이션에 연결하고 싶다면 SearXNG를 선택하세요.
따라서 가장 유용한 셀프 호스팅 AI 검색 스택이 반드시 단일 애플리케이션인 것은 아닙니다. 검색, 검색 증강, 추론, 비공개 저장소, 인용 기능을 각각 독립적으로 발전시킬 수 있는 모듈형 시스템인 경우가 많습니다.
FAQ
2026년 최고의 셀프 호스팅 AI 검색 엔진은 무엇인가요?
Vane은 인용이 포함된 웹 답변, SearXNG, Docker 배포, Ollama를 통한 로컬 추론을 결합해 셀프 호스팅 Perplexity 스타일 답변 엔진 가운데 전반적으로 가장 강력한 선택지 중 하나입니다. 검색 인터페이스와 생성형 UI가 더 중요하다면 Morphic이 훌륭한 대안입니다.
Perplexity의 가장 좋은 오픈 소스 대안은 무엇인가요?
Vane과 Morphic은 가장 유사한 오픈 소스 셀프 호스팅 대안입니다. Vane은 SearXNG와 로컬 모델을 활용해 개인정보 보호에 중점을 둔 답변을 제공하고, Morphic은 생성형 UI와 유연한 검색 공급자를 강조합니다.
Perplexica는 아직 활발히 개발되고 있나요?
이전에 Perplexica로 알려졌던 프로젝트는 Vane으로 이어졌습니다. 현재 버전을 찾는 사용자는 오래된 Perplexica 설치 가이드에 의존하기보다 Vane을 확인하는 것이 좋습니다.
AI 웹 검색을 완전히 오프라인으로 실행할 수 있나요?
아니요. 실시간 웹의 최신 정보가 필요하다면 불가능합니다. AI 모델, 애플리케이션, 기록, 검색 처리는 로컬에 둘 수 있지만, 웹 검색 백엔드가 최신 페이지나 검색 엔진 결과를 가져오려면 여전히 인터넷에 연결되어야 합니다. 완전한 오프라인 검색은 이미 로컬에 저장된 데이터에 한해서만 가능합니다.
SearXNG를 Ollama와 함께 사용할 수 있나요?
네. SearXNG는 검색 결과를 제공하고 Ollama는 로컬 LLM 추론을 제공합니다. Vane, Morphic, Open WebUI, Local Deep Researcher 같은 애플리케이션을 둘 사이에 배치하면 검색 결과를 AI 생성 답변으로 바꿀 수 있습니다.
비공개 문서에 가장 적합한 자체 호스팅 AI 검색 도구는 무엇인가요?
AnythingLLM은 로컬 문서 질의응답을 시작하기 가장 쉬운 도구 중 하나입니다. 복잡한 데이터 수집과 대규모 RAG 시스템에는 RAGFlow가 더 적합하고, 조직 전반의 여러 애플리케이션에 문서가 분산되어 있다면 Onyx가 더 강력합니다.
팀에 가장 적합한 자체 호스팅 AI 검색 도구는 무엇인가요?
Onyx는 커넥터, 하이브리드 검색, RAG, 웹 검색, 에이전트, 팀 단위 거버넌스를 결합하므로 이 목록에서 조직 전체 검색에 가장 적합합니다. 조사 중심 워크플로라면 SurfSense도 좋은 선택입니다.
AI 검색과 RAG의 차이점은 무엇인가요?
AI 검색은 정보를 검색하고 답변을 생성하는 더 포괄적인 사용자 경험입니다. RAG는 LLM이 관련 외부 맥락을 바탕으로 답변하도록 하는 검색 아키텍처 중 하나입니다. 자체 호스팅 AI 검색 도구는 비공개 문서에 RAG를 사용하거나, 최신 정보에 실시간 웹 검색을 사용하거나, 두 가지를 모두 사용할 수 있습니다.
자체 호스팅 AI 검색에 벡터 데이터베이스가 필요한가요?
일반적인 실시간 웹 검색에는 필요하지 않습니다. 비공개 문서, 노트, 저장소 또는 기타 지속적으로 축적되는 지식에서 의미 기반 검색을 해야 할 때 벡터 데이터베이스가 유용합니다. AnythingLLM, RAGFlow, Onyx, Khoj 같은 도구는 기존 웹 검색의 범위를 넘어서는 검색 계층을 사용합니다.
Vane과 SearXNG의 차이점은 무엇인가요?
SearXNG는 검색 결과를 제공하는 메타 검색 백엔드입니다. Vane은 SearXNG를 사용해 결과를 가져온 다음, LLM으로 결과를 종합해 출처를 표시한 답변을 생성하는 AI 답변 엔진입니다.
자체 호스팅 AI 검색에서 로컬 모델과 클라우드 모델을 모두 사용할 수 있나요?
네. 이 목록에 있는 많은 도구는 둘 다 지원합니다. 따라서 일반적인 검색은 Ollama를 사용해 로컬에서 처리하고, 어려운 조사 작업은 필요할 때 호스팅 모델로 전달하는 하이브리드 아키텍처를 구성할 수 있습니다.
무엇부터 자체 호스팅해야 하나요? AI 모델인가요, 검색 엔진인가요?
비공개 문서의 프라이버시가 가장 중요하다면 모델, 임베딩, 문서 인덱스부터 자체 호스팅하세요. 웹 검색어의 프라이버시가 가장 중요하다면 SearXNG 같은 자체 호스팅 검색 백엔드부터 시작하세요. 가장 강력하게 제어하려면 두 계층을 모두 자체 호스팅하세요.
기술 및 AI 허브
더 읽어보기

llama.cpp 1.0 설명: 로컬 AI 서버에는 어떤 변화가 있을까요?
llama.cpp 1.0 호환성, 모델 및 백엔드 확인, 업그레이드 테스트, 메모리 계획, NAS 스토리지의 역할을 알아보세요.

Maxwell-V1-Flash 로컬 실행: RAM, VRAM 및 긴 컨텍스트 요구 사항
Maxwell의 원래 체크포인트 용량, 실제적인 GPU 계획, 긴 컨텍스트의 캐시 비용, 문서화된 로컬 vLLM 배포 경로를 알아보세요.

NAS에 성인 동영상을 저장하는 방법: 초보자 가이드
성인 동영상을 NAS에 저장하고, 저장 공간을 선택하고, 파일을 전송하고, 재생 및 백업을 설정하는 방법과 콘텐츠 검토 및 온라인 메타데이터에 대해 알아보세요.


