ZimaBoard 2로 로컬 AI 어시스턴트를 실행할 수 있나요?

소개

ZimaSpace에서는 컴팩트 하드웨어가 개인 컴퓨팅을 어떻게 재정의할 수 있는지 지속적으로 탐구합니다. 이 글에서는 Core Works Lab 유튜브 채널 제작자가 팬리스 싱글보드 서버가 완전 로컬 AI 음성 어시스턴트를 실행할 수 있는지 실험한 내용을 자세히 분석합니다.

Core Works Lab에 상세한 안내와 실제 테스트에 대해 감사드립니다. 이 글은 그들의 영상 인사이트를 구조화된 서면 형식으로 변환하여 더 많은 사용자가 ZimaBoard 2를 홈 서버로 활용하는 것—AI 작업부터 홈랩 구축까지—이 가능한 점을 이해하도록 돕습니다.

로컬 AI 머신으로서 ZimaBoard 2 테스트

테스트된 장치는 ZimaBoard 2 (Intel N150, 16GB DDR5, 64GB eMMC)로, 유연성을 위해 설계된 컴팩트하고 저전력 홈 서버입니다. 네이티브 SATA 및 PCIe 확장을 지원하여 추가 어댑터 없이 SSD, GPU, 네트워킹 카드를 연결할 수 있습니다.

제작자의 목표는 명확했습니다:
팬리스 홈 서버가 로컬 AI 음성 어시스턴트를 안정적으로 실행할 수 있을까요?

초기 설정 및 하드웨어 구성

시스템은 다음을 사용해 확장되었습니다:

• PCIe 어댑터를 통한 NVMe SSD
• 듀얼 2.5" 드라이브 랙
• 선택적 GPU (GT 1030)
• ZimaOS 사전 설치됨

보드는 웹 기반 대시보드로 부팅되며, Docker 컨테이너와 N8N 같은 도구를 설치할 수 있습니다.

주요 관찰:
설정 과정이 간단하여 ZimaBoard 2가 처음 홈 서버를 구축하는 사용자에게도 접근하기 쉽습니다.

하지만, 몇 가지 사소한 하드웨어 문제가 발견되었습니다:

• 장착 브래킷 나사는 나사산이 없었습니다
• 일부 나사는 특정 구성에 너무 길었습니다

AI 어시스턴트(CAL) 실행 중

어시스턴트(CAL)는 CPU 전용 구성으로 Docker를 통해 배포되었습니다.

초기 설정에는 다음이 포함되었습니다:

• 음성-텍스트 변환: Groq Whisper (클라우드)
• LLM: Groq (클라우드 추론)
• 텍스트-음성 변환: Piper (로컬 CPU)

결과:
하이브리드 설정은 원활하게 작동하며 빠르게 반응하여 강력한 기준선을 확립했습니다.

주요 기능으로 단기 기억이 시연되었으며, 어시스턴트가 추적 번호나 항공편 세부 정보를 저장하고 불러왔습니다.

예시:

• 저장됨: 항공편 번호 AF1
• 도구 기반 쿼리에 대해 자동으로 검색됨

이는 지속 메모리 시스템이 홈 서버에서 AI 어시스턴트를 어떻게 향상시킬 수 있는지 보여줍니다.

Ollama를 이용한 로컬 LLM 테스트

다음 단계는 Ollama를 사용한 완전 로컬 모델을 테스트했습니다.

Ministral 3B (30억 매개변수)

• 프롬프트 처리: 약 268 토큰/초
• 생성 속도: 약 7 토큰/초

주요 발견:
미세 조정 없이도 도구를 성공적으로 호출했습니다, 이는 인상적입니다.

하지만:

• 응답 시간은 상호작용당 최대 6분에 달했습니다

이로 인해 실시간 음성 비서에는 비실용적입니다.

Function Gemma (270M 매개변수)

• 훨씬 빠름 (~초당 43 토큰)
• 도구 호출을 제대로 실행하지 못했습니다

통찰:
작은 모델은 더 빠르지만 도구 호출과 같은 구조화된 작업을 처리하려면 미세 조정이 필요합니다.

GPU 추가: 성능 향상

GT 1030 (2GB VRAM)이 PCIe를 통해 추가되었습니다.

결과:

• 프롬프트 평가 속도가 거의 두 배로 증가했습니다
• 모델 분할: GPU 34% / CPU 66%
• 토큰 생성 속도는 비슷하게 유지되었습니다

중요한 교훈:
대역폭이 토큰 생성의 병목 현상이지 계산 능력이 아닙니다.

작은 모델을 GPU에 완전히 로드하여 테스트할 때:

• 프롬프트 평가가 초당 1100 토큰에 도달했습니다

이는 다음을 확인합니다:

완전한 GPU 로딩은 홈 서버 AI 설정의 지연 시간을 크게 개선합니다

실제 한계

유망한 결과에도 불구하고 몇 가지 제약이 나타났습니다:

• CPU 전용 설정은 대형 모델에 너무 느립니다
• 작은 모델은 훈련 없이는 신뢰성이 부족합니다
• GPU 성능은 VRAM과 전원 공급에 크게 의존합니다

제작자는 5GB GPU(예: Quadro P2200)가 3B 모델을 완전히 로드하고 성능을 크게 향상시킬 수 있다고 언급했습니다.

핵심 요점

• ZimaBoard 2는 AI 작업을 홈 서버로 효과적으로 실행할 수 있습니다
• 하이브리드(클라우드 + 로컬) 설정이 현재 최상의 균형을 제공합니다
• 로컬 LLM은 가능하지만 최적화가 필요합니다
• GPU 업그레이드는 상당한 성능 향상을 제공합니다
• 도구 호출 기능은 크기보다 모델 설계에 더 의존합니다

Featured

ZimaBoard 2 - 하이퍼 퍼포먼스 싱글 보드 홈 서버

Single board computer zimaboard2

$279.00 - $349.00

Buy Now

ZimaBoard 2가 돋보이는 이유

ZimaBoard 2는 다음을 결합합니다:

• 저전력 소비 (24/7 작동)
• 무소음, 팬리스 디자인
• 네이티브 SATA 및 PCIe 확장
• 듀얼 2.5G 이더넷

이것이 이상적인 이유:

• Plex 미디어 서버
• 도커 실험실
• AI 컨테이너
• 개인 NAS 시스템

많은 사용자가 이렇게 묘사합니다:
“장난감처럼 보이지만 괴물처럼 작동하는 미니 서버.”

최종 생각

이 실험은 AI 기능을 갖춘 홈 서버 구축이 더 이상 어려운 일이 아님을 보여줍니다. 완전한 로컬 음성 비서는 여전히 성능 문제에 직면해 있지만, ZimaBoard 2는 실험을 위한 유연하고 강력한 기반을 제공합니다.

개발자, 취미로 만드는 사람, 홈랩 애호가들에게 문을 열어줍니다:

• 로컬 AI 파이프라인
• 엣지 컴퓨팅 설정
• 완전히 맞춤화된 서버 환경

그리고 아마도 가장 중요한 점은—이 과정이 재미있고, 해킹 가능하며, 접근하기 쉽다는 것입니다.