ZimaBoard 2가 로컬 AI 어시스턴트를 실행할 수 있나요?

소개

ZimaSpace에서는 컴팩트 하드웨어가 개인 컴퓨팅을 어떻게 재정의할 수 있는지 지속적으로 탐구합니다. 이 글에서는 Core Works Lab 유튜브 채널 제작자가 팬리스 싱글보드 서버가 완전 로컬 AI 음성 어시스턴트를 실행할 수 있는지 실험한 내용을 자세히 분석합니다.

Core Works Lab에 상세한 안내와 실제 테스트에 대해 감사드립니다. 이 글은 그들의 영상 인사이트를 구조화된 서면 형식으로 변환하여 더 많은 사용자가 ZimaBoard 2를 홈 서버로 활용하는 가능성을 이해하도록 돕습니다—AI 작업부터 홈랩 구축까지.

로컬 AI 머신으로서 ZimaBoard 2 테스트

테스트된 장치는 ZimaBoard 2 (Intel N150, 16GB DDR5, 64GB eMMC)로, 유연성을 위해 설계된 컴팩트하고 저전력 홈 서버입니다. 네이티브 SATA 및 PCIe 확장을 지원하여 추가 어댑터 없이 SSD, GPU, 네트워킹 카드를 연결할 수 있습니다.

제작자의 목표는 명확했습니다:
팬리스 홈 서버가 로컬 AI 음성 어시스턴트를 안정적으로 실행할 수 있을까요?

초기 설정 및 하드웨어 구성

시스템은 다음을 사용해 확장되었습니다:

• PCIe 어댑터를 통한 NVMe SSD
• 듀얼 2.5" 드라이브 랙
• 선택적 GPU (GT 1030)
• ZimaOS 사전 설치됨

보드는 웹 기반 대시보드로 부팅되며, Docker 컨테이너와 N8N 같은 도구를 설치할 수 있습니다.

주요 관찰:
설정 과정이 간단하여 ZimaBoard 2가 처음 홈 서버를 구축하는 사용자도 쉽게 접근할 수 있습니다.

하지만 몇 가지 사소한 하드웨어 문제가 발견되었습니다:

• 장착 브래킷 나사는 나사산이 없었습니다
• 일부 나사는 특정 구성에 너무 길었습니다

AI 어시스턴트(CAL) 실행 중

어시스턴트(CAL)는 CPU 전용 구성으로 Docker를 통해 배포되었습니다.

초기 설정에는 다음이 포함되었습니다:

• 음성-텍스트 변환: Groq Whisper (클라우드)
• LLM: Groq (클라우드 추론)
• 텍스트-음성 변환: Piper (로컬 CPU)

결과:
하이브리드 설정은 원활하게 작동하고 빠르게 반응하여 강력한 기준선을 확립했습니다.

주요 기능 중 하나는 단기 기억으로, 어시스턴트가 추적 번호나 항공편 세부 정보를 저장하고 불러왔습니다.

예시:

• 저장됨: 항공편 번호 AF1
• 도구 기반 쿼리에 대해 자동으로 검색됨

이는 지속 메모리 시스템이 홈 서버에서 AI 어시스턴트를 어떻게 향상시킬 수 있는지 보여줍니다.

Ollama를 이용한 로컬 LLM 테스트

다음 단계는 Ollama를 사용한 완전 로컬 모델을 테스트했습니다.

Ministral 3B (30억 매개변수)

• 프롬프트 처리: 약 268 토큰/초
• 생성 속도: 약 7 토큰/초

주요 발견:
미세 조정 없이도 도구를 성공적으로 호출했습니다, 이는 인상적입니다.

하지만:

• 응답 시간은 상호작용당 최대 6분에 달했습니다

이로 인해 실시간 음성 비서에는 비실용적입니다.

Function Gemma (2억 7천만 매개변수)

• 훨씬 빠름 (~초당 43 토큰)
• 도구 호출을 제대로 실행하지 못했습니다

통찰:
작은 모델은 더 빠르지만 도구 호출 같은 구조화된 작업을 처리하려면 미세 조정이 필요합니다.

GPU 추가: 성능 향상

GT 1030 (2GB VRAM)이 PCIe를 통해 추가되었습니다.

결과:

• 프롬프트 평가 속도가 거의 두 배로 증가했습니다
• 모델 분할: GPU 34% / CPU 66%
• 토큰 생성 속도는 비슷하게 유지되었습니다

중요한 시사점:
토큰 생성의 병목은 계산이 아니라 대역폭입니다.

작은 모델을 GPU에 완전히 로드하여 테스트할 때:

• 프롬프트 평가가 초당 1100 토큰에 도달했습니다

이는 다음을 확인합니다:

완전한 GPU 로딩은 홈 서버 AI 설정의 지연 시간을 크게 개선합니다

현실적인 한계

유망한 결과에도 불구하고 몇 가지 제약이 나타났습니다:

• CPU 전용 설정은 대형 모델에 너무 느립니다
• 작은 모델은 훈련 없이는 신뢰성이 부족합니다
• GPU 성능은 VRAM과 전원 공급에 크게 의존합니다

제작자는 5GB GPU(예: Quadro P2200)가 3B 모델을 완전히 로드하고 성능을 크게 향상시킬 수 있다고 언급했습니다.

핵심 요점

• ZimaBoard 2는 홈 서버로서 AI 작업을 효과적으로 실행할 수 있습니다
• 하이브리드(클라우드 + 로컬) 설정이 현재 최상의 균형을 제공합니다
• 로컬 LLM은 가능하지만 최적화가 필요합니다
• GPU 업그레이드는 상당한 성능 향상을 제공합니다
• 도구 호출 기능은 크기보다 모델 설계에 더 의존합니다

-15% OFF

ZimaBoard 2 - 당신의 큰 아이디어를 위한 미니 홈 서버

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

ZimaBoard 2가 돋보이는 이유

ZimaBoard 2는 다음을 결합합니다:

• 저전력 소비 (24/7 운영)
• 무소음, 팬리스 디자인
• 네이티브 SATA 및 PCIe 확장
• 듀얼 2.5G 이더넷

이것이 이상적인 이유:

• Plex 미디어 서버
• 도커 실험실
• AI 컨테이너
• 개인 NAS 시스템

많은 사용자가 이렇게 묘사합니다:
“장난감처럼 보이지만 괴물처럼 작동하는 미니 서버.”

최종 생각

이 실험은 AI 기능을 갖춘 홈 서버 구축이 더 이상 어려운 일이 아님을 보여줍니다. 완전한 로컬 음성 비서는 여전히 성능 문제에 직면해 있지만, ZimaBoard 2는 실험을 위한 유연하고 강력한 기반을 제공합니다.

개발자, 취미 개발자, 홈랩 애호가를 위해, 이것은 다음으로 가는 문을 엽니다:

• 로컬 AI 파이프라인
• 엣지 컴퓨팅 설정
• 완전히 맞춤화된 서버 환경

그리고 아마도 가장 중요한 점은—이 과정이 재미있고, 해킹 가능하며, 접근하기 쉽다는 것입니다.