클라우드 AI 서비스에 개인 데이터를 맡기는 데 대한 우려가 커지면서 기기 내부에서 직접 인공지능을 구동하는 '로컬 AI' 도입을 시도하는 사례가 늘고 있다. 애플(Apple)은 맥(Mac) 데스크톱의 로컬 AI 처리 성능을 강조하고 있으며, 최대 128GB 램을 탑재한 RTX 스파크(RTX Spark) 윈도우 머신도 출시될 예정이다.
이런 흐름 속에서 256GB 통합 메모리를 갖춘 M5 울트라 맥 스튜디오(Mac Studio)에 오픈소스 AI 에이전트 '헤르메스(Hermes)'를 설치해 실제 업무에 활용해보는 시도가 이뤄졌다. 통합 메모리는 CPU와 GPU가 하나의 메모리 풀을 함께 사용하는 방식으로, 대형 AI 모델을 구동할 때 더 큰 용량을 효율적으로 쓸 수 있게 해준다.
헤르메스 설치와 Qwen 모델 테스트
헤르메스는 macOS와 윈도우, 리눅스에서 모두 작동하는 자체 호스팅 AI 에이전트 데스크톱 앱으로, 로컬 거대언어모델(LLM)을 사용할 경우 비용이 들지 않는다. LLM은 방대한 텍스트 데이터를 학습해 대화나 작업 지시를 이해하고 응답을 생성하는 AI 모델을 뜻한다.
테스트에는 125억 개 매개변수를 지니고 용량이 약 105GB에 이르는 'Qwen 3.8 플래시 넥스트(Qwen 3.8 Flash Next)' 모델이 선택됐다. 텔레그램(Telegram) 봇을 연동해 휴대폰에서도 헤르메스를 원격으로 제어할 수 있도록 구성했으며, M6 맥 미니와 M5 맥북 에어, AMD 스트릭스 할로(Strix Halo) 프로세서를 탑재한 아수스 TUF 게이밍 A14 등 다른 기기에서도 소형 Qwen 모델을 추가로 시험할 계획이다.
달라지는 점
로컬 AI의 가장 큰 차이는 데이터가 외부 서버로 전송되지 않고 기기 안에서만 처리된다는 점이다. 민감한 재무 기록을 분석하거나 노트북 사양을 비교하는 스프레드시트를 만드는 등 클라우드 업로드를 꺼리는 작업에 헤르메스가 활용됐다.
실제 사용 사례도 구체화됐다. 이메일과 캘린더를 스캔해 매일 아침 브리핑을 생성하는 작업이 이뤄졌고, 스팀(Steam) API 키를 등록해 400개가 넘는 게임 라이브러리를 장르별로 재정렬하는 작업도 수 분 만에 완료됐다. 작업이 끝난 뒤 API 키는 다시 취소할 수 있어 외부 접근 권한을 계속 유지할 필요가 없었다.
앞으로 확인할 과제
현재는 노트북 벤치마크 테스트를 자동화하는 스크립트 개발이 진행 중이며, 아직 완성되지 않았다. 일일 브리핑 작업은 여러 차례 의도대로 작동하지 않아 실패한 적도 있어, 로컬 AI가 클라우드 서비스만큼 안정적으로 동작하는지는 계속 검증이 필요한 상태다.
로컬 AI는 어디까지나 작업을 처리하는 도구로 인식되고 있으며, 감정적 교감을 나누는 대상으로 접근하려는 의도는 없는 것으로 전해졌다.
로컬 AI 실험은 아직 초기 단계에 머물러 있다. 다양한 기기에서의 소형 모델 성능 비교나 벤치마크 자동화 스크립트의 완성 여부, 그리고 일일 브리핑 같은 반복 작업의 안정성 개선 여부는 아직 확인되지 않았다.
참고 기사 The Verge · Learning to use local AI is exciting, overwhelming, and frustrating