2026.08.12 - [AI와 교육/AI Literacy] - 1차도전_헤르메스를 이용한 AI (ugreen nas with docker) 설치(2026.08.11)
1차도전_헤르메스를 이용한 AI (ugreen nas with docker) 설치(2026.08.11)
# 이글을 쓰는 이유..정말 열심히 AI 관련 프로젝트를 리딩해봤지만 전혀 AI를 사용할 수 없는 환경인 폐쇄망에서 작업이라... 개발자에게 가이드할 방법이 없고, 내가 사용하기에도 제한이 너무
jsi0.tistory.com
콜솔에서 hermes 메시지 서비스 연결 확인.
provider는 맥미니의 llm mcp url 등록
hermes dashboard 실행시 접속이 안되는 케이스 확인.
접속 설정 관련해서 설정 추가
호스트 미 등록시 외부에서 접속이 안됩니다.
config.yam
dashboard:
basic_auth:
username: rain
password_hash: (scriypt$패스워드해시값)plugins.dashboard_auth.basic를 이용해서 생성... claude code를 이용해서 설정을 하고 대시보드 접속확인했네요.
사용방법을 조금더 익히고 도커 날리고 다시 설정해 봐야 겠네요.
일단 헤르메스 대시보드까지 연결확인했고. 이어서 텔레그램 연결하고 멀티 에이전트로 일을 시켜보는 것까지 해봐야겠네요.
이번 광복절에 과연 독립을 이룰수 있을지 모르겠네요.
독립 업무를 하는 헤르메스와 오픈클로를 볼 수 있으면 좋겠네요. (
둘이 좀 만들어봐봐... 안되면 클로드 코드로 다듬어서 돌려 보겠습니다. )
폐쇄망에서 사용가능한 개발 툴이 될지 잘 모르겠네요.
될것도 같은데... 흠음.. 일단 개발 IDE까지 연결하고 온라인에서는 텔레그램으로 오프라인에서는 쳇봇화면에서 일감 던저보는 것까지 광복절에 이루어 볼 생각입니다.
gemma4:E4B 를 이용해서 다음 작업을 위한 모델 검토
로컬에 모델서빙 프로그램을 통해서 모델을 제공해주려고 하는데 허깅페이스를 조회해서 sLLM 중에 어떤 모델을 어떤 용도로 사용할
수 있도록 준비하면 좋을지 알려줘.
└─ ▾ Tool calls (1)
└─ ● Skill View("huggingface-hub") (0.2s)
└─ Response
┊ Hugging Face Hub에서 sLLM(Small Language Models)을 찾고 어떤 용도로 사용할지 결정하는 것은 모델의 크기, 성능(benchmark), 그리고
사용 목적(Task)에 따라 달라집니다.
huggingface-hub 스킬을 통해 직접 검색하고 정보를 얻을 수 있지만, 어떤 용도로 사용할지 결정하는 것은 모델의 특성(성능, 라이선스)에
대한 판단이 필요합니다.
따라서, 제가 먼저 일반적인 LLM/sLLM의 용도 분류와 검색 전략을 안내해 드리고, 그 후에 특정 모델을 검색하여 구체적인 정보를 제공해
드리겠습니다.
1. 모델 용도 분류 (Use Case Categorization)
depending on how the skill exposes its functionality. Since I only see the skill name, I should first view it to understand its
methods, or if I assume a standard search capability, I'll proceed with a targeted call if one is apparent from the skill
description.
Given the skill is `huggingface-hub`, I'll start by viewing it to understand its functions.
├─ ▾ Tool calls (1) ~7 tokens
│ └─ ● Skill View("huggingface-hub") (0.2s)
└─ Σ ~360 total
┊ Hugging Face Hub에서 sLLM(Small Language Models)을 찾고 어떤 용도로 사용할지 결정하는 것은 모델의 크기, 성능(benchmark), 그리고
사용 목적(Task)에 따라 달라집니다.
huggingface-hub 스킬을 통해 직접 검색하고 정보를 얻을 수 있지만, 어떤 용도로 사용할지 결정하는 것은 모델의 특성(성능, 라이선스)에
대한 판단이 필요합니다.
따라서, 제가 먼저 일반적인 LLM/sLLM의 용도 분류와 검색 전략을 안내해 드리고, 그 후에 특정 모델을 검색하여 구체적인 정보를 제공해
드리겠습니다.
1. 모델 용도 분류 (Use Case Categorization)
sLLM을 로컬에서 서빙할 때, 용도별로 고려할 사항은 다음과 같습니다.
용도 (Use Case) 요구 성능 고려할 sLLM 특성 추천 모델 유형
(Performance Need)
───────────────────────────────── ──────────────────── ─────────────────────────────────────── ─────────────────────────
일반 대화/챗봇 적절한 응답력, 대화 튜닝(Instruction-tuned) 모델 Llama-3-8B, Mistral-7B,
(Chat/Conversation) 일관성 Gemma-2B/7B 등
코드 생성/검토 (Code 문법 이해력, 논리적 Code-specific 파인튜닝 모델 (e.g., CodeLlama, StarCoder,
Generation/Review) 사고 StarCoder, CodeLlama) DeepSeek-Coder
요약/정보 추출 문맥 이해력, 응집성 강력한 문맥 이해 능력을 갖춘 모델 Mistral, Llama-3, Flan-T5
(Summarization/Extraction) 계열
분류/이진 판단 빠르고 정확한 패턴 작은 크기, 빠른 추론 속도 (Latency) TinyLlama, Phi-3 Mini 등
(Classification/Triage) 인식 경량 모델
2. sLLM 선택 시 핵심 고려사항
로컬 서빙을 목표로 하신다면, 다음 두 가지가 가장 중요합니다.
1. 양자화 (Quantization) 가능 여부: 모델의 파일 크기를 줄여 로컬 GPU/CPU에서 구동하기 쉽게 만드는 과정입니다. GGUF (llama.cpp
포맷)가 현재 가장 널리 쓰이며 호환성이 좋습니다.
2. 추론 속도 (Inference Speed) vs. 정확도 (Accuracy): 더 작은 모델(예: 3B/7B)은 빠르지만 정확도가 떨어질 수 있고, 더 큰 모델은
느리지만 더 정확할 수 있습니다.
3. 검색 전략 (Search Strategy)
Hugging Face Hub에서 원하는 모델을 찾으려면, 검색창에 다음과 같은 키워드를 조합하여 검색하는 것이 가장 효율적입니다.
• sllm GGUF (가장 쉽게 로컬 서빙 가능한 모델을 찾기 위함)
• 7B instruction tuned (성능과 크기의 균형을 찾기 위함)
• code generation 8bit (코딩 전용 모델을 찾기 위함)
────────────────────────────────────
'AI와 교육 > AI Literacy' 카테고리의 다른 글
| 1차도전_헤르메스를 이용한 AI (ugreen nas with docker) 설치(2026.08.11) (0) | 2026.08.12 |
|---|---|
| 상반되는 문단 모양(형식) 요청 시 GPT의 답변 속도가 느려지는 현상 (0) | 2026.02.09 |
| rag 개인화 구성 모델 검토 (2026.2.4) (0) | 2026.02.04 |
| AI tool 기업 도입에 대해서 (2026.01.25) (0) | 2026.01.27 |
| Open Code 설치 ( window 컴 2026.01.25 ) (0) | 2026.01.25 |