Open Source (Local) LLM - Ollama 사용하기

Open Source (Local) LLM 장점과 단점

 

장점

• 보안성 : 유료 LLM(대규모(초거대) 언어 모델)를 사용하지 않기 때문에 데이터가 유출될 위험이 없습니다.
• 접근성 : 내부 망에 서버가 있어 외부 망과 연결하지 않아도 되고 인터넷 연결 없이도 사용이 가능합니다.
• 빠른 응답 : 내부 서버에서 실행되므로 처리 응답이 빠릅니다. (대기 시간이 짧아집니다.)
• 비용 절감 : 유료 LLM 사용료가 없습니다.
• 다양한 모델 사용 : 서버나 서비스에 맞게 다양한 모델을 사용할 수 있습니다.

 

단점

• 정확성의 한계 : 모델이 학습된 날짜가 오래될 경우 오래된 정보가 제공되거나 정보가 없을 수도 있습니다. (파인 튜닝 또는 관련 정보 별도 구축 후 연동)
• 높은 시스템 비용 : 모델에 따라 고성능 GPU와 대용량 메모리가 있는 시스템을 사용할 수 있기 때문에 서버 비용 부담이 증가될 수 있습니다.

 

유료 LLM(대규모(초거대) 언어 모델)을 대처할 Open Source LLM(대규모(초거대) 언어 모델) 사용

 

 

Ollama (올라마)
로컬 머신에서 LLM을 실행시켜주는 프로그램입니다.

 

Ollama 설치하기

1. Ollama (https://ollama.com) 사이트에 접속합니다.

 

2. Download Ollama (https://ollama.com/download)에서 Windows를 선택하고 다운로드를 클릭합니다.

 

3. 다운로드된 OllamaSetup를 실생하여 설치합니다.

 

Ollama 설치 위치는 C:\Users\{사용자계정}\AppData\Local\Programs\Ollama 입니다.

 

4. 콘솔에서 ollama를 실행하여 사용방법을 확인할 수 있습니다.

ollama

 

모델로 Gemma3를 사용하도록 하겠습니다. 현재는 Gemma4입니다.

Gemma (https://deepmind.google/models/gemma/)

 

 

Ollama에서 gemma3 다운로드 하기

1. Ollama Models Search (https://ollama.com/search)에서 gemma3를 검색합니다.

 

gemma3(https://ollama.com/library/gemma3)를 클릭하면 다양한 모델이 있습니다.

PC에서 사용할거라 용량이 작은 모델인 gemma3:1b를 사용할 겁니다.

 

gemma3:1b를 클릭하면 모델에 대한 정보를 확인할 수 있습니다.

 

2. 콘솔에서 ollama pull 명령어를 사용하여 gemma3:1b를 다운로드합니다.

ollama pull gemma3:1b

 

3. 콘솔에서 ollama list 명령어를 사용하여 다운로드된 모델들을 확인할 수 있습니다.

ollama list

 

다운로드된 모델들은 C:\Users\{사용자계정}\.ollama\models\에 저장됩니다.

 

 

Ollama에서 gemma3:1b 실행하기

1. 콘솔에서 ollama run 명령어를 사용하여 gemma3:1b를 실행합니다.

ollama run gemma3:1b

 

2. 다음과 같이 질문을 해보면 답을 잘 해 줍니다.

너는 천문학 전문가로 천문학 질문에 친절하게 답변해 주십시오. 태양계에서 가장 큰 행성은 무엇인가요?

 

Ctrl + D를 누르면 Ollama가 종료됩니다.

 

Ollama 실행 확인하고 종료하기

1. 콘솔에서 ollama ps 명령어를 사용하면 실행중인 모델들이 나타납니다.

ollama ps

 

2.콘솔에서 ollama stop 명령어를 사용하면 실행중인 모델을 중지됩니다.

ollama stop gemma3:1b

 

 

Ollama 앱 실행하기

1. 윈도우 "시작" 버튼을 클릭하고 "Ollama"를 입력하고 앱을 클릭합니다.

 

2. Ollama에서 gemma3:1b를 선택하고 질문하면 됩니다.