[Langchain] Langchain에서 Ollama로 llama3 간단하게 사용해보기~!

안녕하세요~! 

 

오늘은 저번글에서 설치한 ollama 를 간단하게 사용해보려고 합니다. 

 

Ollama 설치글은 저번글을 참고 하시면 됩니다.

2024.05.06 - [LLM] - [LLM] Ollama 설치해보기~!

[LLM] Ollama 설치해보기~!

 

일단 모델을 받아야하는데 뭘 받아야할지 몰라서 공홈으로 가서 보고 받았습니다.

https://ollama.com/library

library

 

아래 이미지와 같이 지원되는 여러 모델이 있는 것을 확인 할 수 있음

 

나름 쌔삥이자 위에 있는 라마3를 받아서 사용해보려고 한다. 

다운시 사이용하는 명령어도 적혀있음

참고로 llama3 같은 경우 ollama 안에서는 아래와 같이 나눠져 있으니 참고하고 받으면 될듯함

---

Ollama 사용해보기

 

저는 디렉토리 하나 생성하고 안에 py 파일을 만들어서 진행하였습니다. 

 

1. 위에 있는 명령어를 실행해서 다운을 진행해보기

작아서 잘 안보이지만 터미널에서 명령어 치면 이렇게 다운한다.

 

요거 입력하면됨

ollama run llama3

---

2. 필요한 라이브러리 설치하기 

일단 뭐 대부분 랭체인을 많이쓰는듯 하다.

나는 아직 허접이라 무대뽀식으로 설치해서 이것보다 더 적게 설치해도 될수도...

 

일단 파이썬에 설치한 것들은 아래와 같으니 모른다면 일단 아래 것들만 설치해서 진행해보자.

pip install langchain
pip install langchain-community

---

3 -1. 사용해보기(터미널)

사실 바로되는지는 잘 몰라서 얼떨결에 해봄 

- 일단 받고나서 바로 질문이 가능하고 아직 따로 손댄게 없어서 그런지 한글로 질문해도 영어로 대답한다. 

- 터미널 안에서는 나가기는 ctrl + d 나 /bye로 나갈 수 있음

- 대답 생성시 자동으로 GPU가 돌아가는 듯

 

3-2. py파일을 통해 사용해보기

 

작성한 코드

from langchain_community.llms import Ollama

# model
llm = Ollama(model='llama3')

# chain 실행
response = llm.invoke('지구의 자전 주기는?')

print('*' * 50)
print(response)
print('*' * 50)

 

생성된 답변

 

뭐... 일단 여기까지는 되는듯 하다. 

 

그럼 다음에 또 다른 글로 찾아오도록 하겠습니다.