설정
Colab 런타임 선택
Gemma 모델을 실행하기에 충분한 리소스가 포함된 Colab 런타임이 필요합니다. 이 경우 T4 GPU를 사용할 수 있습니다.
- Colab 창 오른쪽 상단에서 ▾(추가 연결 옵션)을 선택합니다.
- "런타임 유형 변경"을 선택합니다.
- 하드웨어 가속기에서 T4 GPU를 선택합니다.
Gemma setup
Gemma 설정의 설정 지침을 완료해야 합니다. Gemma 설정 지침은 다음을 수행하는 방법을 보여줍니다.
- kaggle.com에서 Gemma에 액세스하세요.
- Gemma 2B 모델을 실행하기에 충분한 리소스가 있는 Colab 런타임을 선택하세요.
- Kaggle 사용자 이름과 API 키를 Colab 비밀로 생성하고 구성합니다.
Gemma 설정을 완료한 후 다음 섹션으로 이동하여 Colab 환경에 대한 환경 변수를 설정합니다.
Kaggle API Key 생성
1. Kaggle에 로그인한후 Your Profile 선택
2. Settings 클릭해서 이동
3. API 항목중 Create New Token 클릭
4. 로걸에 다운로드된 kaggle.json 파일에서 username과 key값을 저장합니다.
{"username":"dongshik","key":"4a566********************9a7be40"}
자격 증명(credentials) 구성
Kaggle 자격 증명을 Colab Secrets 관리자에 추가하여 안전하게 저장합니다.
- Google Colab 노트북을 열고 왼쪽 패널에서 🔑 Secrets 탭을 클릭합니다.
- 새 비밀번호 만들기 (+새 보안 비밀 추가) : KAGGLE_USERNAME 및 KAGGLE_KEY
- 사용자 이름을 KAGGLE_USERNAME에 복사하여 붙여넣으세요.
- KAGGLE_KEY에 키를 복사하여 붙여넣으세요.
- secret 에 대한 "노트북 액세스"를 허용하려면 왼쪽에 있는 버튼을 전환하세요.
Python에서 Kaggel Cerdential key 가져오기
import os
from google.colab import userdata
# Note: `userdata.get` is a Colab API. If you're not using Colab, set the env
# vars as appropriate for your system.
os.environ["KAGGLE_USERNAME"] = userdata.get("KAGGLE_USERNAME")
os.environ["KAGGLE_KEY"] = userdata.get("KAGGLE_KEY")
실행했을때 403 Client Error 발생하는경우 kaggle keras gemma 2에 대한 Access 권한이 없기때문입니다.
이럴때 kaggle keara gemma 2로 가서 Access 권한을 요청합니다.
...
You don't have permission to access resource at URL: https://www.kaggle.com/models/keras/gemma2/keras/gemma2_9b_en/2
Please make sure you are authenticated if you are trying to access a private resource or a resource requiring consent.
https://www.kaggle.com/models/keras/gemma2
생략...
'AI > LLM-Gemma' 카테고리의 다른 글
Google Colab에서 Ollama를 사용하여 Gemma 모델을 실행 (0) | 2024.09.22 |
---|---|
Mac Intel CPU Ollama gemma2 (1) | 2024.09.06 |