BrianaAI

오늘은 redis dashboard로 사용하기 위해서

Ubuntu에 Grafana를 설치하고 

접속되는지까지 확인해보도록 하겠습니다.

(윈도우는 넘 어렵네요 ^___^, 하긴 했는데 플러그인이 잘 안됐어요...

그냥 .msi 다운받고 next만 눌러주고, http://localhost:3000 접속만하면 끝.)

1. Grafana 설치

https://grafana.com/grafana/download?platform=windows

위 그림대로 "Download the installer" 선택하시고 명령어를 수행해보겠습니다.

sudo apt-get install -y adduser libfontconfig1
wget https://dl.grafana.com/enterprise/release/grafana-enterprise_10.0.3_amd64.deb
sudo dpkg -i grafana-enterprise_10.0.3_amd64.deb

2. 서비스 실행

sudo service grafana-server start

• ID: admin
• PW: admin
• http://localhost:3000 으로 접속

3. 서비스 상태 확인

sudo service grafana-server status

문제(Problem)

아래와 같은 에러를 마주하셨나요?

No such file or directory: ''C:\Users .. ultralytics\yolo\cfg\default.yaml. 

[Kor]

안녕하세요. 오늘은 Yolo8을 사용하면서 PyInstaller를 이용해 yolov8을 .exe로 패키징 하는 과정에서 마주한 에러인데요.

해결 방법에 대해서 소개해보도록 하겠습니다.

• 문제 원인: Pyinstaller의 path 문제인데요!
• 아나콘다가상환경/site-packages/ultralytics/ 에 가면 yolo/cfg/default.yaml이 있습니다.
  • 걔의 경로를 바꿔주셔야해요. Pyinstaller는 ROOT 를 모르는 것 같습니다. 

• 찾아가야하는곳 : C:\Users\user\Anaconda3\envs\(virtual environment name)\Lib\site-packages\ultralytics\yolo\utils\__init__.py

=> 34번째 줄에 ROOT 저기가 맞지 않아서 그런 것 같아서 절대경로로 적어줄게요.

수정해서 한 번 진행해보세요 :)

[ENG]

Hi Guys! Today, i faced a error which is for making yolov8 model to .exe using pyinstaller.

I'm gonna introduce how to solve this problem!

• Cause: Path for PyInstaller
• If you go to anaconda virtual environment path, you can identify "yolo/cfg/default.yaml" file there.
• The problem is .exe file can't read above .yaml file

You need to go: C:\Users\user\Anaconda3\envs\(virtual environment name)\Lib\site-packages\ultralytics\yolo\utils\__init__.py

You need to change red line as absolute path

* Reference Link: https://github.com/orgs/ultralytics/discussions/1356

안녕하세요.

Meta에서 2023.07.18 LLaMa2를 공개합니다.

지금은 공개일로부터 약 7일이 지났네요.

이제는 일주일이면 많이 늦어진 상황이 되고 있습니다. 

세상은 정말 너무 빠르게 흘러가고 있기 때문에 놓치면 안됩니다. 

오늘도 간랸한 논문 리뷰 남겨보겠습니다.

LLaMa1과 달리 LLaMa2 달라진 점

• 훈련 데이터 더 public 데이터로 늘렸고
• 파라미터 7B, 13B, 34B, 70B
• context length 문장길이 2배 늘렸고
• GQA: Group Q&A 가능하고
• Tockens 1조->2조 늘었고

성적

이런 변화 때문인지,

발표 공개 당일 1등,

현재 일주일이 지난 지금 3등을 유지하고 있습니다.

https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?ref=t4eh0.com

한국회사, upstage, 는 그 바로 아래 4등을 유지하고 있습니다.

1등은 stability ai 회사로 UK회사인데 유명한 stable defusion을 공개했었죠!

Training

• Meta's Research Super Cluster (NVIDIA A100s)
• GPU max 2000 - 35days (500억)
• LLaMa2 70B - A100 80GB, 1720320h

CO2 Emission

Fine-tuning

• Supervised fine-tunning
  • 다양한 소스 긁어왔지만 다양성 부족
  • SI업체 질 좋은 데이터셋 사용하니 양 적어도 훨씬 좋다.
• Reinforcement Learning with Human Feedback
  • 폭탄 만드는 법 알려줘 같은 질문에는 답을 하지 못하도록
  • 사람의 주입 정보로 모델의 행동을 align 시키는 학습단계
  • A,B 둘다 안전하다 > A만 안전하다 > B만 안전하다 > 둘 다 안전하지않다 등 답변 가능하도록
• System Message for Multi-Turn Consistency
  • 초기 대화 잊어먹는 문제 있어서 ghost attention(GATT) 제안
  • 첫 질문, 마지막 질문을 제외한 모든 메세지는 loss 0으로 처리, 첫 메세지 오래 유지될 수 있도록

안녕하세요.

오늘은 메타(구. 페이스북)에서 공개한 LLaMa 논문에 대해서 설명해보도록 하겠습니다.

논문에 대한 Summary를 찾기 쉽지 않아 직접 리뷰해본 논문이네요 :)

아주아주 간략하게 리뷰해보겠습니다.

Pre-trained Data

• 공공데이터만을 사용
• 각 데이터별로 다양한 전처리 기법을 적용함.
• 예) 글 내부에 영어가 아닌 다른 언어는 제외시키는 linear 모델
• Github (코드), Wikipedia (지식), Books (책), ArXiv (과학적지식), StackExchange(수준높은 Q&A), 등의 데이터 수집을 진행

• Tokenizer: BPE(Byte pair encoding) -> Sentence piece (BERT는 word piece)
• Training: 1.4T 토큰, 학습동안 모든 토큰은 only 1번만 사용됨. (위키피디아, books 도메인은 2번)

BPE 토큰화란?

1994년에 제안된 "정보 압축 알고리즘", 데이터에서 가장 많이 등장한 문자열을 병합해서 데이터를 압축하는 기법

• Tockenizer 전: aaabdaaabac (aa->Z)
• Tockenizer 후: ZabdZabac (ab->Y)
• Tockenizer 한 번 더: ZYdZYac

Architecture

• Transformer architecture 사용 (Attention is all you need) + 3개 추가 바꾼 것
  • Pre-normalization[GPT3]:
    • output normalization 안하고
    • 훈련 안정성 높이려고, 각 트랜스포머 sub-layer의 input을 normalize
    • RMSNorm (2019) 
  • SwiGLU [PaLM]
    • ReLU 대신 SwiGLU로 대신 (성능 향상 목적으로)
    • PaLM의 4d 대신에 2/3*4d 차원 사용
  • Rotary Embeddings [GPTNeo]
    • absolute positional embedding 제거
    • rotary positional embedding 추가 (매 layer 마다)

Training

• 2048 A100에서 21일간 훈련 진행.
• 근데 시간 단축하기 위한 수많은 노력들이 들어있음.
  • AdamW, 코사인 훈련 스케쥴러
  • 캐쥬얼 멀티헤드 어텐션
  • 활성함수 수 줄이기

Result

1) Common Sense Reasoning

• BoolQ, PIQA, SIQA, HellaSwag, WinoGrande, ARC, OpenBookQA => 의미 모호한 대명사 찾기, 객관식 등
• LLaMa-65B > Chinchilla-70B (BoolQ 빼고 다 높음.)
• LLaMa-65B > PaLM-540B (BoolQ, WinoGrande 빼고 다 높음.)
• LLaMa-13B > GPT-3: 대부분 높다. 10배나 크기가 작은데

2) Closed-book Question Answering

• Zero-shot, few-shot 모두 LLaMa-65B 좋고, LLaMa-13B gpt-3나 chinchilla보다 5-10배나 작은데 견줄만하다.

=> 쭉 정리하다보니 다 LLaMa 좋거나 견줄만한 성능 나왔다. 그래서 모델의 크기 대비 성능 유사 혹은 그 이상

다시 정리하면,

1) Tocken 전처리

2) Transformer + 3개 바꾼거

3) Training 속도 향상시킨거

4) public data 쓴거

4가지로 정리할 수 있을 것 같습니다 :)

* Reference

[1] BPE: https://ratsgo.github.io/nlpbook/docs/preprocess/bpe/