FauxPilot - 오픈소스 GitHub CoPilot 서버 (github.com/moyix)

FauxPilot - 오픈소스 GitHub CoPilot 서버를 소개합니다.

깃허브에서는 FauxPilot 를 아래와 같이소개하고 있고요.
This is an attempt to build a locally hosted version of GitHub Copilot. It uses the SalesForce CodeGen models inside of NVIDIA's Triton Inference Server with the FasterTransformer backend.

FauxPilot 는 한마디로, 오픈소스 GitHub CoPilot 서버라고 머릿속에 넣어두시면 됩니다.

공부해보니, 아래와 같은 전제조건이 필요하고요..

Prerequisites

You'll need:

• Docker
• docker-compose >= 1.28
• An NVIDIA GPU with enough VRAM to run the model you want.
• nvidia-docker

Note that the VRAM requirements listed by setup.sh are total -- if you have multiple GPUs, you can split the model across them. So, if you have two NVIDIA RTX 3080 GPUs, you should be able to run the 6B model by putting half on each GPU.

Copilot 플러그인 설명은 아래와 같습니다.

FauxPilot의 특징을 간단하게 정리하자면 아래와 같습니다.

• 로컬에서 호스트 되는 CoPilot을 만들기 위한 시도
• SalesForce CodeGen 모델 사용 : NVidia Triton Inference Server + FasterTransformaer Backend
• 요구사항 : Docker , docker-compose >= 1.28, NVIDIA GPU(모델을 돌리기에 충분한 VRAM 필요)

자세한 사항은 아래 깃허브를 참고하시면 될것 같네요..

오늘의 블로그는 여기까지고요..
항상 믿고 봐주셔서 감사합니다.