[HW8] LM 서버 관련 문의 LM Server Setup

[jihongmin63]

이름 Your Name

민지홍 Jihong Min

질문 Question

안녕하세요, HW8 과제 관련하여 문의드릴 사항이 있어 글을 올립니다.

과제 설정(README.md)에 따라 run_inference -n 1 명령어를 사용하여 LM 서버를 시작하려고 시도했습니다.
하지만 서버 실행 후, 다음 문구와 함께 오류가 발생하여 서버가 정상적으로 작동하지 않았습니다.

저는 Docker 환경에서 과제를 진행하고 있습니다.
혹시 제가 잘못한 부분이나, 다시 진행해야 하는 것이 있을까요?

감사합니다,
민지홍 올림

번역본 Translated Version

Hello, I'm writing to ask a question regarding the HW8 assignment.

Following the assignment setup (README.md), I attempted to start the LM server using the command run_inference -n 1. However, after running the server, an error occurred with the following message, and the server did not operate normally.

I am doing the assignment in a Docker environment.
Is there anything I might have done wrong, or anything I should try again?

Thank you

[duncan020313]

안녕하세요.

우선, 도커 이미지를 다시 최신 버전으로 pull 받아서 사용해보시기 바랍니다.
여전히 동작하지 않는 경우, VM에서 작업하는 것을 권장드립니다.

감사합니다.

---

Hello.

First, please try pulling the Docker image again to get the latest version.
If it still doesn't work, we recommend working on a VM.

Thank you.

[jqpz]

Hello,

As far as i am able to tell there is no new version for the docker image.
running docker pull prosyslab/classroom gives me Status: Image is up to date for prosyslab/classroom:latest docker.io/prosyslab/classroom:latest

Yet I experience the exact same problem as the person who wrote this.

Working on a VM also doesn't work for me. I tried following the (outdated) setup guide for mac provided by this course: I was able to download Secuway SSLU, but then when logging in with correct credentials i get this:
(multiple tries, same response each time)

I'd appreciate any advice on what I am supposed to do now, since otherwise I am unable to start the homework.
Ideally a fix for the docker setup, since it's one of the official setups for this course and should therefore be functional for the homework we get assigned.

Thank you.

[6eps]

CPU 아키텍처(명령어 집합) 호환성 문제로 보입니다. Docker 이미지에 포함된 바이너리가 현재 실행 중인 CPU가 지원하지 않는 명령어(AVX512 등)를 사용하려다 SIGILL 에러가 발생한 것 같습니다.
/BitNet 디렉터리 내의 build 폴더를 삭제하여 기존 설정을 초기화한 뒤, setup_env.py를 다시 실행해서 현재 환경에 맞춰 재빌드하면 해결될 것으로 보입니다.

cd /BitNet
rm -rf build
python3 setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

---

It looks like a CPU architecture (instruction set) mismatch issue. The SIGILL error suggests that the pre-compiled binary in the Docker image is trying to execute instructions (likely AVX512) that are not supported by your current CPU.
Deleting the build directory inside /BitNet to clear the cache, and then running setup_env.py again to rebuild for your specific environment should resolve the issue.

---

이슈는 닫혔지만, 저도 같은 에러가 발생하여 해결한 방법을 공유합니다. 혹시 조교님께서 보신다면 이 방법이 적절한 해결책인지 검토해주시면 감사하겠습니다.

[jqpz]

I have the same problem and I think we don't have the permission for rebuilding.
I got this error when running your suggested fix:
PermissionError: [Errno 13] Permission denied: 'logs/install_gguf.log'

[6eps]

I used sudo

[duncan020313]

@6eps 말씀해주신 대로 대로 현재 빌드된 바이너리가 여러분의 호스트 머신과 다른 ISA를 사용하고 있어 발생하는 문제로 보입니다. 확인해주셔서 감사합니다.

@jqpz 여러 호스트 머신에 호환 가능하도록 바이너리를 수정하여 다시 도커 파일을 제공해 드리겠습니다. 그 전까지는 나눠드린 VM에서 작업하시기 바랍니다.
말씀하신 대로 Environment Setup 가이드는 현재 구석 버전이고, 새로운 버전의 vpn (https://apple.secuwiz.co.kr/u21_ios_down.html)을 사용하여 접속해주시기 바랍니다.

혼란을 드려 죄송합니다.

---

@6eps As you mentioned, it appears the issue stems from the currently built binary using a different ISA than your host machine. Thank you for confirming this.

@jqpz We will modify the binary for compatibility across multiple host machines and provide an updated Dockerfile. Until then, please continue working on the shared VM.
As you mentioned, the Environment Setup guide is currently outdated. Please connect using the new VPN (https://apple.secuwiz.co.kr/u21_ios_down.html).

We apologize for the confusion in your work environment.

[leehahoon]

현재 CPU 아키텍처(명령어 집합) 호환성 문제를 해결한 도커 이미지를 업로드했습니다.
docker pull prosyslab/classroom을 통해 최신 버전 도커 이미지를 다운로드 받아 사용해주세요.
감사합니다.

---

I've uploaded a docker image that resolves the current CPU architecture (instruction set) compatibility issue.
Please download and use the latest docker image via docker pull prosyslab/classroom.
Thank you.