Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

main_KGC运行后,进度条一直是0% #1

Open
wantsci opened this issue Mar 11, 2024 · 6 comments
Open

main_KGC运行后,进度条一直是0% #1

wantsci opened this issue Mar 11, 2024 · 6 comments

Comments

@wantsci
Copy link

wantsci commented Mar 11, 2024

如题,我打开llama-2的api后,运行main_KGC的进度条一直是处于0%的状态。此外我将模型全部换为openai key以及将数据量减少至10%也无法解决进度条一直是0%的问题,openai key经过验证是可以使用的,数据是代码自带的城市数据集。请问除了readme中的流程还需要有其他的操作吗?能否帮忙解答一下,盼复!

@yasNing
Copy link
Collaborator

yasNing commented Mar 12, 2024

使用openai key需要自己改一下接口,因为目前代码是使用的hkustgz内部的接口,后续会在代码中加入openai key的接口访问方式。llama-2的api调用需要在"utilis/open_llm_app.py”中改一下自己的llm_model路径,运行main函数之前,要先打开"utilis/open_llm_api.py"把llama的inferrence服务打开。

@wantsci
Copy link
Author

wantsci commented Mar 12, 2024

感谢解答,按照您的步骤,我对openai 接口和llm_model路径进行了修改
468d2295d53d010a51c3e9a7f1fceb7
d48f566f289ca975f03016623d20f29

,我在运行utilis/open_llm_api.py的时候,会出现没有导入open_llm_appKGC的报错
f14aa4cbd68b54c878b9b27dcee5860

,我将25行代码修改成'open_llm_app'才能运行(这个问题之前就有,忘记请教了),因为我发现没有代码里open_llm_appKGC这个模块,只有open_llm_app。不过还是卡在0%。
2b677ce56787dbf791df24f5988c5e9
650846262adf1c03cd515cb64b67b7c
b2922a6c57c4f4a3d2a287660e54d9d

@yasNing
Copy link
Collaborator

yasNing commented Mar 13, 2024

Hi, wantsci: 从你的运行结果来看,似乎llama-2-7b并没有开始加载模型?你可以通过如下命令来测试模型是否已经加载用于推理服务:
curl -X POST "http://localhost:8000" / -H 'Content-Type: application/json' / -d '{"prompt": "Introduce yourself.", "history": [("Helo", "Hi, How can I help you today?")], "model": "llama-2-7b-chat-hf"}'

@wantsci
Copy link
Author

wantsci commented Apr 9, 2024

您好,感谢回答,通过测试确实发现模型无法加载,我想请教一下您在open_llm_app.py的最后一行写的
image
,我发现并没有open_llm_appKGC这个模块,对应的只有open_llm_app模块,请问这个open_llm_appKGC在哪里

@yasNing
Copy link
Collaborator

yasNing commented Apr 9, 2024

这个是由于我的代码命名错错误了,已在github上修改了,只需将open_llm_appKGC改为open_llm_app即可。

@wantsci
Copy link
Author

wantsci commented Apr 9, 2024

好的感谢您的回复,请问是否我在这里修改了model_path 参数即可运行,其中llama-2-7b-chat-hf已经下载好,但是我并没有看见他打印下面的========以及Loading model ...字段
image
image
我运行您的测试代码,会出现以下报错:
image
image
image

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants