2 Star 4 Fork 4

GPUStack/gguf-parser-go

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
克隆/下载
file_architecture_test.go 784 Bytes
一键复制 编辑 原始数据 按行查看 历史
thxCode 提交于 2024-06-07 19:08 +08:00 . refactor: simplify estimate
package gguf_parser
import (
"context"
"os"
"testing"
"github.com/davecgh/go-spew/spew"
)
func TestGGUFFile_Architecture(t *testing.T) {
ctx := context.Background()
f, err := ParseGGUFFileFromHuggingFace(
ctx,
"NousResearch/Hermes-2-Pro-Mistral-7B-GGUF",
"Hermes-2-Pro-Mistral-7B.Q5_K_M.gguf",
SkipLargeMetadata())
if err != nil {
t.Fatal(err)
return
}
t.Log("\n", spew.Sdump(f.Architecture()), "\n")
}
func BenchmarkGGUFFile_Architecture(b *testing.B) {
mp, ok := os.LookupEnv("TEST_MODEL_PATH")
if !ok {
b.Skip("TEST_MODEL_PATH is not set")
return
}
f, err := ParseGGUFFile(mp, SkipLargeMetadata(), UseMMap())
if err != nil {
b.Fatal(err)
return
}
b.ReportAllocs()
b.ResetTimer()
for i := 0; i < b.N; i++ {
_ = f.Architecture()
}
}
Loading...
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
1
https://gitee.com/gpustack/gguf-parser-go.git
git@gitee.com:gpustack/gguf-parser-go.git
gpustack
gguf-parser-go
gguf-parser-go
main

搜索帮助