帮助文档
搜索文档…
参与评估
您可以通过Sextant参与您和您的团队成员创建的评估,支持通过使用TensorBay数据集和使用模型两种参与模式
若您对评估的基准数据没有使用权限,请在参与时根据提示申请相应权限

使用TensorBay数据集参与评估

在Sextant评估列表页找到需要参与的评估,点击【查看】进入对应评估的详情页面
在评估的详情页面点击右上角的【参与评估】按钮
在弹窗中选择【从TensorBay选择数据】,然后选中需要参与评估的数据集和对应的版本,点击确定后,评估将会自动开始,此时系统会自动生成一条评估记录
评估的状态分为评估中、已完成和已失败三种,如评估失败,请查看评估日志排查问题后重试,如需帮助,请向我们反馈

使用模型参与评估

在Sextant评估列表页找到需要参与的评估,点击【查看】进入对应评估的详情页面
在评估的详情页面点击右上角的【参与评估】按钮
在弹窗中选择【从Github导入模型】,然后填写对应的GitHub Repo URL,例如https://github.com/Graviti-AI/tensorbay-python-sdk.git 点击确定后,评估会自动开始,此时系统会自动生成一条评估记录

如何准备适用于Sextant的算法模型

1.首先准备好需要用于评估的算法,并验证其可用
2.按照以下结构编写python代码:
  • python 库中有且只有一个名为 Predictor 的 class
  • Predictor 类中存在 predict() 方法,返回值请参考graviti 标准化文档
  • 算法所依赖的模型须能被该算法使用
1
class Predict:
2
def __init__(self):
3
"""
4
You can initialize your model here
5
"""
6
...
7
def predict(self, img_data: bytes) -> Dict[str, Any]:
8
"""
9
Do the predict job
10
:param img_data: the binary data of one image file
11
:return: the predict result
12
"""
13
...
14
15
"""
16
2D框返回值示例
17
18
{
19
"BOX2D": [
20
{
21
"box2d": { "xmin": 1, "ymin": 2, "xmax": 3, "ymax": 4 },
22
"category": "cat"
23
},
24
{
25
"box2d": { "xmin": 5, "ymin": 4, "xmax": 6, "ymax": 9},
26
"category": "dog"
27
}
28
]
29
}
30
"""
Copied!
3.详细信息请参考示例说明
4.将代码文件上传到Github,并复制.git链接粘贴至Sextant参与评估
如果您的代码依赖于某个模型,请保证您的模型能被代码顺利访问

查看评估日志

Sextant将会记录评估过程中的系统运行日志,以供用户了解评估过程情况并解决可能出现的BUG,查看方法如下:
在Sextant评估列表页找到需要查看的评估,点击【查看】进入对应评估的详情页面
在页面下方的评估参与记录中找到需要查看日志的记录,点击右侧的【日志】按钮
在弹窗中选择需要查看日志的步骤,对应的日志信息将会显示在右侧