参与评估

上一页自定义Metrics 下一页查看评估结果

最后更新于3年前

这有帮助吗？

参与评估

您可以通过Sextant参与您和您的团队成员创建的评估，支持通过使用TensorBay数据集和使用模型两种参与模式

若您对评估的基准数据没有使用权限，请在参与时根据提示申请相应权限

使用TensorBay数据集参与评估

在Sextant评估列表页找到需要参与的评估，点击【查看】进入对应评估的详情页面

在评估的详情页面点击右上角的【参与评估】按钮

在弹窗中选择【从TensorBay选择数据】，然后选中需要参与评估的数据集和对应的版本，点击确定后，评估将会自动开始，此时系统会自动生成一条评估记录

评估的状态分为评估中、已完成和已失败三种，如评估失败，请查看评估日志排查问题后重试，如需帮助，请向我们反馈

使用模型参与评估

在Sextant评估列表页找到需要参与的评估，点击【查看】进入对应评估的详情页面

在评估的详情页面点击右上角的【参与评估】按钮

在弹窗中选择【从Github导入模型】，然后填写对应的GitHub Repo URL，例如https://github.com/Graviti-AI/tensorbay-python-sdk.git 点击确定后，评估会自动开始，此时系统会自动生成一条评估记录

如何准备适用于Sextant的算法模型

1.首先准备好需要用于评估的算法，并验证其可用

2.按照以下结构编写python代码：

python 库中有且只有一个名为 Predictor 的 class
Predictor 类中存在 predict() 方法，返回值请参考graviti 标准化文档
算法所依赖的模型须能被该算法使用

class Predict:
    def __init__(self):
        """
        You can initialize your model here
        """
        ...
    def predict(self, img_data: bytes) -> Dict[str, Any]:
        """
        Do the predict job
        :param img_data: the binary data of one image file
        :return: the predict result
        """
        ...

"""
2D框返回值示例

{
    "BOX2D": [
        {
            "box2d": { "xmin": 1, "ymin": 2, "xmax": 3, "ymax": 4 },
            "category": "cat"
        },
        {
            "box2d": { "xmin": 5, "ymin": 4, "xmax": 6, "ymax": 9},
            "category": "dog"
        }
    ]
}
"""