帮助文档
  • 帮助文档
  • 注册账号
    • 个人设置
    • 团队设置
  • 开发者文档
    • 开发者工具
      • Python SDK
      • CLI
      • Open API
        • Dataset Operation
        • Data Operation
      • 示例演示
        • 模型训练
        • 数据挖掘
  • 产品使用文档
    • TensorBay
      • TensorBay 适用于算法研究的各个阶段
      • 概念说明
      • 快速入门 - 开发者版
      • 快速入门 - 团队版
      • 数据集准备
        • 新建数据集
        • 管理云服务上的数据
          • 阿里云oss用户授权RAM
        • 利用数据集筛选快速新建
        • 数据合并拆分及复制移动
        • 通过Fork使用公开数据集
      • 数据版本管理
        • 管理数据文件
        • 管理标注数据
        • 管理数据集信息
        • 管理版本信息
        • 管理数据集分支
        • 数据集活动
        • 数据集设置
      • Pharos 数据可视化
        • 获取 Pharos
        • Pharos 使用指南
      • 团队协作
        • 创建团队空间
        • 资料/成员管理
        • 数据集管理
        • 团队活动日志
      • Action 流程自动化
        • 新建工作流
        • 运行工作流
        • 管理工作流
        • YAML语法说明
        • Crontab语法说明
        • 自动化配置
      • 如何与Pipeline集成
    • Open Datasets
      • 数据集概念
      • 查找公开数据集
      • 在线预览数据及标签分布
      • 在线使用并管理数据集
      • 下载公开数据集
      • 找不到想要的数据集?
  • APPs
    • GroundTruth Tools
      • 图片标注
      • 语音分类
    • TeraGood Service
      • 需求方使用手册
      • 运营方使用手册
      • 标注方使用手册
    • Sextant
      • 新建评估
      • 自定义Metrics
      • 参与评估
      • 查看评估结果
  • 更新日志
  • 格物钛官网
由 GitBook 提供支持
在本页
  • 使用TensorBay数据集参与评估
  • 使用模型参与评估
  • 如何准备适用于Sextant的算法模型
  • 查看评估日志

这有帮助吗?

  1. APPs
  2. Sextant

参与评估

上一页自定义Metrics下一页查看评估结果

最后更新于3年前

这有帮助吗?

您可以通过Sextant参与您和您的团队成员创建的评估,支持通过使用TensorBay数据集和使用模型两种参与模式

若您对评估的基准数据没有使用权限,请在参与时根据提示申请相应权限

使用TensorBay数据集参与评估

在Sextant评估列表页找到需要参与的评估,点击【查看】进入对应评估的详情页面

在评估的详情页面点击右上角的【参与评估】按钮

在弹窗中选择【从TensorBay选择数据】,然后选中需要参与评估的数据集和对应的版本,点击确定后,评估将会自动开始,此时系统会自动生成一条评估记录

使用模型参与评估

在Sextant评估列表页找到需要参与的评估,点击【查看】进入对应评估的详情页面

在评估的详情页面点击右上角的【参与评估】按钮

如何准备适用于Sextant的算法模型

1.首先准备好需要用于评估的算法,并验证其可用

2.按照以下结构编写python代码:

  • python 库中有且只有一个名为 Predictor 的 class

  • 算法所依赖的模型须能被该算法使用

class Predict:
    def __init__(self):
        """
        You can initialize your model here
        """
        ...
    def predict(self, img_data: bytes) -> Dict[str, Any]:
        """
        Do the predict job
        :param img_data: the binary data of one image file
        :return: the predict result
        """
        ...

"""
2D框返回值示例

{
    "BOX2D": [
        {
            "box2d": { "xmin": 1, "ymin": 2, "xmax": 3, "ymax": 4 },
            "category": "cat"
        },
        {
            "box2d": { "xmin": 5, "ymin": 4, "xmax": 6, "ymax": 9},
            "category": "dog"
        }
    ]
}
"""

4.将代码文件上传到Github,并复制.git链接粘贴至Sextant参与评估

如果您的代码依赖于某个模型,请保证您的模型能被代码顺利访问

查看评估日志

Sextant将会记录评估过程中的系统运行日志,以供用户了解评估过程情况并解决可能出现的BUG,查看方法如下:

在Sextant评估列表页找到需要查看的评估,点击【查看】进入对应评估的详情页面

在页面下方的评估参与记录中找到需要查看日志的记录,点击右侧的【日志】按钮

在弹窗中选择需要查看日志的步骤,对应的日志信息将会显示在右侧

评估的状态分为评估中、已完成和已失败三种,如评估失败,请查看评估日志排查问题后重试,如需帮助,请向我们

在弹窗中选择【从Github导入模型】,然后填写对应的GitHub Repo URL,例如 点击确定后,评估会自动开始,此时系统会自动生成一条评估记录

Predictor 类中存在 predict() 方法,返回值请参考

3.详细信息请参考

反馈
https://github.com/Graviti-AI/tensorbay-python-sdk.git
graviti 标准化文档
示例说明