新建数据集
最后更新于
最后更新于
您可使用【格物钛存储】的方式,将数据上传至TensorBay;也可使用【授权存储】的方式,授权TensorBay管理您存储在其他云服务器上的数据。
在顶部导航栏点击【我的数据集】(个人开发者)或【团队数据集】(团队开发者),选择【新建数据集】下拉框中的【新建数据集】进行数据集新建。
填写数据集名称、别名(选填),系统将根据数据集名称生成该数据集的URL。数据集名称和别名均可更改。
选择【存储配置】,选择或创建您的数据存储方式,并将数据上传至对应的存储空间(注意:这将占用您的格物钛存储或授权存储空间)
若下拉栏中的存储配置不符合您的存储需求,可以点击【新增数据存储配置】新增存储方式。
个人开发者仅支持选择【格物钛存储】,并且选择存储区域,将数据上传至您在TensorBay上的私有存储空间(注意:这将占用您的默认存储空间)
除了【格物钛存储】,团队开发者也支持选择【授权存储】,TensorBay将通过授权方式读取和管理您在其他云服务器上的数据,该操作不占用您的默认存储空间,但会占用授权存储空间。在填写相应配置信息后,支持通过授权方式使用您在阿里云OSS、亚马逊S3以及Azure Blob上的数据。详情请参照如何管理您在云存储上的数据。
选择【公开】,则表示您的数据集的数据将对社区用户开放,任何人都可以搜索、查看、查询和Fork此公开数据集中的所有数据。格物钛支持您对开源社区的贡献,将为您公开的数据集提供不限额的免费存储容量。
选择【私有】,则表示这是您的私有数据集,任何人将无权访问,仅您可以控制数据集的查看和使用权限。若您创建私有的团队数据集,则默认您的团队成员可搜索和查看您所创建的数据集的基本信息,您可以控制哪些团队成员可查看、使用、编辑或管理您所创建的团队数据集的数据。
数据集新建成功后,会自动默认新建一个main Branch,并在此branch上默认新建一个draft,并进入【上传数据界面】。
您可以将数据上传至指定Segment中(文件上传需先新建segment),数据上传支持【本地上传】、【通过开发者工具上传】这两种方式。
您也可以点击【跳过】,直接进入【Commit Draft】界面。
选择【本地上传】,您可将本地文件夹拖入页面中,或在本地目录中选择多个需要上传的数据。数据添加完成后点击【开始传输】,TensorBay则会将数据从您的本地读取后直传至您的私有云存储空间中。在传输未完成前,请不要离开传输界面,否则会造成剩余数据传输失败。
开发者工具上传:可以通过Python SDK或Open API的方式上传数据文件以及标注数据。该方式支持融合数据集、连续数据以及标注数据的上传、编辑和数据管理。详情可见如何使用开发者工具。
开发者工具
完成数据上传后,点击【确定】进入【Commit Draft】界面。输入Commit 标题、描述(选填)、Tag作为该版本的说明,点击【Commit】发布新的版本,完成Commit操作。发布后该版本将不再接受修改。
仅 Commit 后的数据集基本可用于标注、训练等数据的后续使用。
如果暂时不想将该Draft发布为新版本,您可点击【跳过】,数据集将保留【Draft】版本,回到数据集详情页,您可通过【管理数据】进入【数据列表】继续修改如上传数据、删除数据等;或通过【编辑】进入Draft列表页面,选择Draft,对数据、数据集信息进行修改。
通过【管理数据】进入【数据列表】对数据集信息进行修改及查看,支持用户在当前页面查看数据集信息,进行搜索,查看Catalog, 新建draft来编辑数据以及用当前搜索结果创建新数据集等操作。