数据挖掘 - 帮助文档

1.新建数据集
a. 进入TensorBay，在个人或团队账户下，点击【新建数据集】 
2.配置密钥
a. 点击导航栏中的【开发者工具】，点击【新建AccessKey】并复制accesskey  
b. 在新建数据集界面，点击【设置】->【自动化配置】->【新建密钥】  
c. 新建密钥，密钥名为accesskey, 密钥值为a步骤复制的accesskey 
3.创建工作流
a. 在新建数据集详情页，点击【自动化】->【新建工作流】  
b. 填写工作流名称（注： Workflow名称只能包含小写字母、数字以及减号，名称不得少于2位字符且首位不能为减号。）  
c. 选择工作流触发机制【Trigger】（默认manual） 
d. 设置工作流参数【Parameters】（注：本次示例参数来源于镜像设置的命令行参数，用以调整爬取论文的月份，默认为1。）
e. 选择实例配置【Instance】  
f. 复制下列内容建立YAML文件
1
# 一个workflow由多个task构成，它们可以串行或并行运行.
2
tasks:
3
  # 本workflow包括四个task，分别为：scraper,pdf2txt,parser,statistics
4
  scraper:
5
    container:
6
         # 本task运行所依赖性的镜像名, 支持公开及私有的镜像仓库
7
      image: hub.graviti.cn/miner/scraper:2.3
8
​
9
      # 镜像运行后执行`./archive/run.py {{workflow.parameters.month}}`这条命令
10
      command: [python3]
11
      args: ["./archive/run.py", "{{workflow.parameters.month}}"]
12
  pdf2txt:
13
    # pdf2txt依赖于scraper，即仅在scraper运行结束后才开始运行
14
    dependencies:
15
      - scraper
16
    container:
17
      image: hub.graviti.cn/miner/pdf2txt:2.0
18
      command: [python3]
19
      args: ["pdf2txt.py"]
20
  parser:
21
    # parser依赖于pdf2txt，即仅在pdf2txt运行结束后才开始运行
22
    dependencies:
23
      - pdf2txt
24
    container:
25
      image: hub.graviti.cn/miner/parser:2.0
26
      command: [python3]
27
      args: ["parser.py"]
28
  statistics:
29
    # statistics依赖于parser, 即仅在parser运行结束后才开始运行
30
    dependencies:
31
      - parser
32
    container:
33
      image: hub.graviti.cn/miner/statistics:2.0
34
      command: [python3]
35
      args: ["statistics.py"]
Copied!
 
g. 点击【发布】后并点击【确定】 
4.运行工作流
a. 点击【自动化】，回到工作流界面。选择刚创建好的工作流并点击【运行工作流】  
b. 调整参数，比如将month对应参数调整成10（月份），并点击【运行】 
5.查看结果
a. 在工作流详情页，点击【用户日志】查看工作流运行日志 
b. 在数据集详情页，点击【概要】->【数据预览】查看统计结果  

最近更新 3mo ago

复制链接

内容