IBM/pytorchpipe

# This file defines the default values for the WikiText language modeling.

####################################################################
# 1. CONFIGURATION PARAMETERS that will be LOADED by the component.
####################################################################

# Folder where task will store data (LOADED)
data_folder: ~/data/language_modeling/translation_pairs

# Defines the dataset that will be used used (LOADED)
# Options: eng-fra, eng-pol
dataset: eng-fra

# Defines the used subset (LOADED)
# Options: train | valid | test
subset: train

# Length limit of source and target sentence
# if < 0, no limit
sentence_length: 10

streams: 
  ####################################################################
  # 2. Keymappings associated with INPUT and OUTPUT streams.
  ####################################################################

  # Stream containing batch of indices (OUTPUT)
  # Every task MUST return that stream.
  indices: indices

  # Stream containing batch of tokenized source sentences (OUTPUT)
  sources: sources

  # Stream containing batch of tokenized target sentences (OUTPUT)
  targets: targets

globals:
  ####################################################################
  # 3. Keymappings of variables that will be RETRIEVED from GLOBALS.
  ####################################################################

  ####################################################################
  # 4. Keymappings associated with GLOBAL variables that will be SET.
  ####################################################################

  ####################################################################
  # 5. Keymappings associated with statistics that will be ADDED.
  ####################################################################