Banesco Basico DataStage DIA 02 datastage chapter 2

chapter 2.1 datasgate

1. © 2019 IBM Corporation
BÁSICO DE PARALLEL JOBS
DIA 02

2. © 2019 IBM Corporation2
Agenda DataStageDia 02
•Selección y Filtros de Datos
•Stages: Switch, RemoveDuplicates, Filter, Modify, PivotEmpresarial.
•Clasificación
•Stage: Sort
•Funciones Dinámicas sobre Columnas
•Stage: Aggregator.
•Transformaciones
•Stage: Transformer
•Invocacion de Funciones
Parte 2

3. © 2019 IBM Corporation3
SELECCIÓN Y FILTRO DE DATOS
Switchstage

4. © 2019 IBM Corporation4
Switch Stage
•The Switch stage is a processing stage that takes a single data
set as input and assigns each input row to an output data set
based on the value of a selector field
•Single input link ; 128 Output links
•Rowsthatsatisfynoneofthecases are output ontherejectlink
•OnPropertiesTab, youcan perform:
✓User-definedMapping
✓Auto
✓Hash

5. © 2019 IBM Corporation5
Switch Stage

6. © 2019 IBM Corporation6
Propiedades

7. © 2019 IBM Corporation7
Salida varias con Rechazo

8. © 2019 IBM Corporation8
SELECCIÓN Y FILTRO DE DATOS
RemoveDuplicatestage

9. © 2019 IBM Corporation9
Removiendo Duplicados

10. © 2019 IBM Corporation10
Stage Remover Duplicados

11. © 2019 IBM Corporation11
Propiedades Stage Remover Duplicados

12. © 2019 IBM Corporation12
SELECCIÓN Y FILTRO DE DATOS
Filterstage

13. © 2019 IBM Corporation13
•This stage transfers, unmodified, the records of the input data set
which satisfy the specified requirements and filters out all other
records
•Single input link ; AnynumberOutput links; Onlyonereject
•OnPropertiesTab, youcan performpredicates:
✓Where(conditional)
✓Output Link
•Options:
✓Outputs reject
✓Output RowOnlyOnce
Filter Stage

14. © 2019 IBM Corporation14
Filtro con dos condiciones

15. © 2019 IBM Corporation15
Filtro con dos condiciones y un rechazo

16. © 2019 IBM Corporation16
Propiedades del Filtro

17. © 2019 IBM Corporation17
Salidas definidas con sus columnas

18. © 2019 IBM Corporation18
SELECCIÓN Y FILTRO DE DATOS
Modifystage

19. © 2019 IBM Corporation19
•The Modify stage alters the record schema of its input data set.
The modified data set is then output
•Single input link ; Single Output link
•OnPropertiesTab, youcan perform:
✓DROP columnname
✓KEEP columnname
✓Change typeofcolumnonnew column
✓Change nullcolumnwithhandle_null(column)

20. © 2019 IBM Corporation20
Stage Modificar

21. © 2019 IBM Corporation21
Indicar columnas en DROP o KEEP
DROP
COLUMN

22. © 2019 IBM Corporation22
En la Salida ya no ven la columna

23. © 2019 IBM Corporation23
SELECCIÓN Y FILTRO DE DATOS
PivotEnterprise Stage

24. © 2019 IBM Corporation24
Pivot Enterprise Stage
•Properties:
✓Pivot Type = Vertical
•Single input link ; Single Output link
•Verticalpivotingmapsasetofrowsintheinputdatatosingleor
multipleoutputcolumns.Thearraysizedeterminesthenumberof
rowsintheoutputdata.Theoutputdataoftheverticalpivot
actiontypicallyhasmorecolumns,butfewerrowsthantheinput
data
OR
•Properties:
•Pivot Type = Horizontal
•Single input link ; Single Output link
•Horizontalpivotingmapsasetofcolumnsinaninputrowtoa
singlecolumninmultipleoutputrows.Theoutputdataofthe
horizontalpivotactiontypicallyhasfewercolumns,butmorerows
thantheinputdata.Withverticalpivoting,youcanmapseveral
setsofinputcolumnstoseveraloutputcolumns

25. © 2019 IBM Corporation25
Pivot Enterprise

26. © 2019 IBM Corporation26
Pivote Vertical Datos de Entrada

27. © 2019 IBM Corporation27
Columnas Entrada Pivote Vertical
Solo de lectura

28. © 2019 IBM Corporation28
Columnas de la salida deseada

29. © 2019 IBM Corporation29
Mapping

30. © 2019 IBM Corporation30
Salida mostrada con Stage Peak

31. © 2019 IBM Corporation31
Pivote Horizontal Datos de Entrada

32. © 2019 IBM Corporation32
Pivote Vertical Datos de Entrada
Columnas Entrada Pivote Horizontal

33. © 2019 IBM Corporation33
Columnas Entrada Pivote Horizontal
Solo de lectura

34. © 2019 IBM Corporation34
Columnas de la salida deseada

35. © 2019 IBM Corporation35
Mapping

36. © 2019 IBM Corporation36
Salida mostrada con Stage Sequencial File

37. © 2019 IBM Corporation37
CLASIFICACION
Sortstage

38. © 2019 IBM Corporation38
Clasificando Datos

39. © 2019 IBM Corporation39
Alternativas Para Clasificación

40. © 2019 IBM Corporation40
Clasificación In-Stage

41. © 2019 IBM Corporation41
Ejemplo de Stable Sort

42. © 2019 IBM Corporation42
Stage Sort Tab Properties

43. © 2019 IBM Corporation43
Especificando Claves de Clasificación

44. © 2019 IBM Corporation44
Opciones de Clasificación

45. © 2019 IBM Corporation45
Crear Cambio en Columna Clave

46. © 2019 IBM Corporation46
Partitions Sort

47. © 2019 IBM Corporation47
CLASIFICACION
Aggregatorstage

48. © 2019 IBM Corporation48
Stage Aggregator

49. © 2019 IBM Corporation49
Ejemplo de Stage Aggregator

50. © 2019 IBM Corporation50
Tipos de Agregaciones

51. © 2019 IBM Corporation51
Tipo de Agrgación Conteo de Filas

52. © 2019 IBM Corporation52
Salida Tab Mapping

53. © 2019 IBM Corporation53
Salida Columns Tab

54. © 2019 IBM Corporation54
Tipos de Cálculo de Agregación

55. © 2019 IBM Corporation55
Métodos de Agrupación

56. © 2019 IBM Corporation56
Método = Hash

57. © 2019 IBM Corporation57
Método = Sort

58. © 2019 IBM Corporation58
TRANSFORMACIONES
Transformerstage

59. © 2019 IBM Corporation59
Stage Transformer

60. © 2019 IBM Corporation60
Ejemplo de Stage Transformer

61. © 2019 IBM Corporation61
Dentro del Stage Transformer

62. © 2019 IBM Corporation62
Elementos del Stage Transformer

63. © 2019 IBM Corporation63
Elementos del Stage Transformer (continuación)

64. © 2019 IBM Corporation64
Constraints

65. © 2019 IBM Corporation65
Constraints

66. © 2019 IBM Corporation66
Ejemplo de Constraints

67. © 2019 IBM Corporation67
Definiendo un constraint

68. © 2019 IBM Corporation68
Usando el editor de Expresiones

69. © 2019 IBM Corporation69
Otherwise links para integridad de data

70. © 2019 IBM Corporation70
Ejemplo Otherwise Link

71. © 2019 IBM Corporation71
Especificando el ordenamiento del link

72. © 2019 IBM Corporation72
Especificar el Link Otherwise

73. © 2019 IBM Corporation73
Agenda DataStage
•Trabajando con Datos Relacionales
•Fuentes Base de Datos
•Mejores prácticas en DataStage
•Nomenclatura de Jobs y Stages
•Nomenclatura de Links
•Volúmenes de Proceso en StagesLookupy Join
•Consideraciones de Performance
Parte 1

74. © 2019 IBM Corporation74
TRABAJANDO DATOS RELACIONALES
Connectores(Stages)

75. © 2019 IBM Corporation75
Especificar el Link Otherwise
Importar definiciones de tablas de BD

76. © 2019 IBM Corporation76
Importando definiciones de tablas

77. © 2019 IBM Corporation77
Orquestar importacion

78. © 2019 IBM Corporation78
ODBC Importacion

79. © 2019 IBM Corporation79
Especificar el Link Otherwise
Stages Connector

80. © 2019 IBM Corporation80
Stages Connector

81. © 2019 IBM Corporation81
Leyendo desde tablas de bases de datos

82. © 2019 IBM Corporation82
Stage Connector GUI

83. © 2019 IBM Corporation83
Panel Navegación

84. © 2019 IBM Corporation84
Propiedades Conexiones

85. © 2019 IBM Corporation85
Propiedades de Uso –Generar SQL

86. © 2019 IBM Corporation86
Propiedades de Uso -Transacciones

87. © 2019 IBM Corporation87
Propiedades de Uso –antes/después SQL

88. © 2019 IBM Corporation88
Escribiendo a tablas de bases de datos

89. © 2019 IBM Corporation89
DB2 Connector GUI

90. © 2019 IBM Corporation90
Propiedades Conector Write

91. © 2019 IBM Corporation91
MEJORES PRACTICAS EN DATASTAGE
Nomenclatura de Jobs y Stages

92. © 2019 IBM Corporation92
Estructura de Proyecto

93. © 2019 IBM Corporation93
Estructura de Proyecto

94. © 2019 IBM Corporation94
Nomenclatura de Jobs

95. © 2019 IBM Corporation95
Nomenclatura de Jobs, continuación

96. © 2019 IBM Corporation96
Nomenclatura de Stages

97. © 2019 IBM Corporation97
Nomenclatura de Stages, continuación

98. © 2019 IBM Corporation98
Nomenclatura de Stages, continuación

99. © 2019 IBM Corporation99
Nomenclatura de Stages, continuación

100. © 2019 IBM Corporation100
MEJORES PRACTICAS EN DATASTAGE
Nomenclatura de Links

101. © 2019 IBM Corporation101
Nomenclatura de Links

102. © 2019 IBM Corporation102
MEJORES PRACTICAS EN DATASTAGE
Volúmenes de Proceso en StagesLookupy Join

103. © 2019 IBM Corporation103
Volúmenes de Proceso en Stages Lookup y Join

104. © 2019 IBM Corporation104
MEJORES PRACTICAS EN DATASTAGE
Consideraciones de Performance

105. © 2019 IBM Corporation105
Consideraciones de Performance

106. © 2019 IBM Corporation106
Consideraciones de Performance

107. © 2019 IBM Corporation107
Consideraciones de Performance

108. © 2019 IBM Corporation108
Consideraciones de Performance

109. © 2019 IBM Corporation109
Consideraciones de Performance

110. © 2019 IBM Corporation110
Consideraciones de Performance

111. © 2019 IBM Corporation111
Consideraciones de Performance

112. © 2019 IBM Corporation112
Consideraciones de Performance
Por cada partición

113. © 2019 IBM Corporation113
MEJORES PRACTICAS
Referencias

114. © 2019 IBM Corporation114
Referencias
Consideren la recomendaciones sobre los stagesque se mencionan
en el siguiente RedBook:
InfoSphereDataStage Parallel Framework
Standard Practices
Bajénlode éstelink:
http://www.redbooks.ibm.com/redbooks/pdfs/sg247830.pdf

115. © 2019 IBM Corporation115
Gracias.