Presentacion Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Google File System (GFS)
El sistema de archivos distribuido de Google !!
Mario A. del Riego
Consejo de Educación Secundaria
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Agenda
1
Introducción
Deniciones
Requerimientos
Mente conservadora...
2
Diseño alto nivel
Hipótesis
3
Arquitectura
4
Interacción entre componentes
Ejemplo 1: Write
Ejemplo 2: Snapshot
5
Conclusiones
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Deniciones
Requerimientos
Mente conservadora...
Solo unas deniciones
Denition
UnFile System (FS)es un sistema que estructura los datos en
unaunidad de almacenamiento.
Denition
UnDistributed File System (DFS)es un servicio que permite al
usuarioacceder y procesar archivos guardados en unservidor
como si fuese local.
Denition
Google File System (GFS)es el DFS que da soporte atodas
las aplicaciones de Google Inc.
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Deniciones
Requerimientos
Mente conservadora...
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache
Google Video / Youtube
Google Books
Google Maps
Google Earth
Google Street View
Google Apps
GoogleDocs
Google Drive (NUEVO!5GB por usuario)
Google ... ???
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Deniciones
Requerimientos
Mente conservadora...
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache Google Video / Youtube
Google Books
Google Maps
Google Earth
Google Street View
Google Apps
GoogleDocs
Google Drive (NUEVO!5GB por usuario)
Google ... ???
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Deniciones
Requerimientos
Mente conservadora...
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache Google Video / Youtube Google Books
Google Maps
Google Earth
Google Street View
Google Apps
GoogleDocs
Google Drive (NUEVO!5GB por usuario)
Google ... ???
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Deniciones
Requerimientos
Mente conservadora...
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache Google Video / Youtube Google Books Google Maps
Google Earth
Google Street View
Google Apps
GoogleDocs
Google Drive (NUEVO!5GB por usuario)
Google ... ???
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Deniciones
Requerimientos
Mente conservadora...
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache Google Video / Youtube Google Books Google Maps Google Earth
Google Street View
Google Apps
GoogleDocs
Google Drive (NUEVO!5GB por usuario)
Google ... ???
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Deniciones
Requerimientos
Mente conservadora...
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache Google Video / Youtube Google Books Google Maps Google Earth Google Street View
Google Apps
GoogleDocs
Google Drive (NUEVO!5GB por usuario)
Google ... ???
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Deniciones
Requerimientos
Mente conservadora...
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache Google Video / Youtube Google Books Google Maps Google Earth Google Street View Google Apps
GoogleDocs
Google Drive (NUEVO!5GB por usuario)
Google ... ???
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Deniciones
Requerimientos
Mente conservadora...
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache Google Video / Youtube Google Books Google Maps Google Earth Google Street View Google Apps GoogleDocs
Google Drive (NUEVO!5GB por usuario)
Google ... ???
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Deniciones
Requerimientos
Mente conservadora...
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache Google Video / Youtube Google Books Google Maps Google Earth Google Street View Google Apps GoogleDocs Google Drive (NUEVO!5GB por usuario)
Google ... ???
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Deniciones
Requerimientos
Mente conservadora...
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache Google Video / Youtube Google Books Google Maps Google Earth Google Street View Google Apps GoogleDocs Google Drive (NUEVO!5GB por usuario) Google ... ???
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Deniciones
Requerimientos
Mente conservadora...
...porqué no centralizado?
La historia me avala!
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Deniciones
Requerimientos
Mente conservadora...
bueh... y porqué no NFS (Network File System)?
Otra vez... ¡La historia me avala!
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Deniciones
Requerimientos
Mente conservadora...
Basado en la experiencia...
Los componentesfallan, es la norma y no la excepción
Errores en la aplicación
Errores en el SO
Errores humanos (errar es humano.. dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energía
Los archivos crecen muy rápido, llegando inclusive al
orden de TB
La mayoría de los archivos son modicadosagregando
info. Modicaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Deniciones
Requerimientos
Mente conservadora...
Basado en la experiencia...
Los componentesfallan, es la norma y no la excepción
Errores en la aplicación Errores en el SO
Errores humanos (errar es humano.. dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energía
Los archivos crecen muy rápido, llegando inclusive al
orden de TB
La mayoría de los archivos son modicadosagregando
info. Modicaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Deniciones
Requerimientos
Mente conservadora...
Basado en la experiencia...
Los componentesfallan, es la norma y no la excepción
Errores en la aplicación Errores en el SO Errores humanos (errar es humano.. dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energía
Los archivos crecen muy rápido, llegando inclusive al
orden de TB
La mayoría de los archivos son modicadosagregando
info. Modicaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Deniciones
Requerimientos
Mente conservadora...
Basado en la experiencia...
Los componentesfallan, es la norma y no la excepción
Errores en la aplicación Errores en el SO Errores humanos (errar es humano.. dijo el caballo) Errores en los HDD / RAM
Errores en la red
Cortes de energía
Los archivos crecen muy rápido, llegando inclusive al
orden de TB
La mayoría de los archivos son modicadosagregando
info. Modicaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Deniciones
Requerimientos
Mente conservadora...
Basado en la experiencia...
Los componentesfallan, es la norma y no la excepción
Errores en la aplicación Errores en el SO Errores humanos (errar es humano.. dijo el caballo) Errores en los HDD / RAM Errores en la red
Cortes de energía
Los archivos crecen muy rápido, llegando inclusive al
orden de TB
La mayoría de los archivos son modicadosagregando
info. Modicaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Deniciones
Requerimientos
Mente conservadora...
Basado en la experiencia...
Los componentesfallan, es la norma y no la excepción
Errores en la aplicación Errores en el SO Errores humanos (errar es humano.. dijo el caballo) Errores en los HDD / RAM Errores en la red Cortes de energía Los archivos crecen muy rápido, llegando inclusive al
orden de TB
La mayoría de los archivos son modicadosagregando
info. Modicaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Hipótesis
Hipótesis
Es construído en base a componentesbaratos
Se debe manejar ecientemente archivos muy grandes
(GB)
Dos operaciones típicas:
Lecturas largas y continuas
Lecturas aleatorias y chicas
Escrituras que hacenappenda los archivos
Debe soportar ecientemente laconcurrencia
Mucho ancho de banda
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Hipótesis
Hipótesis
Es construído en base a componentesbaratos
Se debe manejar ecientemente archivos muy grandes
(GB)
Dos operaciones típicas: Lecturas largas y continuas Lecturas aleatorias y chicas
Escrituras que hacenappenda los archivos
Debe soportar ecientemente laconcurrencia
Mucho ancho de banda
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Hipótesis
Hipótesis
Es construído en base a componentesbaratos
Se debe manejar ecientemente archivos muy grandes
(GB)
Dos operaciones típicas: Lecturas largas y continuas Lecturas aleatorias y chicas
Escrituras que hacenappenda los archivos Debe soportar ecientemente laconcurrencia
Mucho ancho de banda
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Hipótesis
Hipótesis
Es construído en base a componentesbaratos
Se debe manejar ecientemente archivos muy grandes
(GB)
Dos operaciones típicas: Lecturas largas y continuas Lecturas aleatorias y chicas
Escrituras que hacenappenda los archivos Debe soportar ecientemente laconcurrencia Mucho ancho de banda
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Hipótesis
Interfase
No soportaPOSIX(..pero muy parecido)
Agrega dos operaciones importantes:snapshotyappend
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Arquitectura
1 master
N chunkserver
M clientes
Archivos divididos en un tamañojo
Cada pedazo se llamachunk
Cadachunkes identicado por un número único de 64 bits,
llamadochunk handle
1 archivo se divide en
size(archivo)
64MB
chunks
1chunk! fLocation1; : : : ;LocationNg
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Arquitectura
1 master
N chunkserver M clientes
Archivos divididos en un tamañojo
Cada pedazo se llamachunk
Cadachunkes identicado por un número único de 64 bits,
llamadochunk handle
1 archivo se divide en
size(archivo)
64MB
chunks
1chunk! fLocation1; : : : ;LocationNg
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Arquitectura
1 master
N chunkserver M clientes Archivos divididos en un tamañojo
Cada pedazo se llamachunk
Cadachunkes identicado por un número único de 64 bits,
llamadochunk handle
1 archivo se divide en
size(archivo)
64MB
chunks
1chunk! fLocation1; : : : ;LocationNg
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Arquitectura
1 master
N chunkserver M clientes Archivos divididos en un tamañojo
Cada pedazo se llamachunk Cadachunkes identicado por un número único de 64 bits,
llamadochunk handle
1 archivo se divide en
size(archivo)
64MB
chunks
1chunk! fLocation1; : : : ;LocationNg
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Arquitectura (cont.)
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Master Server
Mantiene la Metadata (control de acceso, mapeo de
archivos a chunks, chunks a locations, etc)
Gestiona loschunk leases, Garbage Collector,
migraciones entre chunkservers, y monitorea el estado de
cada chunkserver
Un master simplica el diseño y la implementación
NO se envían datos a través de él
Existe unshadow server. . .
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Master Server
Mantiene la Metadata (control de acceso, mapeo de
archivos a chunks, chunks a locations, etc)
Gestiona loschunk leases, Garbage Collector,
migraciones entre chunkservers, y monitorea el estado de
cada chunkserver
Un master simplica el diseño y la implementación NO se envían datos a través de él
Existe unshadow server. . .
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Master Server
Mantiene la Metadata (control de acceso, mapeo de
archivos a chunks, chunks a locations, etc)
Gestiona loschunk leases, Garbage Collector,
migraciones entre chunkservers, y monitorea el estado de
cada chunkserver
Un master simplica el diseño y la implementación NO se envían datos a través de él Existe unshadow server. . .
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Cliente y Chunk Server
Cliente (Aplicación)
No utiliza cache para
los datos. Solamente
para loschunk
locations
Chunk Server
Linuxstandard. En su
tiempo kernel 2.2. . .
Todo implementado
enUser space
No implementa cache.
Delegado al cache del
kernel
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Cliente y Chunk Server
Cliente (Aplicación)
No utiliza cache para
los datos. Solamente
para loschunk
locations
Chunk Server Linuxstandard. En su
tiempo kernel 2.2. . .
Todo implementado
enUser space
No implementa cache.
Delegado al cache del
kernel
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Ejemplo 1: Write
Ejemplo 2: Snapshot
Ejemplo: Write
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Ejemplo 1: Write
Ejemplo 2: Snapshot
Ejemplo: Snapshot
( VER PIZARRÓN)
COW: Copy On-Write
Mario A. del Riego Google File System

Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Gracias!
Ya terminamos...
Podemos volver a trabajar. . . iupi !!
Mario A. del Riego Google File System

Presentacion Google File System

About This Presentation

Slide Content

Tags

Categories

Download

Quick Actions

Statistics

Related Slideshows

Presentacion Google File System

About This Presentation

Slide Content

Slide 1

Slide 2

Slide 3

Slide 4

Slide 5

Slide 6

Slide 7

Slide 8

Slide 9

Slide 10

Slide 11

Slide 12

Slide 13

Slide 14

Slide 15

Slide 16

Slide 17

Slide 18

Slide 19

Slide 20

Slide 21

Slide 22

Slide 23

Slide 24

Slide 25

Slide 26

Slide 27

Slide 28

Slide 29

Slide 30

Slide 31

Slide 32

Slide 33

Slide 34

Slide 35

Slide 36

Slide 37

Slide 38

Slide 39

Slide 40

Slide 41

Slide 42

Slide 43

Slide 44

Slide 45

Slide 46

Slide 47

Slide 48

Slide 49

Slide 50

Slide 51

Slide 52

Slide 53

Slide 54

Slide 55

Slide 56

Slide 57

Slide 58

Slide 59

Slide 60

Slide 61

Slide 62

Slide 63

Slide 64

Slide 65

Slide 66

Slide 67

Slide 68

Tags

Categories

Download

Quick Actions

Statistics

Related Slideshows

Pray For The Peace Of Jerusalem and You Will Prosper

Don_t_Waste_Your_Life_God.....powerpoint

VILLASUR_FACTORS_TO_CONSIDER_IN_PLATING_SALAD_10-13.pdf