Robin Favre Fabien Touvat. Polytech Grenoble RICM 3 ème Année Vendredi 21 Novembre 2008 Etude d Approfondissement Réseau

Transcription

1 Robin Favre Fabien Touvat Polytech Grenoble RICM 3 ème Année Vendredi 21 Novembre 2008 Etude d Approfondissement Réseau

2 Plan I. Système distribué A. Définition B. Exemples II. III. Stockage distribué A. Le stockage et les réseaux B. Système de fichiers distribués C. Système P2P Oceanstore project A. Historique B. Fonctionnement : Principes et Technos C. Critiques et limites

3 I Systèmes Distribués Définition A distributed system is a collection of independent computers that appear to the users of the system as a single computer Distributed Operating System. A. Tanenbaum, Prentice Hall, 1994

4 I Systèmes Distribués Définition Application Avantages Inconvénients Petite échelle Supercalculateur HPC (parallélisme) Scientifiques/Industriels Nombre limité de machine sécurité, synchronisation, «simplicité» Ressources Limitées Coût élevé Grande échelle P2P via Internet : Calcul Stockage Ressources Mises à l échelle Faible coût Sécurité synchronisation

5 I Systèmes Distribués Exemples Projets avec un modèle Client/Serveur et une utilisation P2P sur Internet. Napster

6 I Systèmes Distribués Exemple : SETI@HOME

7 I Systèmes Distribués Exemple : Napster

8 II Stockage distribué Le réseau et le stockage Pourquoi stocker l information? Critères de stockages

9 II Stockage distribué Le réseau et le stockage Les SAN (Stockages Area Network) Très utilisé pour les HPC Liens à très haut débit (iscsi, Fiber Channel, AoE) Utilisation de système de fichier distribué Les NAS ( ) Utilisé pour la sauvegarde Débit moyen

10 II Stockage distribué Les systèmes de fichiers distribué Montage réseau par NFS / /etc /mnt /home_remote /dev mount nfs /home

11 II Stockage distribué Les systèmes de fichiers distribué Présentation générale

12 II Stockage distribué Les systèmes de fichiers distribué Difficultés Temps d accès et performance R/W Cohérence des données

13 II Stockage distribué Les systèmes de fichiers distribué Bien pour les réseaux locaux Non applicable aux réseaux étendus

14 II Stockage distribué Les systèmes de fichiers distribué Pour réseau LAN et WAN AFS (OpenAFS ) NFS NCP Pour cluster : GFS2 GPFS Lustre PVFS2

15 II Stockage distribué Stockage sur P2P P2P de partage de données : une ressource est sur une seule machine lecture seule P2P de partage de stockage : lecture / écriture sur plusieurs machines distantes

16 II Stockage distribué Stockage sur P2P Avantages Fonctionnement à large échelle Faible coût Haute disponibilité Tolérance aux fautes

17 II Stockage distribué Stockage sur P2P inconvénients Performance des réseaux Gestion de la cohérence Dynamicité du réseau Sécurité

18 II Stockage distribué Stockage sur P2P Plusieurs problématiques : Nommage, Localisation Routage tolérant aux pannes Disponibilité & Pérennité Redondance Sécurité & Confidentialité Cryptographie & Authentification Partage des ressources Equité et Cohérence des données Performance Placement, migration

19 II Stockage distribué Stockage sur P2P Répertoire centralisé Répertoire distribué Approche mixte Localisation par le nom

20 II Stockage distribué Stockage sur P2P Principe du DHT Décentralisé Passage à l échelle Tolérance aux fautes Localisation par clé

21 II Stockage distribué Stockage sur P2P Structure du DHT Partitionnement des clés Structure du réseau Localisation par clé

22 II Stockage distribué CHORD CAN KADEMLIA PASTRY TAPESTRY Stockage sur P2P Localisation par clé

23 II Stockage distribué Stockage sur P2P Disponibilité et pérennité Données persistante redondance des données Insertion et départ Exemple avec Chord N110 N5 N10 N99 N20 N32 K19 K19 N80 N60 K19

24 II Stockage distribué Stockage sur P2P Sécurité Réseau de machine «untrusted» Cryptage Authentification

25 II Stockage distribué Stockage sur P2P Cohérence et équité Il faut assurer que les données soient cohérente Plusieurs modèles ayant une cohérence plus ou moins fortes

26 II Stockage distribué Stockage sur P2P Optimisation Données mise en cache Déplacement de données proactive Equilibrage de charge Introspection

27 II Stockage distribué Stockage sur P2P Plusieurs projets actuel : OceanStore (Berkeley) CFS (MIT) PAST (Rice) PASTA (Microsoft) Farsite (Microsoft) InterMemory (NEC) Ivy (MIT) PlanetP (Rutger U.) Mnemosyne (sprintlab) Clique (HP) Mammoth (BC U) Ficus (UCLA) Tornado (Tsing Hua U.)

28 III Ocean Store Project Historique John Kubiatowicz 1999 University of California, Berkeley 30 personnes 14 étudiants 15 profs et externes Open Source, Licence BSD (Pond) But du projet «OceanStore is a global-scale persistent data store. A consistent, highly-available, and durable storage»

29 III Ocean Store Project Fonctionnement Localisation par DHT Redondance Modèle de cohérence Disponibilité

30 III Ocean Store Project Fonctionnement Localisation distribué (DHT) DHT : Tapestry

31 III Ocean Store Project Fonctionnement et technos Redondance : Deep Archival Storage

32 III Ocean Store Project Mise à jour Disponibilité des données

33 III Ocean Store Project Mise à jour Modele de cohérence

34 III Ocean Store Project Fonctionnement Système de Gestion des Versions (SVN) Code correcteurs d erreurs

35 III Ocean Store Project Critiques et Limites

36 Conclusion Concept intéressant Applications intéressantes dans de nombreux domaines Des modèles existes Limitations Beaucoup d évolutions possible (thèses, )

37 Références Bibliographie Olivier SOYEZ, 2002, La RIA, Système de Stockage Pair à Pair Sébastien VARETTE, 2005, Introduction aux Systèmes distribués Jean-François Deverge, 2003, IRISA, Systèmes distribués de partage de données S. Rhea, P. Eaton, D. Geels, H. Weatherspoon, B. Zhao, and J. Kubiatowicz. 2003, Pond: the OceanStore Prototype Webographie et

38 Annexes Architecture Centralisée vers Décentralisée Technologie Ressources Recherche de ressources Recherche de pairs Multi-source Architecture client-serveur centralisé centralisé centralisé non Napster (1999) décentralisé centralisé centralisé non Direct Connect (?) décentralisé décentralisé centralisé non edonkey (2003) décentralisé semi-centralisé semi-centralisé oui Kademlia (?) décentralisé décentralisé décentralisé oui