Couverture ElectroniqueS n°127

PCI Express se positionne de plus en plus comme une technologie bien adaptée à l'interconnexion de systèmes embarqués répartis à hautes performances. La disponibilité de solutions logicielles clés en main tirant avantage des attributs de PCI Express tout en offrant des interfaces standard aux applications de haut niveau doit permettre à PCI Express over Cable de s'imposer définitivement sur ce marché. I nitialement réservée aux extensions d'entrées/sorties out-of-the-box , la spécification PCI Express over Cable trouve depuis un ou deux ans des applications dans l'interconnexion de matériels de test, d'équipements multiprocesseurs et de systèmes embarqués répartis, là où la technologie PCI Express peut faire jouer ses caractéristiques de très haut débit, de faible latence, de flexibilité et de déterminisme. Face à des standards comme Fibre Channel, InfiniBand ou Gigabit Ethernet, le PCI Express over Cable se positionne désormais comme une technologie complémentaire, idéalement positionnée lorsque les utilisateurs recherchent des performances supérieures en termes de bande passante et de caractéristiques temps réel. La technologie a même le potentiel pour remplacer à terme les autres standards en ouvrant la voie à des architectures plus modulaires dont les performances et la mise à l'échelle peuvent être facilement adaptées à de nombreux besoins applicatifs (stockage de données, calcul parallèle, acquisition et traitement temps réel). Grâce à la disponibilité de pilotes fonctionnels et de middleware qui tirent avantage des attributs de PCI Express tout en offrant des interfaces standard aux applications de haut niveau (applications Ethernet comprises), le PCI Express over Cable dispose aujourd'hui de tous les atouts pour s'imposer en tant que technologie d'interconnexion de choix au sein des solutions embarquées à hautes performances. Les architectes système perçoivent de plus en plus la technologie PCI Express over Cable comme un moyen d'améliorer les performances temps réel de leurs équipements. La capacité de partitionnement des commutateurs PCI Express simplifie la conception de systèmes modulaires et accélère le développement de systèmes de contrôle temps réel pour applications embarquées. Pourtant, jusqu'ici, le PCI Express s'est vu principalement confiné aux dispositifs d'entrées/sorties sans qu'ait été entrepris un véritable effort pour utiliser le mode non transparent de cette technologie pour les communications interprocessus de type I/O programmées (PIO) ou de type accès direct en mémoire (DMA). Au lieu de cela, les concepteurs de systèmes embarqués multiprocesseurs préfèrent utiliser une technologie d'interconnexion distincte (comme Ethernet) pour tout ce qui touche les communications entre processeurs. Cette option augmente la complexité et les coûts de développement tout en limitant la flexibilité et la performance. Alors que le PCI Express over Cable répond parfaitement aux besoins des applications à calculateurs multiples, son acceptation a été jusqu'ici limitée. de nombreux avantages La technologie PCI Express over Cable affiche de nombreux avantages. Dans une architecture multiprocesseur asymétrique où les ressources sont réparties en entités discrètes bien répertoriées, le PCI Express over Cable permet aux architectes de concevoir des systèmes constitués par l'assemblage de modules processeurs, d'entrées/sorties et de mémoire distincts. Plusieurs fournisseurs proposent une vaste palette de modules, cartes d'adaptation, fonds de panier, câbles et solutions de commutation qui permettent d'effectuer cette tâche. L'architecture résultante se caractérise par une latence système réduite et une bande passante accrue. Pour le transport des communications entre calculateurs, le PCI Express utilise le mode non transparent NTB ( Non-Transparent Bridging ) comme pont entre deux domaines PCI Express distincts. Il supporte à la fois le mode programmé PIO ( Programmed Input Output ), géré directement par le processeur, et le mode DMA ( Direct Memory Access ) pour l'accès direct à la mémoire. Dans ces conditions, pourquoi de nombreux développeurs au sein de la communauté de l'embarqué sont-ils aussi rétifs à l'utilisation du PCI Express pour les communications interprocessus? Et pour quelles raisons préfèrent-ils plutôt se focaliser sur l'implémentation d'une solution à double technologie d'interconnexion et intégrer Ethernet ou une autre alternative, en plus du PCI Express ? Cette hésitation est due essentiellement au poids des investissements applicatifs. L'acceptation de PCI Express en tant que solution interprocessus est directement liée à l'existence de services logiciels ( middleware ) aptes à tirer avantage du caractère unique des performances de PCI Express tout en offrant des interfaces standard, simples à mettre en œuvre, aux applications de haut niveau, et notamment celles basées sur Ethernet. maRC dEsCamps (dOLphIN INTERCONNECT sOLUTIONs) marc descamps est responsable ventes et conseils de dolphin Interconnect solutions. Il est en charge de la mise en œuvre de partenariats technologiques et commerciaux avec les distributeurs/intégrateurs des produits de dolphin et du suivi des comptes clients. m. descamps a fait partie, en tant que directeur R&d, du comité de direction des filiales de storageTek à Toulouse et d'Unisys à villers-Ecalles, avant de cofonder seanodes, un éditeur de logiciel de virtualisation du stockage interne aux grappes de serveurs. Il est diplômé de l'école universitaire d'ingénieurs de Lille (EUdIL) et de l'institut de contrôle de gestion (ICg). La structure du middleware est conçue pour permettre des communications simultanées. Le pilote pcie est utilisé pour la configuration et la gestion du mode dma et du plug and play. Les transferts pio émanent directement de l'application. Ce middleware est aujourd'hui disponible et se glisse entre les applications et le pilote de la carte réseau du PCI Express. Il s'interface avec les applications au travers de bibliothèques de mémoire partagée ou des appels aux sockets réseau. Il utilise la couche de transportPCI Express pour véhiculer les données entre la mémoire du processeur ou des cartes d'entrées/sorties de calculateurs distants via le mécanisme NTB du PCI Express. Pour une performance optimale, il utilise des opérations de lecture et d'écriture en mode programmé (PIO) ou en accès directs à la mémoire distante (RDMA). Pour un transport des données fiable et très efficace, il bénéficie de la haute fiabilité de la couche transport du PCI Express et gère, en cas de défaillance, le basculement automatique sur des dispositifs redondants. Ces différentes couches architecturales s'intègrent harmonieusement afin de tirer avantage des caractéristiques de performances de PCI Express et créent un environnement simplifié pour le développement et la maintenance des systèmes. description générique du logiciel Le middleware s'articule autour de deux composants logiciels clés : des sockets réseau compatibles Berkeley et une API de mémoire partagée optimisée. Sur la figure 1 sont représentés les composants d'une architecture logicielle reposant sur l'interface de programmation de mémoire partagée et le middleware développé par Dolphin Interconnect Solutions et distribué par Ecrin Systems. La solution permet de diriger les appels aux couches TCP/IP de l'OS vers le réseau PCIe, ce qui réduit la consommation de ressources de calcul disponibles et le nombre d'interruptions requises pour le transfert des données et permet de libérer ces ressources pour améliorer la performance des applications. L'API de mémoire partagée optimisée permet aux applications d'établir ou de supprimer en toute sécurité des projections ( mapping ) de mémoire locales dans des zones de mémoire distante, accessibles via les mécanismes de PIO et de RDMA. L'API permet également le déclenchement d'interruptions distantes pour la gestion des événements générés par la couche de transfert des données. Le temps de latence généré par le socket pour la communication d'application à application est de 0,75µs seulement, une valeur inférieure - et de loin - à celui d'une connexion ethernet 10Gbit/s. Source : Dolphin Les sockets font appel à des mécanismes standardisés comme le Layered Service Provider (LSP) de Windows ou le Sockets Direct Protocol (SDP) de Linux qui permettent aux applications standard de s'exécuter sur PCI Express sans aucune modification. Le middleware PCI Express met à profit ces techniques pour fournir une interface de sockets qui dope les performances applicatives de manière significative par rapport à une interface matérielle Ethernet 1G et 10G traditionnelle. La figure 2 offre une comparaison entre les temps de latence respectifs des sockets PCI Express et d'une interface Ethernet à 10 Gbit/s. L'implémentation des sockets diffère selon que l'on utilise Linux ou Windows. Pour implémenter cette interface dans un environnement Linux, la famille d'adresses des sockets utilisée pour le TCP/IP est modifiée pour utiliser le PCI Express. Les sockets PCI Express implémentent un mode de transport compatible AF_INET baptisé AF_SSOCK. Dans la pratique, l'appel à la fonction Linux LD_PRELOAD précharge la bibliothèque de sockets standard avec une bibliothèque spécifique qui intercepte l'appel socket () et remplace la famille d'adresses AF_INET avec AF_SSOCK. Tous les autres appels de sockets suivent la voie logicielle habituelle et sont éventuellement accélérés par le module de sockets PCI Express au cas où l'adresse de destination se situe au sein du réseau PCI Express. Dans le cas de Windows, la plupart des applications s'appuient sur les bibliothèques dynamiques fournies par le système d'exploitation (WS2_32. DLL et KERNEL32.DLL) pour les communications par sockets . Les sockets Windows sont des objets accessibles par des pointeurs ( handles ) et sur lesquels on peut donc appliquer des opérations classiques telles que la fermeture, la duplication ou l'héritage lors de la création d'un nouveau processus-fils. Tous les appels à l'API WinSock2 sont dirigés vers un commutateur qui les redistribue pour exécution. Les appels destinés au PCI Express sont interceptés par le middleware. Un canal de communication est contrôlé par les fichiers de configuration de base. Ces fichiers identifient les systèmes au sein de la grappe de processeurs et précisent leur identifiant (ID) au sein du réseau. Si le socket est configuré vers un point de terminaison PCI Express, la bibliothèque de sockets à faible latence est utilisée pour l'acheminement des données. Pour toutes les autres connexions, les bibliothèques de transport standard WinSock2 ou AF_INET et l'interface Ethernet traditionnelle seront utilisées. Les mesures montrent que le réacheminement est quasiment instantané et n'occasionne aucun délai supplémentaire sur les appels système. Un fichier de configuration optionnel peut explicitement autoriser ou invalider l'utilisation de la bibliothèque de faible latence pour un canal de communication particulier. L'interface socket PCI Express s'appuie sur le mode programmé PIO pour le transfert de petits messages et met en œuvre les moteurs DMA pour transmettre les messages plus volumineux. Du fait que les sockets utilisent des appels standard, ce mode est absolument transparent pour les applications. Cette combinaison garantit une faible latence et un débit élevé sans modification ou adaptation des applications. La figure 3 montre les résultats de la suite de tests LINBIT DRBD ( Distributed Replicated Block Device ) appliquée à une configuration qui utilise l'interface de sockets PCI Express. Avec le logiciel DRBD, la bibliothèque de sockets PCI Express atteint des performances en écriture nettement supérieures à celles affichées par d'autres technologies d'interconnexion. Par ailleurs, les sockets PCI Express affichent des caractéristiques inhérentes de haute disponibilité. Si le réseau PCI Express est indisponible, les communications des sockets PCI Express se replient vers la pile réseau traditionnelle. La version Linux est proposée avec un mécanisme de basculement réciproque instantané qui assure de façon transparente la commutation entre PCI Express et l'interface réseau traditionnelle au cas où la connexion PCI Express serait impossible à effectuer (lorsque, par exemple, le câble est déconnecté). L'apI de mémoire partagée La mise en place et la configuration d'un environnement NTB nécessite une bonne connaissance des processeurs et des circuits associés, une maîtrise de leur programmation et une expérience en PCI Express. Les fournisseurs de composants PCI Express proposent des échantillons de code pour simplifier ce processus, mais le développement réussi d'une solution qui soit à la fois flexible et optimale nécessite des efforts significatifs. L'API de mémoire partagée PCI Express simplifie le développement d'applications NTB pour les concepteurs en quête de performances maximales. Cette API permet aux développeurs d'allouer des segments de mémoire au niveau du nœud local et de rendre cette mémoire accessible aux autres nœuds. Le nœud local est alors capable de se connecter aux segments de mémoire présents sur les nœuds distants. Dès qu'il est disponible, un segment de mémoire est accessible de deux manières, soit par mappage dans l'espace d'adressage du processus, ce qui permet un accès mémoire classique par le processeur via un pointeur, soit en utilisant le moteur DMA du composant PCI Express pour le transfert des données. Le mappage de l'espace d'adressage distant et l'utilisation du mode PIO peuvent s'avérer adéquats pour l'échange de messages de contrôle ou le transfert de données dont le volume n'excède pas 1Ko, le processeur manipulant les données avec une très faible latence. Le mode PIO optimise les petits transferts en écriture et ne nécessite pas de verrouillage mémoire car il utilise une seule instruction CPU pour une écriture postée de données déjà présentes en cache. Toutefois, le transfert de données plus volumineuses avec ce mécanisme PIO crée une surcharge du processeur et le mode DMA est souvent préféré dans ce cas. comparaison des tests drbd en écriture aléatoire avec un contrôleur ethernet 10 Gbit/s d'intel, un contrôleur infiniband 40 Gbit/s de mellanox et un contrôleur pci express ix de dolphin. L'approche DMA évite l'implication du CPU dans le mouvement des données. En général, les latences augmentent légèrement à cause du temps nécessaire àl'allo-cation mémoire et à la configuration du moteur DMA, et du délai de résolution des interruptions. Toutefois cet overhead peut être compensé en cumulant plusieurs transferts de données et en les envoyant ensemble dans le bon ordre au commutateur PCI Express. L'API de mémoire partagée configure la file d'attente DMA et communique au moteur DMA un ou plusieurs ordres de transferts de données. L'API de mémoire partagée gère également les interruptions. Elle supporte notamment la gestion des interruptions locales et distantes, ainsi que d'autres fonctionnalités évoluées comme la mise en cache, la gestion des erreurs de transmission de données, la génération d'événements et un mécanisme de rappel ( callback ). L'utilisation de la bibliothèque optimisée d'api de mémoire partagée fait passer la moitié du temps de latence d'aller-retour (half round trip latency) sous la barre de la microseconde. Source : Dolphin Une application de simulation que l'on a répartie sur plusieurs équipements permet d'illustrer une implémentation de cette API de mémoire partagée. Dans une telle configuration, la solution PCI Express over Cable offre des communications directes de système à système avec le temps de latence et la gigue de transmission de données les plus faibles possibles, tant en mode unicast que multicast. Les données transmises vers les nœuds distants arrivent au niveau de la mémoire distante en moins de 0,74 microsecondes, comme on peut le voir sur la figure 4. Les données sont stockées dans la mémoire principale du système qui sert de cache au processeur. Cette caractéristique offre des avantages en performances et en coût par rapport aux solutions d'interconnexion qui reposent sur la mémoire interne des processeurs pour les communications. L'arrivée de données en provenance d'un nœud distant est signalée soit par des interruptions distantes, soit par scrutation ( polling ). Comme les segments de mémoire ne sont ni plus ni moins que de la mémoire principale qui sert de cache au processeur, la scrutation est extrêmement rapide et ne consomme pas de bande passante mémoire. Lorsque de nouvelles données arrivent en provenance d'un nœud distant, le système d'entrées/sorties invalide l'accès au cache, le temps que les nouvelles valeurs soient placées en mémoire cache. Pour résumer, la disponibilité de ce middleware PCI Express rend possible l'existence de solutions PCI Express over Cable performantes, adaptées aux besoins des systèmes embarqués et des applications professionnelles. Cet ensemble d'outils permet à PCI Express de cibler les applications traditionnellement réservées à Ethernet ou aux interconnexions propriétaires. C'est une nouvelle étape dans l'évolution de PCI Express.

Booster Les Performances Des Systèmes Embarqués Avec Pci Express Over Cable

Couverture ElectroniqueS n°127

IBM grave les premières puces en 2 nm en abandonnant les FinFET

Zeta, le protocole LPWAN made in China, arrive en Europe

Harting invente le connecteur électronique sur mesure

Booster Les Performances Des Systèmes Embarqués Avec Pci Express Over Cable

Dans la même rubrique

Couverture ElectroniqueS n°127

IBM grave les premières puces en 2 nm en abandonnant les FinFET

Zeta, le protocole LPWAN made in China, arrive en Europe

Harting invente le connecteur électronique sur mesure