Tut PCIe 3.0 x8 genügend Bandbreite für eine dual QSFP 40Gbit NIC?

Question

Tut PCIe 3.0 x8 genügend Bandbreite für eine dual QSFP 40Gbit NIC?

Ich erforsche zwei QSFP 40Gbit Netzwerkkarten für ein Arbeitsprojekt und habe ein paar Fragen zur theoretischen maximalen Bandbreite von PCIe 3.0.

Ich suche derzeit eine Dual-QSFP-PCIe 3.0 x8-Karte auf CDW (Mellanox MCX314A-BCBT), aber ich glaube nicht, dass PCIe x8 genug Bandbreite für beide 40Gbit-Links bei 100% Auslastung bieten würde.

Wikipedia besagt, dass PCIe 3.0 eine theoretische maximale Bandbreite von 985 MB/s pro Spur hat. So durch meine berechnungen, PCIe 3.0 x8 würde eine maximale Bandbreite von 7880 MB/s ergeben. Wenn dies zutrifft, würde die Karte die PCIe-Verbindung sättigen, wenn beide Verbindungen zu 100% ausgelastet sind.

Hier sind meine spezifischen Fragen:

Was ist die maximale Bandbreite, die eine Dual QSFP 40Gbit Netzwerkkarte ausgeben kann?
Was ist die maximale Bandbreite, die ein PCIe 8x vor der Sättigung verarbeiten kann?
Gibt es eine einfache Möglichkeit, dies zu berechnen?

6

networking bandwidth pci-express

Author: James Mertz, 2013-04-23

Source

2 answers

Was ist die maximale Bandbreite, die ein PCIe 8x vor der Sättigung verarbeiten kann?

Die maximale Bandbreite einer einzelnen PCIe v3-Spur beträgt 985 MB / sek. (8,0 Gbit/Sekunde).

X8 bedeutet, dass bis zu 8 PCIe-Lanes verwendet werden können, die ein theoretisches Maximum von 64 Gbit/s ergeben.
Dies ist weniger als zwei 40Gbit links.

Sie können also nicht beide Links mit voller Geschwindigkeit ausführen. Es könnte aber in der Praxis genug sein. Vor allem, wenn der Verkehr platzt. Solange beide Kanäle nicht platzen zur gleichen Zeit.

7

Author: Hennes,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/techietown.info/template/agent.layouts/content.php on line 61
2013-04-23 22:36:36

score 5 · Accepted Answer

Eine kleine Dimensionsanalyse durchführen

Konvertieren 7880 Mbyte pro Sekunde zu Gbits pro Sekunde erhalten wir 63,04 Gbits / sec

(63.04 gigabits per second)/(40 (gigabits per second)) = 1.576

Wenn Sie ein Layout wie dieses haben:

Einheit (1) PCIe 3.0-Steckplatz, x8 oder größer - > eine QSFP-Karte mit 1 x 40 Gbit / s, die an 8 Lanes angeschlossen ist

Einheit (2) PCIe 3.0-Steckplatz, x8 oder größer - > eine QSFP-Karte mit 1 x 40 Gbit / s, die an 8 Lanes angeschlossen ist

... dann wird es gut funktionieren, sogar unter Berücksichtigung der Tatsache, dass es einige geben wird overhead erschwert den theoretischen Durchsatz, da jeder PCIe-Steckplatz seine eigenen Lanes erhält.

Wenn Sie jedoch ein Layout wie dieses haben:

Einheit (1) PCIe 3.0-Steckplatz, x8 oder größer - > eine QSFP-Karte mit (2 x 40 Gbit / s) Anschluss an 8 Lanes

... dann wird es nicht gut funktionieren, denn anstatt 1.576 mal mehr Bandbreite zu haben, die Sie benötigen, haben Sie jetzt nur noch 0.788 x so viel Bandbreite, wie Sie benötigen.

Ich denke, der Hersteller gibt das Protokoll an overhead auf der Ethernet-Schicht wird es genug verlangsamen, dass diese Einschränkung keine Rolle spielt, oder auf andere Weise ein Engpass weiter unten im E/A-Subsystem oder App-Turns (Hin-und Rückfahrten). Es scheint seltsam, dass sie die Karte so gestalten würden, dass der maximale theoretische Durchsatz der beiden Ports auf der Karte den theoretischen Durchsatz der 8-Bahnen übersteigt, aber wenn Sie wirklich erwarten, >78% des Durchsatzes von 80 Gbit / s zu nutzen, möchten Sie vielleicht nur zwei Karten kaufen (idealerweise mit einem Port pro Stück, wenn sie können ein anderes Modell damit finden), und legen Sie sie in separaten Steckplätzen, wobei jeder Steckplatz mindestens 8 Bahnen breit.