Changes between Version 22 and Version 23 of Hardware/bDomains/cSandboxes/iSB9


Ignore:
Timestamp:
Dec 20, 2022, 11:08:09 PM (3 years ago)
Author:
jkol
Comment:

—

Legend:

Unmodified
Added
Removed
Modified

  • Hardware/bDomains/cSandboxes/iSB9

    v22 v23  
    44SB9 is dedicated to wired networking and cloud computing experimentation. Nodes in sandbox 9 don't have wireless interfaces.
    55
    6 [[Image(SB9 BD.png, 500px, link=, align=left)]][[BR]]Figure 1: SB9 Block Diagram
     6Sandbox 9 consists of 8 servers, each with the following specifications:
    77
    8 Sandbox 9 consists of 8 servers, each with the following specifications:
    98* Server model: Dell R740XD
    109* CPU: 2x Intel Xeon Gold 6126
    1110* Memory: 192GB
    12 * Disk: 256gb ssd
    13 * Network: 2x 25gbe mellanox connect-x4 lx
    14 * Network: 2x 100gbe mellanox connect-x5 lx (pending, shares 1x pcie3.0x16 slot)
    15 * Network: 1x 10gbe (pending)
    16 * Accelerator1: Nvidia V100 16gb
    17 * Accelerator2: Xilinx Alveo U200 FPGA (2x 100gbe ethernet onboard)
     11* Disk: 256GB SSD
     12* Network: 2x 25Gb Mellanox ConnectX-4 Lx
     13* Network: 2x 100Gb Mellanox ConnectX-5 Lx
     14* GPU Accelerator: Nvidia V100 16GB
     15* FPGA Accelerator 1: Xilinx Alveo U200 FPGA (2x 100Gb ethernet)
     16
     17In Addition, some nodes have additional accelerators or network cards as follows:
     18
     19* node1-5 and node1-6
     20  * Xilinx Alveo SN1022 SmartNIC (2x 100Gb ethernet)
     21* node1-7 and node1-8
     22  * NetFPGA 10G (4x 10Gb ethernet)
    1823
    1924They are connected to two switches:
    2025
    21 * Dell Z9100
     26* Dell Z9332F-ON
     27  * Ports: 32x 100Gb ports, each can break out to 2x 50Gb, 2x 40Gb, 4x 25Gb, or 4x 10Gb ports.
     28  * OS: Dell OS 10
     29  * Management: In band, out of band, or via onboard BMC.
    2230
    23 * Edge Core Wedge100BF-32x
    24   * Ports: 32x 100g ports, each can break out to 2x 50, 2x 40, 4x 25, or 4x 10g ports.
     31* Edgecore Wedge100BF-32x
     32  * Ports: 32x 100Gb ports, each can break out to 2x 50Gb, 2x 40Gb, 4x 25Gb, or 4x 10Gb ports.
    2533  * OS: Azure SONIC operating system, or !OpenNetworkLinux
    2634  * Management: In band, out of band, or via onboard BMC.
    2735
    28 ===== Procedures (Wedge) =====
     36[[Image(SB9 BD.png, 500px, link=)]]
     37[[BR]]Figure 1: SB9 Block Diagram
     38
     39===== Data Switch Connections =====
     40
     41'''Dell switch connections:'''
     42 ||= Switch Port =||= Connection =||= Speed =||
     43 ||  1/1/1:1  ||  node1-1 Mellanox ConnectX-5 Ex 100G Port 1  ||  100G  ||
     44 ||  1/!1/2:1  ||  node1-2 Mellanox ConnectX-5 Ex 100G Port 1  ||  100G  ||
     45 ||  1/1/3:1  ||  node1-3 Mellanox ConnectX-5 Ex 100G Port 1  ||  100G  ||
     46 ||  1/!1/4:1  ||  node1-4 Mellanox ConnectX-5 Ex 100G Port 1  ||  100G  ||
     47 ||  1/1/5:1  ||  node1-5 Mellanox ConnectX-5 Ex 100G Port 1  ||  100G  ||
     48 ||  1/1/6:1  ||  node1-6 Mellanox ConnectX-5 Ex 100G Port 1  ||  100G  ||
     49 ||  1/1/7:1  ||  node1-7 Mellanox ConnectX-5 Ex 100G Port 1  ||  100G  ||
     50 ||  1/1/8:1  ||  node1-8 Mellanox ConnectX-5 Ex 100G Port 1  ||  100G  ||
     51 ||  1/1/9:1  ||  node1-5 Xilinx Alveo SN1022 Port 1  ||  100G  ||
     52 ||  1/1/10:1  ||  node1-6 Xilinx Alveo SN1022 Port 1  ||  100G  ||
     53 ||  1/1/11:1  ||  node1-1 Xilinx Alveo U200 Port 1  ||  100G  ||
     54 ||  1/1/12:1  ||  node1-2 Xilinx Alveo U200 Port 1  ||  100G  ||
     55 ||  1/1/13:1  ||  node1-3 Xilinx Alveo U200 Port 1  ||  100G  ||
     56 ||  1/1/14:1  ||  node1-4 Xilinx Alveo U200 Port 1  ||  100G  ||
     57 ||  1/1/15:1  ||  node1-5 Xilinx Alveo U200 Port 1  ||  100G  ||
     58 ||  1/1/16:1  ||  node1-6 Xilinx Alveo U200 Port 1  ||  100G  ||
     59 ||  1/1/17:1  ||  node1-7 Xilinx Alveo U200 Port 1  ||  100G  ||
     60 ||  1/1/18:1  ||  node1-8 Xilinx Alveo U200 Port 1  ||  100G  ||
     61 ||  1/1/19:1  ||  - - - - -  ||  - - -  ||
     62 ||  1/1/20:1  ||  node1-7 NetFPGA 10G Port 1  ||  10G  ||
     63 ||  1/1/20:2  ||  node1-7 NetFPGA 10G Port 2  ||  10G  ||
     64 ||  1/1/20:3  ||  node1-8 NetFPGA 10G Port 1  ||  10G  ||
     65 ||  1/1/20:4  ||  node1-8 NetFPGA 10G Port 2  ||  10G  ||
     66 ||  1/1/21:1  ||  node1-1 Mellanox ConnectX-4 Lx 25G Port 1  ||  25G  ||
     67 ||  1/1/21:2  ||  node1-2 Mellanox ConnectX-4 Lx 25G Port 1  ||  25G  ||
     68 ||  1/1/21:3  ||  node1-3 Mellanox ConnectX-4 Lx 25G Port 1  ||  25G  ||
     69 ||  1/1/21:4  ||  node1-4 Mellanox ConnectX-4 Lx 25G Port 1  ||  25G  ||
     70 ||  1/1/22:1  ||  node1-5 Mellanox ConnectX-4 Lx 25G Port 1  ||  25G  ||
     71 ||  1/1/22:2  ||  node1-6 Mellanox ConnectX-4 Lx 25G Port 1  ||  25G  ||
     72 ||  1/1/22:3  ||  node1-7 Mellanox ConnectX-4 Lx 25G Port 1  ||  25G  ||
     73 ||  1/1/22:4  ||  node1-8 Mellanox ConnectX-4 Lx 25G Port 1  ||  25G  ||
     74 ||  1/1/23:1  ||  - - - - -  ||  - - -  ||
     75 ||  1/1/24:1  ||  - - - - -  ||  - - -  ||
     76 ||  1/1/25:1  ||  - - - - -  ||  - - -  ||
     77 ||  1/1/26:1  ||  - - - - -  ||  - - -  ||
     78 ||  1/1/27:1  ||  - - - - -  ||  - - -  ||
     79 ||  1/1/28:1  ||  - - - - -  ||  - - -  ||
     80 ||  1/1/29:1  ||  - - - - -  ||  - - -  ||
     81 ||  1/1/30:1  ||  - - - - -  ||  - - -  ||
     82 ||  1/1/31:1  ||  Uplink - Fiber F3  ||  100G  ||
     83 ||  1/1/32:1  ||  Uplink - Fiber F4  ||  100G  ||
     84
     85'''Edgecore switch connections:'''
     86 ||= Switch Port =||= Connection =||= Speed =||
     87 ||  1/1/1:1  ||  node1-1 Mellanox ConnectX-5 Ex 100G Port 2  ||  100G  ||
     88 ||  1/!1/2:1  ||  node1-2 Mellanox ConnectX-5 Ex 100G Port 2  ||  100G  ||
     89 ||  1/1/3:1  ||  node1-3 Mellanox ConnectX-5 Ex 100G Port 2  ||  100G  ||
     90 ||  1/!1/4:1  ||  node1-4 Mellanox ConnectX-5 Ex 100G Port 2  ||  100G  ||
     91 ||  1/1/5:1  ||  node1-5 Mellanox ConnectX-5 Ex 100G Port 2  ||  100G  ||
     92 ||  1/1/6:1  ||  node1-6 Mellanox ConnectX-5 Ex 100G Port 2  ||  100G  ||
     93 ||  1/1/7:1  ||  node1-7 Mellanox ConnectX-5 Ex 100G Port 2  ||  100G  ||
     94 ||  1/1/8:1  ||  node1-8 Mellanox ConnectX-5 Ex 100G Port 2  ||  100G  ||
     95 ||  1/1/9:1  ||  node1-5 Xilinx Alveo SN1022 Port 2  ||  100G  ||
     96 ||  1/1/10:1  ||  node1-6 Xilinx Alveo SN1022 Port 2  ||  100G  ||
     97 ||  1/1/11:1  ||  node1-1 Xilinx Alveo U200 Port 2  ||  100G  ||
     98 ||  1/1/12:1  ||  node1-2 Xilinx Alveo U200 Port 2  ||  100G  ||
     99 ||  1/1/13:1  ||  node1-3 Xilinx Alveo U200 Port 2  ||  100G  ||
     100 ||  1/1/14:1  ||  node1-4 Xilinx Alveo U200 Port 2  ||  100G  ||
     101 ||  1/1/15:1  ||  node1-5 Xilinx Alveo U200 Port 2  ||  100G  ||
     102 ||  1/1/16:1  ||  node1-6 Xilinx Alveo U200 Port 2  ||  100G  ||
     103 ||  1/1/17:1  ||  node1-7 Xilinx Alveo U200 Port 2  ||  100G  ||
     104 ||  1/1/18:1  ||  node1-8 Xilinx Alveo U200 Port 2  ||  100G  ||
     105 ||  1/1/19:1  ||  - - - - -  ||  - - -  ||
     106 ||  1/1/20:1  ||  node1-7 NetFPGA 10G Port 3  ||  10G  ||
     107 ||  1/1/20:2  ||  node1-7 NetFPGA 10G Port 4  ||  10G  ||
     108 ||  1/1/20:3  ||  node1-8 NetFPGA 10G Port 3  ||  10G  ||
     109 ||  1/1/20:4  ||  node1-8 NetFPGA 10G Port 4  ||  10G  ||
     110 ||  1/1/21:1  ||  node1-1 Mellanox ConnectX-4 Lx 25G Port 2  ||  25G  ||
     111 ||  1/1/21:2  ||  node1-2 Mellanox ConnectX-4 Lx 25G Port 2  ||  25G  ||
     112 ||  1/1/21:3  ||  node1-3 Mellanox ConnectX-4 Lx 25G Port 2  ||  25G  ||
     113 ||  1/1/21:4  ||  node1-4 Mellanox ConnectX-4 Lx 25G Port 2  ||  25G  ||
     114 ||  1/1/22:1  ||  node1-5 Mellanox ConnectX-4 Lx 25G Port 2  ||  25G  ||
     115 ||  1/1/22:2  ||  node1-6 Mellanox ConnectX-4 Lx 25G Port 2  ||  25G  ||
     116 ||  1/1/22:3  ||  node1-7 Mellanox ConnectX-4 Lx 25G Port 2  ||  25G  ||
     117 ||  1/1/22:4  ||  node1-8 Mellanox ConnectX-4 Lx 25G Port 2  ||  25G  ||
     118 ||  1/1/23:1  ||  - - - - -  ||  - - -  ||
     119 ||  1/1/24:1  ||  - - - - -  ||  - - -  ||
     120 ||  1/1/25:1  ||  - - - - -  ||  - - -  ||
     121 ||  1/1/26:1  ||  - - - - -  ||  - - -  ||
     122 ||  1/1/27:1  ||  - - - - -  ||  - - -  ||
     123 ||  1/1/28:1  ||  - - - - -  ||  - - -  ||
     124 ||  1/1/29:1  ||  - - - - -  ||  - - -  ||
     125 ||  1/1/30:1  ||  - - - - -  ||  - - -  ||
     126 ||  1/1/31:1  ||  - - - - -  ||  - - -  ||
     127 ||  1/1/32:1  ||  Uplink - Fiber F1  ||  100G  ||
     128
     129===== Procedures (Edge Core Wedge) =====
    29130Manual install of new switch os:
    30131Currently this must be done by a user with admin access. A service will be provided to automate this operation.