Finisar NVIDIA Mellanox 200Gbps Transceiver

เป็นการให้ข้อมูลเดินทางจากหน่วยประมวลผลหนึ่งไปอีกเครื่องโดยตรง:

• Skip the Middleman: ตามปกติข้อมูลจากหน่วยประมวลผลกราฟิกต้องคัดลอกไปยังหน่วยความจำหลักก่อน แล้วจึงส่งออกทางเครือข่าย ซึ่งเสียเวลาและกินแบนด์วิดท์ภายในเครื่อง
• Direct Path: เทคนิคนี้ให้การ์ดเครือข่ายอ่านข้อมูลจากหน่วยประมวลผลกราฟิกโดยตรงแล้วส่งออกไปเลย ซึ่งลดเวลาหน่วงลงมากและปลดปล่อยทรัพยากรภายในเครื่อง แต่ต้องอาศัยทั้งฮาร์ดแวร์และซอฟต์แวร์ที่รองรับ จึงควรตรวจสอบให้ครบทั้งชุดก่อนคาดหวังประโยชน์นี้

มักเป็นการรวบรวมและกระจายข้อมูลพร้อมกันทุกเครื่อง:

• Collective Patterns: ในการคำนวณแต่ละรอบ ทุกเครื่องจะแลกเปลี่ยนผลลัพธ์กันแล้วรวมเป็นค่าเดียวก่อนไปรอบถัดไป ซึ่งหมายถึงทุกเครื่องส่งข้อมูลพร้อมกันในจังหวะเดียวกัน รูปแบบนี้สร้างภาระให้เครือข่ายสูงมากในช่วงสั้น ๆ และต้องการให้ทุกเส้นทางมีความสามารถเท่ากัน เพราะเครื่องที่เสร็จช้าที่สุดกำหนดเวลาของทั้งรอบ

ควรจัดกลุ่มให้การสื่อสารที่ถี่ที่สุดผ่านเส้นทางที่สั้นที่สุด:

• Topology Awareness: แนวทางที่ใช้กันคือจัดให้หน่วยประมวลผลที่ต้องคุยกันบ่อยที่สุดอยู่ในกลุ่มที่เชื่อมผ่านสวิตช์ตัวเดียวกัน แล้วให้การสื่อสารข้ามกลุ่มเกิดขึ้นน้อยกว่า ซึ่งต้องออกแบบทั้งผังการเชื่อมต่อและวิธีที่ซอฟต์แวร์กระจายงานให้สอดคล้องกัน จึงควรให้ทีมที่ดูแลเครือข่ายและทีมที่พัฒนางานคำนวณวางแผนร่วมกันตั้งแต่ต้น