AMD ประกาศวางจำหน่าย Instinct MI300X กราฟิกการ์ดสำหรับดาตาเซ็นเตอร์ มาพร้อมแบนด์วิธหน่วยความจำระดับชั้นนำสำหรับงาน generative AI และ LLM
AMD Instinct MI300X
ขับเคลื่อนประสิทธิภาพผ่านสถาปัตยกรรม AMD CDNA 3 ใหม่ เมื่อเทียบกับตัวเร่งความเร็ว AMD Instinct MI250X รุ่นก่อน MI300X ส่งมอบหน่วยคำนวณเพิ่มขึ้นเกือบ 40%, ความจุหน่วยความจำเพิ่มขึ้น 1.5 เท่า, แบนด์วิธหน่วยความจำสูงสุดเพิ่มขึ้น 1.7 เท่า รวมถึงการรองรับรูปแบบทางคณิตศาสตร์ใหม่ ๆ เช่น FP8 และ sparsity โดยประสิทธิภาพที่เพิ่มขึ้นทั้งหมดนี้จะมุ่งเน้นไปที่เวิร์กโหลดการทำงานด้าน AI และ HPC
ปัจจุบันเทคโนโลยี LLM (การอนุมานโมเดลภาษาขนาดใหญ่) เพิ่มขึ้นทั้งในด้านขนาดและความซับซ้อน ซึ่งต้องการหน่วยความจำและการประมวลผลมหาศาล กราฟิกการ์ด AMD Instinct MI300X มีความจุหน่วยความจำ HBM3 ที่ดีที่สุดในระดับเดียวกัน 192GB มาพร้อมแบนด์วิธหน่วยความจำสูงสุด 5.3 TB/s เพื่อเสนอประสิทธิภาพที่ยอดเยี่ยมสำหรับเวิร์กโหลดงานด้าน AI ที่เป็นที่ต้องการมากขึ้นเรื่อย ๆ
โดย AMD Instinct Platform เป็นแพลตฟอร์มด้าน generative AI ชั้นนำที่สร้างขึ้นบนการออกแบบ OCP มาตรฐานอุตสาหกรรมโดยใช้กราฟิกการ์ด MI300X จำนวนแปดตัวเพื่อมอบความจุหน่วยความจำ HBM3 ระดับชั้นนำของอุตสาหกรรมขนาด 1.5TB การออกแบบมาตรฐานอุตสาหกรรมของ AMD Instinct Platform จะช่วยให้พันธมิตร OEM สามารถออกแบบกราฟิกการ์ด MI300X ลงในผลิตภัณฑ์ AI ที่มีอยู่ ลดความซับซ้อนในการติดตั้งและเร่งการนำไปใช้ผ่านเซิร์ฟเวอร์ที่ใช้ขุมพลังกราฟิกการ์ด AMD Instinct
เมื่อเปรียบเทียบกับ Nvidia H100 HGX แพลตฟอร์ม AMD Instinct Platform สามารถเพิ่มปริมาณงานได้สูงสุดถึง 1.6 เท่าเมื่อรันด้านการอนุมานบน LLM เช่น BLOOM 176B[iv] และเป็นตัวเลือกเดียวในตลาดที่มีความสามารถในการรันการอนุมานสำหรับโมเดลพารามิเตอร์ 70B เช่น Llama2 บนกราฟิกการ์ด MI300X ตัวเดียว ซึ่งช่วยลดความซับซ้อนในการติดตั้ง LLM ระดับองค์กรและให้ค่า TCO ที่ยอดเยี่ยม
สามารถดูรายละเอียดเพิ่มเติมได้ที่ AMD
