cold plate อยู่ตรงไหนของระบบ

cold plate คือแผ่นโลหะที่มีช่องทางเดินน้ำอยู่ภายใน ประกบลงบน CPU, GPU หรือ power device โดยตรง น้ำหล่อเย็นไหลผ่านช่องเหล่านั้นแล้วพาความร้อนออกไป วิธีนี้เรียกว่า D2C (Direct-to-Chip) ซึ่งคนละแนวทางกับ immersion cooling ที่จุ่มทั้งเครื่องลงในของเหลว

ถ้ามองจากแหล่งความร้อนออกมาข้างนอก ความร้อนจากชิปหนึ่งตัวต้องผ่านรอยต่อสามชั้นกว่าจะออกจากตู้แร็คได้

เส้นทางทั้งหมดของน้ำหล่อเย็นหนึ่งรอบ เส้นหนาคือระดับท่อหลัก เส้นบางคือภายในเซิร์ฟเวอร์ ทั้งสองช่วงใช้ท่อคนละแบบ เป็นภาพประกอบ ไม่ใช่สัดส่วนจริง

ใต้ cold plate มักมี drip tray (ถาดรองน้ำหยด) อีกชั้นหนึ่งเพื่อรองน้ำที่อาจรั่วออกมา แล้วใช้ท่อเส้นเล็กพาออกจากอุปกรณ์ ท่อเส้นนั้นมีหลักการเลือกตรงข้ามกับท่อน้ำหล่อเย็นโดยสิ้นเชิง เราแยกเขียนไว้ที่ เลือก drain hose สำหรับ drip tray อย่างไร

สิ่งที่กำหนดหน้าตาการเดินท่อจริง ๆ คือ ท่อช่วงนั้นอยู่ที่ระดับไหน แม้จะส่งน้ำหล่อเย็นเหมือนกัน แต่ท่อหลักนอกตู้แร็คกับท่อในถาดเซิร์ฟเวอร์ (server tray) ใช้วัสดุคนละชุด

ระดับท่อหลักกับระดับ node ต่างกันตรงไหน

สองคำนี้จะปรากฏตลอดบทความ ขอแยกให้ชัดก่อน

ท่อหลักวัดกันที่ "ทนได้นานแค่ไหน" กับ "รับแรงดันได้เท่าไร" ส่วนระดับ node วัดกันที่ "ดัดเข้าไปได้ไหม" กับ "ถอดได้เร็วแค่ไหน" จุดแยกของการเลือกวัสดุเริ่มจากตรงนี้

รูปแบบที่ 1: ข้อต่อ + ท่ออ่อนสแตนเลส (ระดับท่อหลัก)

เลือกแบบถอดได้หรือแบบเชื่อมตาย

ในงานจริงมักใช้ผสมกัน คือปลายด้านที่ติดอุปกรณ์และต้องบำรุงรักษาใช้ข้อต่อถอดได้ ส่วนช่วงกลางที่ยาวใช้การเชื่อม

รูปแบบปลายท่อ (end connection) มีอะไรบ้าง

ถอดได้หรือเชื่อมตาย เป็นตัวกำหนดวิธีบำรุงรักษา แต่สิ่งที่ต้องเคลียร์สเปกกับซัพพลายเออร์จริง ๆ คือ รูปแบบปลายท่อ ปลายท่ออ่อนสแตนเลส (stainless flexible hose ที่หน้างานมักเรียกกันว่าท่อเฟล็กซ์) แบ่งได้ราว 7 กลุ่ม

รูปแบบปลายท่อ 16 แบบพร้อมรหัส ท่อเส้นเดียวกันสามารถใช้ปลายคนละแบบได้ ขึ้นกับอินเทอร์เฟซของอุปกรณ์ที่ต่ออยู่แต่ละด้าน

กลุ่ม flange อย่าง KF, ISO-K, ISO-F, CF เดิมทีเป็นอินเทอร์เฟซของงานสุญญากาศและท่อกระบวนการผลิต ใช้ในระบบ liquid cooling ไม่มาก ท่อหลักของ liquid cooling ส่วนใหญ่จะลงเอยที่ fluid flange FF, ซีลโลหะทรงกลม หรือปลายท่อเปล่า

รหัสขนาดปลายท่ออิงหน่วยนิ้ว: 4 = 1/4", 6 = 3/8", 8 = 1/2", 16 = 1", 20 = 1-1/4", 24 = 1-1/2", 32 = 2" เวลาขอราคามักระบุเป็นรหัสผสม — รหัสซีรีส์ (มี/ไม่มีใยถักหุ้ม) - รหัสปลายที่ 1 - รหัสปลายที่ 2 - ความยาวรวม - รหัสวัสดุ เช่น FB-PA4-PA4-300-M1 รหัสของแต่ละผู้ผลิตไม่ตรงกันเสมอไป เวลาเคลียร์สเปกจึงแนบแบบอินเทอร์เฟซไปด้วยจะแม่นกว่าการบอกรหัส

ทำไมช่วงนี้ต้องใช้สแตนเลส

แรงดันและ flow คนละระดับกัน ท่อหลักต้องดันน้ำหล่อเย็นของทั้งตู้ แรงดันน้ำและความเร็วสูงกว่าภายในเซิร์ฟเวอร์ตัวเดียวมาก ท่ออ่อนโลหะมีความแข็งแรงดึงและรับแรงดันได้เหลือพอ ผนังท่อไม่บวมเมื่อรับแรงดัน ถ้าจะใช้ท่อยางให้ได้เงื่อนไขเดียวกัน ต้องเพิ่มความหนาและชั้นเสริมแรง หรือไม่ก็ขยายขนาดท่อ ซึ่งไม่คุ้มทั้งด้านต้นทุนและพื้นที่

ต้องรักษาความสะอาดของน้ำหล่อเย็น ระบบ liquid cooling มักใช้น้ำ DI (deionized water) หรือสารละลายเอทิลีนไกลคอล สิ่งเจือปนที่หลุดออกจากผนังท่อจะวิ่งวนไปตามลูป แล้วไปตันอยู่ที่ช่องทางเดินน้ำเล็ก ๆ ของ cold plate สแตนเลส 316L ที่ผ่าน electropolishing มีผิวเรียบ ไม่ปล่อยสิ่งเจือปน ทั้งลูปจึงไม่เป็นสนิมและไม่เกิดตะกรัน นี่คือเหตุผลเดียวกันกับที่ชิ้นส่วนโลหะสำหรับของเหลวต้องผ่านการล้างด้วยคลื่นอัลตราโซนิก (ultrasonic cleaning) และบรรจุแบบ clean packing ก่อนส่งมอบ เพราะเศษโลหะที่ตกค้างจากแนวเชื่อม เมื่อเข้าระบบแล้วก็คือสิ่งแปลกปลอม

จุดต่อซีลอยู่ได้นานกว่า เส้นแบ่งตรงนี้ไม่ใช่เรื่องการลามไฟ ท่อยาง EPDM เสริมใยถักเองก็ผ่าน UL 94 V-0 อยู่แล้ว วัสดุทั้งสองแบบผ่านข้อกำหนดด้านอัคคีภัยของ data center ได้ทั้งคู่ จุดที่ต่างคือรอยต่อ แคลมป์รัดท่อซีลด้วยแรงรัด แต่ยางเมื่อใช้ไปนาน ๆ จะเกิดการเสียรูปถาวรจากการกด แรงรัดก็ลดลงตาม รอยเชื่อมไม่มีปัญหานี้ และไม่มีปะเก็นให้เสื่อม อีกทั้งท่อโลหะไม่เปราะกรอบตามอายุ ทนแรงกระแทกและการขูดขีดระหว่างติดตั้งและบำรุงรักษา ในตำแหน่งที่ไม่ได้วางแผนจะหยุดระบบอีกหลังอาคารสร้างเสร็จ ส่วนใหญ่จึงเลือกแบบที่ไม่ต้องเข้าแผนการเปลี่ยน

ประเด็นที่ต้องตรวจรับในช่วงนี้

ท่ออ่อนสแตนเลสไม่ใช่แค่ตัดท่อมาขันข้อต่อแล้วจบ ความต่างของคุณภาพอยู่ที่งานเชื่อมและการตรวจสอบเป็นหลัก ก่อนสั่งซื้อ แนะนำให้ระบุหัวข้อเหล่านี้ลงในสเปกจัดซื้อ

• เกรดวัสดุ: SUS316L, SUS304L หรือ 2205 duplex ส่วน manifold และท่อหลักอาจมีเกรด 310S หรือ 602CA ด้วย เกรดต้องเข้ากับสูตรน้ำหล่อเย็นและคุณภาพน้ำ ไม่ใช่ยิ่งสูงยิ่งดี
• วิธีเชื่อม: laser welding, TIG หรือการบัดกรีแข็ง (brazing) ขึ้นกับรูปแบบปลายท่อ ส่วนการเชื่อมชน (butt welding) ระหว่างท่อกับท่อว่าใช้เครื่องเชื่อมอัตโนมัติหรือไม่ มีผลโดยตรงกับความสม่ำเสมอของแนวเชื่อมในล็อตเดียวกัน
• รูปแบบปลายท่อ: 7 กลุ่มตามตารางด้านบน ต้องยืนยันอินเทอร์เฟซของอุปกรณ์ปลายทางก่อน ถ้าข้อนี้ไม่ตรงคือเสียทั้งล็อต
• แรงดันที่รับได้และการยืดตัวตามแนวแกน: ต้องระบุ working pressure และ burst pressure แยกกัน และต้องถามเพิ่มเรื่อง อัตราการยืดตัวตามแนวแกนเมื่อรับแรงดัน ท่ออ่อนสแตนเลสได้ความยืดหยุ่นมาจากลอนวงแหวน เมื่ออัดแรงดันเข้าไป ลอนจะถูกดันให้บาน ท่อจึงยาวขึ้นตามแนวแกน ถ้าปลายทั้งสองด้านถูกยึดตายไว้ ความยาวส่วนเกินจะดันออกด้านข้างกลายเป็นการโก่งตัว ข้อมูลนี้ใบเสนอราคาส่วนใหญ่ไม่แนบมาให้ แต่มันกำหนดโดยตรงว่าคุณต้องเผื่อความยาวไว้เท่าไร และยึดตายทั้งสองปลายได้หรือไม่ ถ้าต้องการจำกัดการยืดตัวก็ต้องเลือกรุ่นที่มีใยถักหุ้ม (braid) แลกมาด้วยความยืดหยุ่นที่ลดลงและรัศมีการดัดโค้งที่ใหญ่ขึ้น ตอนขอรายงานผลทดสอบ อย่าลืมยืนยันว่า ตัวอย่างที่ทดสอบเป็นท่อเปลือยหรือท่อที่มีใยถักหุ้ม เพราะพฤติกรรมการยืดตัวต่างกันมาก
• รายงานผลทดสอบ: helium leak test, burst/proof pressure, ความต้านทานการไหล, การทดสอบความดันอากาศ, thermal cycling, ความล้าจากการสั่นและการแกว่ง, การวิเคราะห์โครงสร้างจุลภาค ต้องตกลงล่วงหน้าว่าต้องการหัวข้อไหนบ้าง
• การจัดการความสะอาด: ก่อนส่งมอบมีการล้างอัลตราโซนิกและ clean packing หรือไม่ เศษโลหะจากแนวเชื่อมเมื่อเข้าระบบก็คือสิ่งแปลกปลอม และสิ่งที่ตันในที่สุดคือช่องทางเดินน้ำของ cold plate

หัวข้อเหล่านี้ปกติไม่มีในใบเสนอราคา ต้องถามเอง

รูปแบบที่ 2: หางปลาไหล (hose barb) + ท่อยาง EPDM (ระดับ node)

หางปลาไหล (hose barb) คือข้อต่อที่ปลายเป็นเงี่ยงเรียงซ้อนกันเป็นชั้น สวมท่อยางเข้าไปแล้วรัดด้วยแคลมป์จากด้านนอก โครงสร้างเรียบง่ายและกินพื้นที่น้อย ชั้นนี้ต่อขึ้นไปหา coolant distribution manifold (CDM) ที่ด้านหลังตู้ ซึ่งทำหน้าที่แยกน้ำหล่อเย็นจาก CDU ไปยังแต่ละ node

manifold ด้านหลังตู้กับ quick disconnect ที่ใช้ร่วมกัน แถวหน้าคือข้อต่อปลายท่อคนละรูปแบบ

ท่อยาง EPDM เสริมใยถัก GRAH ชั้นใยที่อยู่กลางผนังท่อคือโครงสร้างรับแรงดัน ทำให้ท่อยังดัดโค้งได้ในขณะที่รับ working pressure ไหว

ทำไมช่วงนี้ต้องใช้ท่อยาง

พื้นที่แคบ บอร์ดของ AI server มีความหนาแน่นของชิ้นส่วนสูงมาก ท่อต้องเลี้ยวหลบหน่วยความจำ ชุดสายไฟ และขายึด ในช่องว่างแค่ไม่กี่เซนติเมตร ท่อยาง EPDM เสริมใยถัก ดัดโค้งในพื้นที่แคบได้ ส่วนท่อโลหะที่สเกลนี้ดัดไม่เข้า และไม่เหลือระยะให้ปรับตอนประกอบ

มีการสั่นสะเทือน ขณะพัดลมและปั๊มทำงานจะมีการสั่นเล็ก ๆ ตลอดเวลา ท่อยางซับแรงสั่นไว้ ไม่ส่งความเค้นตรงไปที่ cold plate และแพ็กเกจชิปที่อยู่ข้างใต้ ส่วนท่อโลหะมีความแข็งเกร็งสูง แรงสั่นจะวิ่งไปตามผนังท่อ ระยะยาวแล้ว จุดที่รับแรงคือจุดที่เปราะบางที่สุดของปลายด้านนั้น

บำรุงรักษาต้องถอดได้ โมดูลระดับ node เป็นของที่ต้องเปลี่ยน จุดต่อชั้นนี้ส่วนใหญ่ใช้ quick disconnect สำหรับ liquid cooling (UQD) หรือ blind mate quick coupling (UQDB) แค่ดันถาดเข้าไปก็ต่อเสร็จ ไม่ต้องปล่อยแรงดันแล้วมาถอดท่อ

quick disconnect สำหรับ liquid cooling รุ่น UQD ออกแบบให้ไม่มีน้ำหยด ถอด-เสียบได้ขณะที่ยังมีแรงดันในระบบ

จุดสำคัญในการเลือกท่อเสริมใยถักคือความทนแรงดันและความเข้ากันได้กับน้ำหล่อเย็น วัสดุ EPDM ทนเอทิลีนไกลคอล โครงสร้างใยถักรับ working pressure ไว้ และเกรดหน่วงการลามไฟ UL 94 V-0 ตรงกับข้อกำหนดด้านอัคคีภัยภายในตู้ อุณหภูมิใช้งาน −40 ถึง 120 °C ครอบคลุมสภาวะการทำงานของลูป liquid cooling

เทียบสองรูปแบบ

ซ้าย: ระดับท่อหลัก จุดต่อใช้การเชื่อมเป็นหลัก ขวา: ระดับ node เงี่ยงของหางปลาไหลเสียบเข้าในท่อแล้วรัดด้วยแคลมป์ เป็นภาพประกอบ ไม่ใช่สัดส่วนจริง

สองรูปแบบนี้ไม่มีอันไหนดีกว่ากัน เป็นการแบ่งหน้าที่ สิ่งที่ต้องตัดสินใจจริง ๆ บนเส้นทางทั้งหมดคือ รอยต่อระหว่างสองระบบอยู่ตรงไหน ตำแหน่งที่เปลี่ยนจากท่อโลหะเป็นท่อยาง ปกติจะอยู่ที่ด้านหลังตู้แร็คหรือปากถาดเซิร์ฟเวอร์

สี่คำถามที่มักติดตอนวางแผน

ท่อหลักใช้ท่อยางทั้งหมดได้ไหม

ในทางเทคนิคทำได้ และมี data center ที่ทำแบบนั้นจริง ท่อยาง EPDM เสริมใยถักเองผ่าน UL 94 V-0 และทนเอทิลีนไกลคอล ไม่จำเป็นต้องหุ้มปลอกเพิ่มหรือเดินในท่อร้อยสายโลหะ

แต่สำหรับช่วงท่อหลัก เราแนะนำท่ออ่อนสแตนเลสกับจุดต่อแบบเชื่อมมากกว่า ความต่างไม่ได้อยู่ที่ประกอบได้หรือไม่ได้ แต่จะเห็นชัดเมื่อเวลาผ่านไป

• ความบริสุทธิ์: ยางจะปล่อยสารปริมาณเล็กน้อยออกมาตามอุณหภูมิและระยะเวลาใช้งาน และกันการซึมผ่านของก๊าซได้ไม่หมด น้ำหล่อเย็นวนอยู่ในลูปปิดหลายปี สิ่งเหล่านี้สุดท้ายจะไปสะสมในช่องทางเดินน้ำเล็ก ๆ ของ cold plate ผนังใน 316L ที่ผ่าน electropolishing ไม่ปล่อยสิ่งเจือปน จุดนี้ยางตามไม่ทัน
• การซีล: แคลมป์กับหางปลาไหลอาศัยแรงรัด ยางใช้ไปนานจะเสียรูปถาวรจากการกด แรงรัดลดลงตาม นี่คือจุดเริ่มต้นของการซึมที่พบบ่อยที่สุดที่รอยต่อของท่อหลัก รอยเชื่อมไม่มีเรื่องแรงรัดลดลง และไม่มีปะเก็นให้เสื่อม
• รอบการเปลี่ยน: ท่อยางต้องบรรจุอยู่ในแผนการเปลี่ยน และการเปลี่ยนท่อหมายถึงต้องหยุดระบบหรือทำ bypass ส่วนท่อโลหะปกติไม่ถูกจัดเข้าแผนการเปลี่ยน

สิ่งที่ต้องแลกคือต้นทุน ที่ระดับท่อหลักเหมือนกัน ราคาต่อหน่วยของท่ออ่อนสแตนเลสแบบมีใยถักหุ้มโดยทั่วไปสูงกว่าท่อยาง EPDM หลายเท่า ในทางปฏิบัติจึงมักแบ่งเป็นช่วง คือระดับ node ที่ถอดประกอบบ่อยและพื้นที่จำกัดใช้ท่อยาง EPDM เสริมใยถัก ส่วนท่อหลักที่ไม่ขยับเป็นเวลานานใช้โลหะกับการเชื่อม

ภายในเซิร์ฟเวอร์ใช้ท่ออ่อนสแตนเลสได้ไหม

ข้อจำกัดแรกคือรัศมีการดัดโค้งกับพื้นที่ ข้อจำกัดที่สองคือการส่งผ่านแรงสั่น ยกเว้นตำแหน่งพิเศษที่ยึดอยู่กับที่และต้องทนอุณหภูมิสูงด้วย ความจำเป็นที่จะใช้ท่อโลหะในระดับ node ถือว่าไม่สูง

น้ำหล่อเย็นเป็นน้ำบริสุทธิ์หรือเอทิลีนไกลคอล มีผลกับการเลือกวัสดุไหม

มีผล ความเข้ากันได้ของสารละลายเอทิลีนไกลคอลกับยางและวัสดุซีลต้องยืนยันแยกต่างหาก วัสดุของ O-ring (EPDM, FKM, FVMQ, FFKM, NBR, HNBR) ต้องเลือกตามสูตรน้ำหล่อเย็น ส่วนฝั่งโลหะให้ดูที่คลอไรด์ไอออนกับค่าการนำไฟฟ้า น้ำ DI มีพฤติกรรมการกัดกร่อนกับโลหะบางชนิดสวนทางกับความเข้าใจทั่วไป เกรดวัสดุจึงต้องกำหนดตามคุณภาพน้ำจริง

ท่อระบายน้ำกับท่อน้ำหล่อเย็นใช้แบบเดียวกันได้ไหม

ไม่แนะนำ ท่อน้ำหล่อเย็นรับแรงดันตลอดเส้น ส่วน drain hose อาศัยแรงโน้มถ่วง แทบไม่รับแรงดัน และขนาดท่อถูกกำหนดโดยความสูงที่เหลืออยู่ของ drip tray การเอาท่อเสริมใยถักสเปกรับแรงดันไปทำท่อระบาย คือสเปกเกินความจำเป็น และราคาก็สู้ท่อระบายทั่วไปไม่ได้ ประเด็นการแลกได้แลกเสียของช่วงนี้เขียนไว้ที่ เลือก drain hose สำหรับ drip tray อย่างไร

ชิ้นส่วนที่ใช้ตลอดเส้นทาง

หลังจากแยกอธิบายสองรูปแบบไปแล้ว ขอสรุปเส้นทางทั้งหมดไว้ในตารางเดียว เพื่อให้เทียบได้ว่าระบบของคุณยังขาดช่วงไหน

เงื่อนไขการเลือกของแต่ละช่วงไม่เหมือนกัน ท่อหลักดูที่แรงดันกับอายุการใช้งาน ภายใน node ดูที่พื้นที่กับการถอดประกอบ drain hose ดูที่ความสูงที่เหลือของ drip tray ส่วนการป้องกันชุดสายไฟดูที่อุณหภูมิกับเกรดหน่วงการลามไฟ ในระบบเดียวกัน แทบไม่มีกรณีที่วัสดุชนิดเดียวจะครอบคลุมเงื่อนไขทั้งหมดได้