Translations: "English" |

HOME LAB PART 5: El "Ultimate Small Form Factor Server" para Home Lab

Overview

Introducción

Hoy voy a compartir el resultado de mi experiencia construyendo mi laboratorio. Como se mencionó en mi post anterior como spoiler, me redujo mi configuración aún más y terminó con un sistema Mini ITX que reúne dos mundos: "/r/sffpc/" y "r/homelab/." Además, como puede adivinar desde el encabezado, moví mi configuración de Intel a AMD para la CPU, y esta es también mi primera configuración con AMD.

Al igual que un recordatorio, este es el grupo de criterios que sigo para mi servidor de laboratorio doméstico:

• Capacidad RAM
• Compatibilidad con VMWare
• Eficiencia energética
• Espacio
• Ruido

Los primeros cuatro puntos los tengo cubiertos usando la linea SuperServers de Supermicro, especialmente la línea con procesadores integrados como el Xeon-D. Y el el factor ruido lo e cubierto usando los todopoderosos fans de Noctua.

Sin embargo, como se mencionó en mis publicaciones anteriores, la serie 2100 de Xeon-D trae algunas de sus nuevas capacidades con un costo, y es que genera más calor. Debido a esto, decidí añadir el nuevo criterios: "Eficiencia Térmica".

Para entender mejor esto, después de pasar del Xeon-D 1500 a la serie Xeon-D 2100, los requisitos de TDP aumentaron y ¿qué es TDP?. Las térmicas para las CPU se miden mediante TDP o "Energía de diseño térmico", lo que significa la cantidad de calor que genera una CPU y que un sistema de refrigeración debe eliminar. En este caso, los ventiladores actuales con una altura máxima de 1U en la categoría de ventiladores silenciosos no son suficientes para ciertos niveles de TDP, especialmente cuando la refrigeración de la CPU es pasiva, como sucede con la serie Xeon-D 2100 en el chasis 1U.

Opciones de migración

Volví a investigar más sobre esto y encontré dos opciones:

Refrigeración líquida

Encontré una referencia en Reddit sobre eso:

Créditos a esta publicación de Reddit

Pero no tengo experiencia previa trabajando con sistemas de refrigeración líquida. Y donde vivo, el acceso a los materiales necesarios es muy limitado. También encontré este video de otro de mis canales favoritos de YouTube que muestra cómo los CPU Coolers de Noctua puede igualar o superar las configuraciones de refrigeración líquida:

Migrar de case 1U a torre

Y esto es para lograr dos criterios: eficiencia térmica y ruido; sin embargo, los criterios de uso del espacio están se vería afectado.

Elijo esta opción en lugar de la refrigeración por agua, y durante la etapa de investigación, llegué a lo largo de varios recursos, de foros, Reddit, y youTube Tech canales. Pasé muchas horas buscando alternativas y leyendo las experiencias de otros usuarios.

En este punto estaba considerando el caso NZXT h510i case:

Principalmente porque soporta el tamaño de la placa base que encontré tengo en mi servidor actual. Pero, aún así, no diría que me gustó la idea del case de tamaño completo, e indagando me encontré con los sistemas Mini-ITX, y pasé demasiado tiempo en este canal de YouTube: Optimum Tech. El contenido de este canal es simplemente increíble, este es de lejos uno de los mejores canales de YouTube que cubren los sistemas Mini-ITX, y también considera, entre otras cosas, dos factores importantes: la eficiencia de la temperatura y el ruido. Por suerte para mí, el creador del canal armó un video con los mejores casos que ha probado.

Migrar de Flex-ATX a Mini-ITX

Después de ver este video, decidí vender mi equipo actual de nuevo para continuar mi nuevo proyecto. Lo bueno es que sólo necesitaría reemplazar la placa base ya que la CPU está incluida y reutilizaría la RAM y los discos que ya tengo.

La opción natural sería ir con el X11SDV-8C-TLN2F

Sin embargo, al menos de las especificaciones generales:

El migrar de la placa base Flex-ATX a la placa base Mini-ITX tiene algunos compromisos como:

• 4 x 1 GbE ports
• 1 x PCIe 3.0 x16 slot
• 2 x NVMe x4 internal ports.
• Intel Quick Assist

Características que no me importaba perder. Y los beneficios además del hecho de que ahora puedo utilizar un case Mini-ITX, podría ser que el TDP es menor, lo que es excelente.

De Intel a AMD

Luego, mientras leía el sitio ServerTheHome encontré este post Supermicro M11SDV-8C-LN4F Review AMD EPYC 3251 mITX Platform,y sucede que estos procesadores AMD EPYC son la respuesta de AMD para el mercado de plataformas integradas versus la oferta de Intel y su Xeon-D. Y afrontémoslo AMD ha estado haciendo un excelente trabajo con el lanzamiento de sus procesadores de escritorio con Ryzen y ThreatRipper y los procesors EPYC para servidores.

El lanzamiento de los procesadores AMD EPYC 3000 fue en febrero de 2018 y publicaron esta comparación con la serie Intel Xeon-D 2100:

Tengo que culpar a mi actual empleador por hacer que mentalidad sea: más rendimiento!, Mejores características! Con un precio muy competitivo :), y este enfoque es lo que siento AMD ha estado haciendo en el mercado de CPUs.

En ese momento, encontré dos placas base de Supermicro a comparar para tomar una decisión, que es la M11SDV-8C+-LN4F basada en AMD EPYC y la X11SDV-8C+-TLN2F basada en Xeon-D, ambas tienen 8 núcleos y 16 hilos, y ambas son las variantes que incluyen un CPU Cooler activo. Supermicro solo ofrece el AMD EPYC 3251 como la opción tope de línea, si bien existen CPU con más potencia, Supermicro no las proporciona. Encontré que ASRock tiene una placa base usando el AMD EPYC 3451 que tiene 16 núcleos y 32 hilos, que por supuesto, son más caros, pero aún asi hubiera querido comprarlo, es imposibles de encontrar en stock. Incluso envié un correo electrónico a ASRock, pero nunca obtuve una respuesta; felicitaciones a Supermicro que siempre responden incluso a los usuarios finales como yo.

Esta es una comparación rápida entre las dos placas base:

Las principales diferencias que puedo destacar son:

• La placa base EPYC tiene una clasificación de 10 TDP menos que la placa base Xeon-D.
• La placa base EPYC no tiene interfaces 10G, que actualmente no necesito.
• La placa base EPYC tiene un PCIe x16 frente al PCIe x8 de la placa base Xeon-D.
• La placa base EPYC tiene menos puertos SATA, que actualmente no necesito muchos de ellos.
• La placa base EPYC tiene una interfaz M.2 PCIe para discos NVMe que realmente uso. use.

Entonces mi última preocupación fue sobre la compatibilidad, así que envié un correo electrónico a Supermicro, y fueron muy amables en responder, y cito:

We don’t have VMWare OS compatibility officially certified by VMWare. But the M11SDV-8C-LN4F is able to install ESXi 6.7 without any issue.

Así que decidí apostar en AMD con la placa base M11SDV-8C+-LN4F de Supermicro. Entonces era el momento de decidir qué case Mini-ITX utilizar para esta configuración.

Escogiendo el case Mini-ITX

Después de la investigación sobre 10 opciones, terminé con estas dos en mi lista corta:

Louqe Ghost S1

NCase M1

El Louqe Ghost S1 fue mi primera opción, ya que era un poco más pequeño, pero me preocupaba el diseño interno, que es lo que se conoce como "diseño de sándwich." esto divide el diseño del chasis en dos y utiliza un elevador PCIe para la GPU como esta imagen:

Pero no planeo tener una GPU en este sistema, y ese diseño afecta la altura del CPU cooler, que según las especificaciones de su sitio web:

La altura máxima para el CPU cooler es de 66 mm. Me puse en contacto con Supermicro de nuevo, y me enviaron esta información:

La altura del CPU cooler de stock es de 69,2 mm, y en ese momento, estaba buscando en un CPU cooler y encontré el Noctua NH-L12, que está clasificado como uno de los mejores. Sin embargo, se encontraba descontinuado, y por ende, difícil de encontrar. La nueva revisión es el Noctua NH-L12S, pero la altura es de 70 mm. Encontré algunas referencias de personas que lograban instalarlo doblando el CPU cooler para hacerlo encajar en el Ghost S1, pero no me gustaba la idea de tener que hacer eso. Luego, cuando estaba escribiendo este post, me di cuenta de que en junio de 2020, Louqe y Noctua presentaron la reedición del NH-L12 como una edición especial para el Ghost S1,demasiado tarde para mí.

NCase M1 FTW

Descarte la opción Louque e investiqué más sobre el Ncase M1; la historia de este case se remonta a 2014, donde fue el primer case Mini-ITX creado via "crowdsourcing". Algunos dicen que ese es el case que originó todo este movimiento de cases SFF. Seis versiones más tarde y después de ver la revisión de Optimum Tech:

Decidí ir con este case. El problema, es que era casi imposible de conseguir; por suerte para mí, el creador anunció un nuevo lote que estaría disponible para pre-orden. Y yo estaba monitoreando todo, Reddit, y el SFF Forum. Finalmente, un día por la mañana, vi un comentario de que el sitio web oficial estaba abierto, y tuve la suerte de hacer el pedido. Dos meses más tarde, recibí la notificación de envío, y un mes mas lo recibí.

Lamentablemente, el servicio postal del Perú no es el mejor, y el paquete llego dañado, el panel lateral tenía una abolladura. Me contacte con el servicio de atención al cliente y envié algunas fotos del panel lateral dañado. Fueron muy amables, y me enviaron el reemplazo de forma gratuita. Esto es lo que yo llamo excelente servicio de atención al cliente. Incluso usaron FedEx que entregó la pieza de reemplazo en una semana y en perfectas condiciones.

La calidad de este case es simplemente excepcional. Nunca había visto algo así. El case valio cada dólar. Porque seamos sinceros, USD 275.00 (Incluyendo el envío a Perú) no es barato, pero el cuidado en los detalles en el diseño, la calidad del acabado de aluminio, me hizo entender por qué incluso con ese precio, la demanda de este case es tan alta.

El siguiente paso fue conseguir un enfriador de CPU, como se menciona en su sitio web: NCases.com,el Ncase M1 soporta CPU coolers con una altura de hasta 130 mm. Encontré dos opciones con excelentes comentarios durante mi investigación, el Noctua NH-U9S, y el Noctua NH-C14S. Entonces, encontré este post en Reddit donde ambos refrigeradores fueron probados y comparados:

Los resultados son que el Noctua NH-C14S tiene un número ligeramente mejor para los valores de temperaturas máximas, así que este es el que elejí.

El siguiente reto fue armar todo. Después de revisar la placa madre, quitar el ventilador de stock, y limpiar la pasta térmica, la primera sorpresa fue que la CPU no tiene un "heat spreader"; expone el CPU die directamente. Y algo que esperaba era encontrar que el socket no es estándar, por lo que los kits de montaje de CPU Cooler comerciales no funcionarán con esta placa.

AMD llama al tipo de socket: SP4r2, e incluso hasta la fecha de escribir este blog, un CPU Cooler para este socket sigue siendo inexistente, solo el OEM de Supermicro si uno elige la placa base con refrigeración pasiva primero y luego desea obtener el enfriador de CPU con refrigeración activa.

Mientras buscaba más información, encontré este mensaje en ServeTheHome Forum donde el usuario "Slavearm" publicó unos brackets 3D para el Noctua NH-L12S que el diseño para que funcione con la placa madre de la serie X11SDV de Supermicro que utiliza el socket rPGA988. Me gustó esa solución y pense que con algunos cambios; podría adaptar los soportes para que funcione con la placa madre de la serie M11SDV. El usuario fue muy amable y me envió una copia de los archivos originales en Autodesk Fusion 360.

Un nuevo problema: No tenía ninguna experiencia previa con el diseño e impresion 3D, así que era el momento de aprender algo nuevo. Y después de un entrenamiento express cortesía de buscar en google, encontré cómo hacer los cambios que necesitaba.

Como referencia, el diseño original se puede encontrar aquí

Y la forma en que se montan estos soportes utiliza un conjunto de 4 tornillos de cabeza de botón M3x10mm y 4 tuercas DIN562 Thin Square M3. Fui a muchas ferreterías, y no pude encontrarlas. Sólo encontré algunos sitios web de China que podrían enviar estos artículos, pero tardaría meses en llegar.

Debido a esto, decidí usar mis habilidades recién adquiridas :) y decidí cambiar el diseño 3D para no usar esos materiales adicionales, y luego encontré en la caja Noctua NH-C14S algunos elementos que podría usar, como tornillos y otros:

Del kit de Intel:

Luego tuve que remover las agarraderas del CPU Cooler:

Y así es como se ve mientras estaba haciendo una prueba para tomar algunas medidas:

No tengo una impresora 3D, así que tuve que buscar proveedores locales que pudieran imprimir el diseño primero en PLA, que es la opción más barata que encontré, cada prueba de impresión me costó alrededor de USD 5.00, y después de 3 pruebas y cambios, así es como se ve el diseño final en 3D:

Los archivos 3D se pueden encontrar y utilizar desde este enlace a Thingiverse

Basándome en las recomendaciones del creador del diseño original, para la impresión final, utilicé PC (policarbonato), que tiene una mejor resistencia al calor que el PLA. La resistencia al calor es algo crítico ya que el contacto entre el cooler y el CPU puede llegar a calentarse demasiado, y con el material incorrecto, esto podría tener implicaciones peligrosas.

Tiempo de instalar el CPU cooler!, primero pongo los tornillos de montaje como esta imagen:

Usé la pasta térmica incluida que venía dentro de la caja Noctua C14S, que es la NT-H1, sé que la aplicación podría ser mejor, pero por ahora, es más que suficiente :)

Luego, utilicé los tornillos para asegurar el montaje del cooler sobre el CPU, como se muestra en esta imagen:

También debido a la altura del CPU Cooler tuve que cambiar la posición del conector de alimentación, el case es muy flexible para permitir cambiar este tipo de configuraciones cuando sea necesario:

E incluso con eso, tuve que doblar un poco una esquina del disipador de calor para que encajara:

Y así es como se ve desde adentro después de instalar la PSU, RAM, CPU Cooler y hacer un enrutamiento rápido de cables:

Conseguí un par de [Noctua NF-S12A Chromax] (https://noctua.at/en/nf-s12a-pwm-chromax-black-swap) y coloqué uno en la parte inferior, empujando aire fresco de abajo hacia arriba a través del case. Luego instale la [ASUS Hyper M.2 X16 PCIe 3.0 X4 Expansion] (https://www.asus.com/Motherboard-Accessories/HYPER-M-2-X16-CARD-V2/) y luego elegí usar el segundo ventilador para empujar aire a los otros componentes como la RAM y la placa base.

Luego, para asegurar el ventilador con el soporte interno, en lugar de diseñar e imprimir algo en 3D, no escatimé en gastos y utilicé los mejores cables que pude encontrar:

El NCASE M1 incluye un panel antipolvo que instalé:

Y también agregué un disco SSD adicional en el panel frontal interno:

Entonces es el momento de cerrar todo:

Y hasta ahora así es como se ve:

La lista de materiales final del servidor:

• Case: NCase M1 V6
• PSU: Corsair SF450 SFX 80+ Platinum
• Motherboard: Supermicro M11SDV-8C+-LN4F
• CPU: AMD EPYC 3251 8 core and 16 thread
• CPU Cooler: Noctua NH-C14S
• Case Cooler: 2 x Noctua NF-S12A Chromax
• RAM: 4 x Samsung 64GB DDR4-2666 ECC/REG Load Reduced CL19 Server Memory Model M386A8K40BM2-CTD7Q
• Storage:
  • Boot: Supermicro SATA-DOM SSD 64GB SSD-DM064-SMCMVN1
  • Storage Adapter: ASUS Hyper M.2 X16 PCIe 3.0 X4 Expansion Card V2
  • NVMe Storage: 2 x Samsung 2TB 970 EVO NVMe M.2 Internal SSD
  • Extra Storage: 1 x Micron M510DC.

Ejecuté algunas tareas que demandaban recursos para medir la capacidad de procesamiento y también para comparar la temperatura general del sistema, y estos son los resultados:

Como se puede ver en la imagen, el registro de temperatura más bajo es de aproximadamente 18° C para la CPU, y con un máximo de 35° C, la temperatura ambiente durante la prueba fue de 20° C. Además, debido a la configuración de FAN dentro de la carcasa, la temperatura de la RAM también es muy buena.

La configuración del los ventiladores fue la siguiente:

• FAN1 (CPU): 1100 R.P.M
• FAN2: 700 R.P.M
• FANB: 600 R.P.M

Y por esa configuración de ventiladores, en cuanto al ruido, el nivel medio medido con un iPhone ya que no tengo una herramienta especializada para hacer esto es de 27 dBA, que es muy silencioso. Mi MacBook Pro hace más ruido cuando los ventiladores están activos.

Y para el uso de energía, observé un promedio de 50W y hasta 60W con carga.

Como idea final, esta configuración también se puede hacer con la serie Xeon-D. Hice la apuesta de usar una CPU AMD y, hasta ahora, estoy contento con el resultado. Y el caso de uso que tengo para este servidor es ejecutar vSphere con nesting para NSX y soluciones como VCF 4, APT Sandboxing, SIEM y SOAR, entornos completos de Windows AD simulados (endpoints, servidores) esto para ejecutar ejercicios de emulación de amenazas.

Eso es todo por ahora, tengo muchas cosas pendientes para publicar, pero quería terminar esta publicación primero.