Translations: "English" |

Home Lab Parte 3: Construyendo la primera versión de mi laboratorio en casa

Share on:

Después del preludio de las publicaciones anteriores, ahora es el momento de compartir las experiencias que tuve mientras construía mi laboratorio en casa. Tengan en cuenta que comencé este proyecto en marzo de 2016.

Primero, establecí un grupo de criterios durante la planificación de la construcción del equipo que quería usar en la primera iteración de mi servidor. Los principales fueron:

  • Capacidad de RAM: Debido a que el caso de uso principal es ejecutar máquinas virtuales, la cantidad de máquinas virtuales depende directamente de la cantidad de RAM, los 16 GB de RAM que tenía en mi laptop en ese entonces no eran suficientes. La cantidad máxima de RAM de las computadoras de escritorio en el momento de la primera iteración (2016) era de 32 GB de RAM. Más adelante en 2017, Intel lanzó la serie de chipsets X299 junto con los procesadores de la serie X que soportan 128 GB de RAM, dependiendo de la placa base. Y como pude imaginar, no es la placa base más barata del mercado.

  • Compatibilidad con VMWare: La mayoría de las interfaces de red integradas de computadoras de escritorio no están listadas en la HCL de VMware y requieren pasos adicionales como crear una ISO personalizada, y aún asi, recuerdo haber tenido problemas cuando realice un procedimiento similar instalado ESXi en una laptop (hola "purple screen of death").

  • Eficiencia energetica: En base a las dos primeras opciones, la respuesta obvia seriá elegir un servidor dedicado. He visto a muchas personas tomando buenas ofertas para servidores usados; sin embargo, la mayoría de esos equipos consumen una cantidad importante de energia, por lo que lo que se puede ahorrar comprando un servidor usado, se puede terminar pagando de más en la factura de electricidad.

  • Espacio: Vivir en un apartamento donde no hay mucho espacio, un servidor de tamaño completo no era una opción.

Durante mi investigación, encontré algunos blogs relacionados con la virtualización y descubrí que era común usar los Intel NUC para ejecutar laboratorios de virtualización. Sin embargo, entra en conflicto con los puntos 1 y 2 de mi primera lista y también tenía algunas otras limitaciones, especialmente relacionadas con la expansión.

Luego encontré [esta publicación de blog] (https://tinkertry.com/superserverworkstation) del blog TinkerTry de Paul Braren, y el encontro una solución muy viable utilizando hardware de Supermicro que puede acomodar:

  • Procesadores Xeon-D con 8 núcleos
  • Hasta 128 GB de RAM
  • Puertos de red Intel i350 1GbE compatibles con VMware
    • Eventualmente, fueron incluidos en la lista VMware HCL.

La primera vez que escuché sobre el procesador Xeon-D, me sorprendió, esta línea de procesadores es la propuesta de Intel para el mercado de microservidores. Basado en la misma arquitectura que las CPU de nivel de servidor, pero con el concepto SOC integrado en una placa base, con soporte para gran cantidad de RAM y con bajo consumo de energía.

Todo esto me ayudó a decidir ir con Supermicro, y más tarde descubrí que un blogger logró publico una buena comparación y explicó cómo los microservidores de Supermicro son mucho mejores que los Intel NUC, al menos para fines de laboratorio en casa. Acabo de comprobar que el enlace que yo tenia guardado de la publicación ya no está activo, sin embargo, gracias al Archivo de Internet "Way Back Machine" [aquí está la publicación] (https://web.archive.org/web/20180311082417/https://www.lab-rat.com.au/2017/04/01/supermicro-vs-intel-nuc/)

Regresando al blog Tinker Try, este se centró en el formato de torre mediana, y yo estaba más inclinado a un formato compatible con racks, ya que también estaba planeando agregar un stack de switchs para hacer pruebas.

La primera opción era obtener el barebone [SuperServer 5018D-FN4T] (https://www.supermicro.com/products/system/1u/5018/sys-5018d-fn4t.cfm), pero no estaba convencido sobre el enfriamiento pasivo del CPU, ya que en el departamento no hay aire acondicionado, ni condiciones adecuadas para garantizar el funcionamiento del enfriamiento pasivo. Entonces, decidí separar el chasis y la placa base y ensamblarlo yo mismo, y después de buscar otros componentes, esta fue la lista de materiales de las piezas que obtuve:

CantidadNombre / SKUDescriptionURL
1Supermicro Chassis SC505-203B1U chassishttps://bit.ly/2Lgery1
1Motherboard X10SDV-TLN4FVariant of the X10SDV-8C-TLN4F, but with active-coolinghttps://bit.ly/3fCqHXD
4HYNIX 32 GB RAM MEM-DR432L-HL01-ER2RAM included on the compatibility list of the Supermicro site.https://bit.ly/2AhMEuT
2Samsung 950 PRO m.2. 512 GBNVMe Storagehttp://amzn.com/B01639694M
1Supermicro RSC-RR1U-E8Riser to accomodate a PCIe card in the 1U format/spacehttp://amzn.com/B005EV1464
1Angelbird PX1M.2 SSDs PCIe x4 adapterhttps://bit.ly/3fyb6s2
1Supermicro MCP-260-00085-0B1U I/O Shield for the chassis SC505-203Bhttp://amzn.com/B00SH0F0VY

Algunas notas de esta primera lista de materiales:

  • NVMe SSD : Esta bien, lo admito!, fue un poco exagerado, pero después de disfrutar de los beneficios de velocidad del uso del almacenamiento NVMe, valió la pena cada dólar extra.
  • El adaptador PCIe no solo cubre la función para proporcionar una interfaz M.2 adicional, sino que también proporciona una gran disipación de calor para los discos M.2
  • El IO Shield incluido en la placa base no coincidía con el chasis, y bueno los USD 10 un extra no eran tanto en comparación con el resto de la lista de materiales.

¿Cuánta potencia computancional logré con esto?:

  • CPU: 2.10 GHz con 8 núcleos y 16 hilos
  • RAM: 128 GB
  • Almacenamiento: 1 TB SSD NVMe

En aquel entonces no tenía cómo medir el uso de energía, así que voy a tomar como referencia el blog TinkerTry, y cito:

"En reposo usa 40 watts, pero incluso con cargas pesadas, y los 4 discos de 3.5" hot-swap 
utilizados, solo alcanza a utlizar hasta 85 watts más o menos ".." 

fuente: https://tinkertry.com/superserverworkstation

Hice lo mejor que pude para encontrar en mis archivos algunas imágenes de la construccion del laboratorio, y estas son las fotos que encontré:

Server v1-01

Server v1-02

En base esa imagen, se puede ver que el chasis solo venía con un ventilador, y el sistema se estaba sobre calentando más rápido de lo que esperaba. El primer error que cometí fue agregar dos ventiladores más, y el error fue obtener las piezas del mismo Supermicro, pensando que debería funcionaria mejor a los componentes del mismo catálogo del fabricante. Y no importa si se utiliza PWM (Pulse With Modulation) para controlar las velocidades del ventilador, ¡esos pequeños demonios son ruidosos!

Como referencia, estas son las partes adicionales que obtuve:

CantidadSKUDescripciónURL
1MCP-320-11101-0NFan holder 4-pin for 2x 4028 fanshttp://amzn.com/B0021YAGCU
2Supermicro FAN-0100L41U-4-Pin PWM Fan for SC510 SC511http://amzn.com/B001A25AXY

Más tarde cometí un doble error cuando agregué otro servidor con el mismo grupo de ventiladores.

Y este es el pequeño rack de pared de 12U que tenía en aquel entonces, junto con el servidor hay un grupo de FortiGate 90D y dos FortiSwitchs 108D-POE:

Server v1-03

Y eventualmente se volvio más completo (perdón por la gestión del cables)

Server v1-04

Tengo buenos recuerdos de aprendizaje de esa época, pero un año después los recursos del servidor no fueron suficientes para mis laboratorios, especialmente relacionados con ATP, tecnologías de sandboxing, junto con la investigación SIEM y un entorno completo para simular entornos empresariales que combinan Windows, Linux VM y diferentes tecnologías de NGFW, Sandboxing, ADC, Mail Security y un largo, etc.

Entonces, en 2017, realicé la primera actualización al laboratorio, y agregué un segundo servidor con las mismas especificaciones más un disco de arranque para la instalación de ESXi y un disco adicional como almacenamiento para archivos ISO y copias de seguridad, ya que el almacenamiento NVMe se usaba principalmente para las máquinas virtuales activas.

Para esta actualización, obtuve estas partes para usar una de cada por servidor:

CcantiaddSKUDescripciónURL
2SSD-DM016-SMCMVN1Supermicro 16GB SATA DOMhttp://amzn.com/B01MXWJHG0
2HGST 8TB Ultrastar He8 HUH728080ALE6048TB 7,2K RPM SATA 6Gb/s 128MB 3.5" HDD 512Ehttp://amzn.com/B00OHUNXKI

Justo después de finalizar la actualización y encender todo el laboratorio, si con un servidor, el ruido era notorio incluso con la puerta cerrada, lo cual siempre evito, ya que no es una buena idea ya que afecta el flujo de aire adecuado en la habitación.

Como mencioné antes, cometí un error al usar los ventiladores del catálogo de Supermicro. El resultado, un ruido insoportable en todo el apartamento. Mi esposa siempre me ha apoyado mucho en todo esto, y no necesitaba decirme nada para darme cuenta que tenía que hacer algo al respecto.

Nuevamente, después de investigar un poco, encontré Noctua un fabricante de ventiladores y coolers de CPU. Y una de las principales características de sus productos es que cuentan con la tecnología para proporcionar soluciones de enfriamiento altamente eficientes y de bajo ruido.

Terminé comprando 6 x Noctua NF-A4x20 PWM, por aproximadamente USD 15 cada uno, un poco caro para un fan, pero vale la pena, incluso el paquete es de muy alta calidad y el conjunto de accesorios proporcionados para satisfacer cualquier necesidad relacionada con el uso de esos ventiladores, "ventiladores premium" es una forma más precisa de referirse a ellos, ¡nuevamente vale la pena!

Después de reemplazar esos ruidosos ventiladores de Supermicro, la diferencia fue enorme, el flujo de aire fue lo suficientemente bueno como para mantener los sistemas fríos, y el nivel de ruido fue bastante aceptable.

Esta es una comparación entre los fans de Supermicro VS los de Noctua:

FanTamañoVelocidad MáximaNivel de ruido MáximoVelocidad máxima de flujo de aire
FAN-0100L440mm8500 RPM34 dBA12 CFM
NF-A4x2040mm5000 RPM14,9 dBA5.5 CFM

Solo como ejercicio si usamos los valores máximos, y si multiplicamos el nivel de ruido de cada ventilador de Supermicro, estamos hablando de 102 dBa por cada servidor.

Según el siguiente cuadro de comparación, si los ventiladores estuvieran funcionando a toda velocidad, el resultado no es para nada bueno:

Noise levels

Fuente: https://www.osha.gov/SLTC/noisehearingconservation/loud.html

Después de resolver el problema del ruido y aprender la lección, no solo logré mejorar el conocimiento sobre los productos Fortinet, sino que también con VMWare, incluso agregué una computadora portátil con KVM con un ESXi anidado como un VSAN Wwitnees para jugar con la tecnología.

Encontré en mis archivos un dibujo de topología que hice en ese momento:

Lab Topology

Y antes de que lo olvide, siempre recomiendo si se está planeando usar VMware vSphere para ejecutar un laboratorio, suscribirse a VMUG Advantage. Por USD 200.00 por año, le da acceso a un amplio catálogo de productos VMware con una licencia adecuada con la condición de que solo se utilice en entornos que no sean de producción. La mayoría de las veces, puede encontrar un cupón de descuento del 10% en el sitio web.

Y toda esta configuración me ha funcionado bastante bien hasta inicios de 2019, donde decidí aplicar algunas mejoras más relacionadas con la actualización de la plataforma de la serie Xeon-D 1500 a la nueva Xeon-D 2100. La razón principal para el cambio fue el soporte de 256 GB de RAM en un solo sistema, lo que me permitirá reducir el tamaño del laboratorio y aplicar varias optimizaciones. Detallaré esto en la próxima publicación.

Espero que estas experiencias ayuden a cualquiera que quiera construir un laboratorio en casa.

Las publicaciones previas se pueden encontrar en los siguientes enlaces:

La continuación de este articulo puede ser encontrado en:

comments powered by Disqus