Quelle est la différence entre la puissance thermique de conception et la puissance électrique au mur d’un serveur d’IA ?

La puissance thermique de conception est une spécification de conception au niveau du composant, tandis que la puissance mesurée à la prise correspond à l’entrée électrique consommée par l’ensemble du serveur IA.

Un processeur indiqué avec une puissance thermique de 65 watts n’implique pas qu’un système IA domestique complet consomme 65 watts à la prise. La mémoire, le stockage, l’accélérateur, la conversion de la carte mère, les ventilateurs, les équipements réseau et les pertes de l’alimentation contribuent tous à la consommation. Les limites du mode Boost, la phase de charge, l’état d’inactivité, la température ambiante et les définitions des fabricants peuvent également créer un écart entre les spécifications des composants et la puissance réellement observée.

Le TDP définit un point de conception thermique ou de puissance de base

Le TDP sert à dimensionner le refroidissement et à caractériser un processeur dans le cadre d’une charge spécifiée ou d’une condition de fonctionnement de base. Il ne constitue pas une méthode de mesure universelle pour tous les fabricants et toutes les générations, et il n’additionne pas tous les composants présents dans le serveur.

La définition du TDP par Intel exprime le TDP en watts pour la conception des systèmes et précise que les produits plus récents utilisent la terminologie Processor Base Power. Cette définition est liée aux spécifications de fonctionnement et ne garantit pas que chaque charge consomme une valeur fixe.

L’inférence IA alterne entre le chargement du modèle, le préremplissage de l’invite, le décodage des jetons et les périodes d’inactivité. De brefs pics liés au mode Boost ou à l’accélérateur peuvent dépasser le point de conception nominal du processeur, tandis que la consommation moyenne du système peut rester inférieure ou supérieure pour des raisons entièrement différentes.

La puissance à la prise inclut toute la chaîne de conversion

Un wattmètre branché sur la prise mesure l’entrée CA de l’alimentation. Le serveur consomme une puissance CC convertie, et la différence correspond aux pertes de conversion, dont la proportion varie selon la charge, la tension, la conception de l’alimentation et son rendement. Les commutateurs connectés ou les boîtiers de disques externes ne sont pris en compte que s’ils se trouvent dans le périmètre mesuré.

Les critères d’utilisation énergétique du système ENERGY STAR évaluent la consommation d’un ordinateur au niveau du système et distinguent les différents modes de fonctionnement. Ce périmètre plus large est plus proche du coût d’électricité domestique qu’une spécification thermique de processeur. Cette distinction reste visible lors des tests domestiques ultérieurs.

La puissance à la prise inclut également le rafraîchissement de la mémoire, les disques, les ventilateurs, les contrôleurs de la carte mère, les périphériques USB et la consommation au repos de l’accélérateur. Deux systèmes équipés du même processeur avec le même TDP peuvent donc présenter une consommation différente au repos et en inférence. Le résultat intermédiaire doit rester vérifiable avant toute automatisation.

La capacité de refroidissement et le coût énergétique répondent à des questions différentes

La conception du refroidissement doit gérer l’emplacement et la manière dont la chaleur est dissipée, notamment les limites soutenues des composants et la recirculation de l’air. La planification électrique nécessite de mesurer la puissance au fil du temps, la demande de pointe, les pertes de l’onduleur et, parfois, les équipements réseau ou de stockage associés. Un seul chiffre ne peut pas remplacer l’autre de manière fiable.

Une analyse détaillée des limites du TDP explique pourquoi le TDP ne décrit pas toute la consommation électrique et met en évidence les définitions des fabricants ainsi que le comportement selon la charge. Elle confirme qu’il faut utiliser les spécifications pour le dimensionnement initial et effectuer des mesures directes sur le système déployé.

Le risque consiste à considérer une moyenne mesurée à la prise comme la preuve que le refroidissement est suffisant pendant les pics, ou à traiter la somme des TDP comme une prévision de consommation électrique. La limitation thermique, les courbes des ventilateurs, le rendement de l’alimentation et le cycle d’utilisation doivent rester visibles.

Featured

ZimaCube 2 NAS personnel Cloud à domicile

ZimaCube2

$799.00 - $2,499.00

Buy Now

Mesurez la puissance à la prise au repos, en continu et en pointe

Utilisez un wattmètre fiable branché sur la prise et enregistrez le démarrage, le repos, le chargement du modèle, un long préremplissage, le décodage régulier, l’inférence visuelle, l’activité des disques et les charges combinées les plus défavorables. Enregistrez les données de télémétrie des composants, la température, la fréquence d’horloge, la vitesse des ventilateurs et la limitation thermique en parallèle de la puissance mesurée à la prise, avec une fréquence d’échantillonnage capable de capturer les pics significatifs.

Interprétez la température du boîtier à l’aide de la comparaison du flux d’air présentée dans l’article sur la chaleur dans le boîtier. Définissez si le wattmètre inclut le NAS, le commutateur et le boîtier de l’accélérateur, puis calculez l’énergie par tâche et les watt-heures quotidiens au lieu de comparer uniquement les pics instantanés.

Dimensionnez le refroidissement et l’alimentation à partir des limites documentées ainsi que du comportement soutenu et transitoire mesuré. Utilisez les mesures à la prise pour évaluer la consommation domestique et planifier l’onduleur, et ne déduisez jamais la consommation totale du serveur à partir de la spécification thermique d’un seul processeur ou accélérateur.