Rechercher
Contactez-nous Suivez-nous sur Twitter En francais English Language
 

Abonnez-vous gratuitement à notre NEWSLETTER

Newsletter FR

Newsletter EN

Vulnérabilités

Se désabonner

Cloudera construit son propre outil de surveillance

novembre 2022 par Marc Jacob

Les dépenses mondiales consacrées aux services de cloud public ont atteint 385 milliards de dollars en 2021, et devraient encore grimper d’au moins 30% l’an prochain. Une conséquence de la hausse du prix de l’énergie et de la remontée des taux d’intérêt qui renchérit le poids des investissements colossaux des opérateurs. De nombreuses entreprises sont confrontées à des coûts toujours plus élevés pour leur infrastructure et il en va de même pour Cloudera, qui fait fonctionner une grande partie de son infrastructure interne de R&D sur des calculs et du stockage provenant des trois grands fournisseurs de cloud. Début 2020, les coûts étaient en passe de dépasser les 25 millions de dollars par an. Mais l’entreprise s’est donnée pour mission de les réduire de moitié d’ici fin 2022. Voici ce que Cloudera a fait pour atteindre cet objectif :

1. Avoir une vision d’ensemble
Une enquête menée en 2021 auprès des entreprises a révélé que 82% d’entre elles dépensent beaucoup plus que nécessaire pour les coûts du cloud, et 86% d’entre elles révèlent ne pas avoir de vision d’ensemble. Pourtant, il est impératif d’avoir une vision complète des coûts pour appréhender la situation, élaborer une stratégie et engager les actions appropriées. L’équipe projet de Cloudera a obtenu cette vision d’ensemble à l’aide d’un fournisseur de SaaS, mais a ensuite rapidement entrepris de développer sa propre solution d’automatisation : le projet CloudCost. L’objectif étant de fournir une source unique pour toutes les dépenses de cloud.

2. Allouer les coûts
La nouvelle solution ingère des données directement dans les API publiques de trois fournisseurs de cloud. Ce qui a permis à Cloudera d’ingérer des données plus rapidement, de manière plus fiable et plus détaillée, tout en économisant le coût des licences. En parallèle, les données peuvent être ingérées dans des systèmes RH et financiers pour compléter la vision d’ensemble de l’entreprise. Les différents postes de consommation et les coûts associés peuvent ainsi être répartis en 4 catégories :
• Compte cloud (Cloudera dispose d’environ 200 comptes cloud, la plupart affectés à des centres de coûts)
• Propriétaires d’objets, qui peuvent être rattachés à une unité organisationnelle, et donc à un centre de coûts.
• Balises : la mise en œuvre d’un processus de balisage à l’échelle de l’entreprise permet de réaffecter les coûts si nécessaire.
• Identification des gaspillages : des tableaux de bord spéciaux suivent les schémas de consommation et fournissent des informations exploitables, permettant aux propriétaires de déclencher des conversations ou de contacter directement l’équipe concernée pour apporter des changements et éliminer les gaspillages.

L’une des plus grandes forces de cette organisation est que si Cloudera décide d’employer d’autres fournisseurs sur site ou dans le cloud public, l’entreprise peut facilement les ajouter, tout en fournissant une vision à 360 degrés aux différents propriétaires.

3. Analyser et prévoir
Grâce à des analyses poussées, Cloudera a rapidement pu identifier les zones et les départements où il fallait cibler le gaspillage. L’entreprise a également créé des rapports sur le gaspillage en examinant l’utilisation ponctuelle des instances, les instances inactives ou surprovisionnées qui n’ont pas été résolues.
La clé pour obtenir des informations sur l’entreprise et réaliser les économies nécessaires est de placer les analyses entre les mains des utilisateurs qui sont en mesure d’en tirer parti. Mais les informations doivent être disponibles dans un format permettant d’évaluer et de rendre compte avec précision du taux d’exécution et de fournir des prévisions de fin de mois en un coup d’œil.
En utilisant sa propre solution Cloudera Data Visualisation, source unique de référence accessible à tous, Cloudera a pu très rapidement construire des tableaux de bord interactifs et voir les dépenses au jour le jour, les tendances, ainsi que des vues des prévisions mensuelles et de fin de mois.
L’envoi de rapports hebdomadaires aux responsables de l’ingénierie, montrant leurs dépenses, leur trajectoire, et mettant en évidence les zones de gaspillage, ont été essentiels pour les aider à gérer leurs coûts de manière proactive, en temps réel.

Grâce au déploiement du Project CloudCost, Cloudera a pu atteindre et même dépasser l’objectif ambitieux de réduire de moitié le coût de l’infrastructure de cloud public, qui est passé de 25 millions de dollars par an à 12 millions de dollars par an. Cette diminution a permis à l’entreprise de redéfinir ses priorités en matière de financement et d’augmenter les dépenses dans les domaines où l’entreprise en avait besoin.


Voir les articles précédents

    

Voir les articles suivants