यह लेख वेंचरबीट के विशेष मुद्दे का हिस्सा है, “द रियल कॉस्ट ऑफ एआई: प्रदर्शन, दक्षता और आरओआई स्केल पर।” और पढ़ें इस विशेष मुद्दे से।
एआई आधुनिक कंपनियों की पवित्र कब्र बन गया है। चाहे यहाँ हो ग्राहक सेवा या पाइपलाइन रखरखाव के रूप में निकॉय के रूप में कुछ, हर डोमेन में संगठन अब एआई प्रौद्योगिकियों को लागू कर रहे हैं – नींव मॉडल से बालों तक – चीजों को अधिक प्रभावशाली बनाते हैं। लक्ष्य सीधा है: अधिक कुशलता से परिणामों को वितरित करने और एक साथ धन और संसाधनों को बचाने के लिए ऑफ़े टास्क।
हालांकि, इन परियोजनाओं के रूप में पायलट से उत्पादन चरण में संक्रमण होता है, टीमों ने मुठभेड़ और बाधा डाली के लिए योजना नहीं बनाई थी: क्लाउड की लागत उनके मार्जिन को मिटा देती है। स्टिकर शॉक इतना बुरा है कि जो एक बार नवाचार और प्रतिस्पर्धी बढ़त के लिए समान मार्ग महसूस किया गया था, वह कुछ ही समय में एक अस्थिर बजटीय ब्लैकहोल बन जाता है।
यह सीआईओ को सब कुछ पुनर्विचार करने के लिए प्रेरित करता है – मॉडल आर्किटेक्चर से लेकर तैनाती मॉडल तक – वित्तीय और परिचालन पहलुओं पर नियंत्रण हासिल करना। कभी -कभी, वे परियोजनाओं को पूरी तरह से बंद कर देते हैं, जो खरोंच से शुरू होते हैं।
लेकिन यहाँ तथ्य है: जबकि क्लाउड असहनीय स्तर तक लागत ले सकता है, यह खलनायक नहीं है। आपको बस यह समझना होगा कि किस प्रकार के वाहन (एआई इन्फ्रास्ट्रक्चर) को नीचे जाने के लिए चुनने के लिए (वर्कलोड)।
क्लाउड स्टोरी – और जहां यह काम करता है
बादल सार्वजनिक परिवहन (आपके मेट्रो और बसों) की तरह है। आप सरल किराये के मॉडल के साथ बोर्ड पर आते हैं, और यह तुरंत आपको सभी संसाधनों को देता है – जीपीयू उदाहरणों को वेरिएस जियोग्राफी में तेजी से स्केलिंग करने के लिए – आपको अपने गंतव्य पर ले जाता है, सभी न्यूनतम काम और सेटअप के साथ।
तेजी से और आसान पहुंच के माध्यम से और सेवा मॉडल सुनिश्चित करता है और सहज शुरुआत करता है, विशेष जीपीयू को प्राप्त करने के विशाल अप-फ्रंट कैपिटल एक्सपेंडेंट के बिना परियोजना को बंद करने और तेजी से प्रयोग करने का मार्ग प्रशस्त करता है।
ब्रिज अर्ली-स्टेज स्टार्टअप्स इस मॉडल को ल्यूकेटिव पाते हैं, क्योंकि जरूरत किसी भी चीज़ से अधिक है, खासकर जब वे अभी भी मॉडल को मान्य कर रहे हैं और उत्पाद-बाजार फिट का निर्धारण कर रहे हैं।
“आप एक खाता बनाते हैं, क्लिक करते हैं और कुछ बटन बनाते हैं, और सर्वर तक पहुंच प्राप्त करते हैं। यदि आपको आवश्यकता है और अलग -अलग GPU आकार, तो आप बंद कर देते हैं और नए चश्मा के साथ उदाहरण को पुनरारंभ करते हैं, क्या Morses। यदि आप एक बार चरण में दो प्रयोगों को चलाना चाहते हैं, तो ध्यान जल्दी से विचारों को मान्य करने पर है। भाषण -विज्ञानवेंचरबीट को बताया।
“आसानी” की लागत
जबकि क्लाउड शुरुआती चरण के उपयोग के लिए सही समझ में आता है, बुनियादी ढांचा गणित परीक्षण और सत्यापन से वास्तविक दुनिया के संस्करणों में परियोजना संक्रमण के रूप में गंभीर हो जाता है। वर्कलोड का पैमाना बिलों को क्रूर बनाता है – इतना अधिक कि लागत रातोंरात 1000% से अधिक बढ़ सकती है।
यह अनुमान के मामले में विशेष रूप से सच है, जिसमें न केवल सेवा अपटाइम सुनिश्चित करने के लिए 24/7 रन है, बल्कि ग्राहक की मांग के साथ भी पैमाने हैं।
अधिकांश अवसरों पर, सरीन बताते हैं, जब अन्य ग्राहक भी GPU पहुंच का अनुरोध कर रहे हैं, तो इनवेंशन डिमांड स्पाइक्स, संसाधनों के लिए प्रतिस्पर्धा बढ़ा रहे हैं। ऐसे मामलों में, टीमों को या तो मुकदमा बनाने की क्षमता रखती है और आरक्षित क्षमता उन्हें मिलती है जो उन्हें गैर-शिखर घंटे के दौरान जीपीयू समय को निष्क्रिय करने की आवश्यकता होती है या लेटेंस से पीड़ित होती है, जो डाउनस्ट्रीम अनुभव को प्रभावित करती है।
एआई अनुपालन मंच के सीईओ क्रिश्चियन खौरी Easyaited ai“नए” क्लाउड टैक्स “के रूप में वर्णित है, वेंचरबीट को बताते हुए कि उन्होंने कंपनियों को $ 5k से $ 50k/महीने रात भर में जाते देखा है, बस अनुमान ट्रैफ़िक से।
यह भी ध्यान देने योग्य है कि टोकन-आधारित पिकिंग के साथ एलएलएम को शामिल करने वाले वर्कलोड को शामिल किया गया है, क्या सबसे अधिक लागत बढ़ सकती है। यह है कि ये मॉडल गैर-नियतात्मक हैं और लंबे समय से चल रहे कार्यों (बड़े संदर्भ खिड़कियों को शामिल करते हुए) को संभालते समय आउटपुट-जनरेट कर सकते हैं। निरंतर अपडेट के साथ, एलएलएम की लागत का पूर्वानुमान या नियंत्रित करना वास्तव में मुश्किल हो जाता है।
इन मॉडलों को प्रशिक्षित करना, अपनी ओर से, “फट” होने के लिए होता है, हालांकि, इन मामलों में भी, बढ़ती प्रतिस्पर्धा के रूप में एस्पेफेली बार -बार पीछे हटने के लिए, उद्यमों के पास निष्क्रिय जीपीयू समय से बड़े पैमाने पर बिल हो सकते हैं, जो ओवरप्रोवाइजिंग से उपजा है।
“क्लाउड प्लेटफार्मों पर प्रशिक्षण क्रेडिट तेजी से पुनरावृत्ति चक्रों के दौरान उजागर हो रहे हैं और लगातार पीछे हटते हैं, लागतों को जल्दी से बढ़ा सकते हैं। लंबे प्रशिक्षण रन को बड़ी मशीनों तक पहुंच की आवश्यकता होती है, और अधिकांश क्लाउड प्रदाता केवल अधिक गारंटी देते हैं।
और, यह सिर्फ यह नहीं है। क्लाउड लॉक-इन बहुत वास्तविक है। मान लीजिए कि आपने और लंबे समय तक रिजर्व किया है और प्रदाता और प्रदाता से क्रेडिट खरीदा है। उस स्थिति में, आप उनके पारिस्थितिकी तंत्र में बंद हैं और उन्हें फेरेंस पर क्या भी उपयोग करना पड़ता है, तब भी जब अन्य प्रदाता नए, बेहतर बुनियादी ढांचे में चले गए हों। और, अंत में, जब आपको स्थानांतरित करने की क्षमता मिलती है, तो आपको बड़े पैमाने पर इग्रेस शुल्क वहन करना पड़ सकता है।
“यह केवल लागत की गणना नहीं है। आप प्राप्त करते हैं … अप्रत्याशित ऑटोस्केलिंग, और पागल इग्रेस फीस यदि आप क्षेत्रों या विक्रेताओं के बीच डेटा स्थानांतरित कर रहे हैं। एक टीम मॉडल को प्रशिक्षित करने की तुलना में डेटा को स्थानांतरित करने के लिए अधिक भुगतान कर रही थी,” सरिन ने जोर दिया।
तो, वर्कअराउंड क्या है?
एआई के निष्कर्ष और प्रशिक्षण के फटने वाली प्रकृति की निरंतर बुनियादी ढांचे की मांग को देखते हुए, उद्यम कार्यभार को विभाजित करने के लिए आगे बढ़ रहे हैं
यह सिर्फ सिद्धांत नहीं है – यह इंजीनियरिंग नेताओं के बीच एक बढ़ती चाल है, जो रनवे के माध्यम से जलने के बिना एआई को उत्पादन में डालने की कोशिश कर रहा है।
“हमने टीमों को समर्पित GPU सर्वर का उपयोग करके अनुमान के लिए Colocation में स्थानांतरित करने में मदद की है जो वे नियंत्रित करते हैं। यह सेक्सी नहीं है, लेकिन यह मासिक इन्फ्रा खर्च में 60-80%तक खर्च करता है,” खौरी ने कहा। “हाइब्रिड सिर्फ सस्ता नहीं है – एआईटी का स्मार्ट।”
एक मामले में, उन्होंने कहा, एक सास कंपनी ने अपने मासिक एआई इन्फ्रास्ट्रक्चर बिल को कम करके क्लाउड से दूर जाने वाले वर्कलोड को स्थानांतरित करके $ 42,000 से केवल $ 9,000 से कम कर दिया। स्विच ने दो सप्ताह के भीतर खुद के लिए भुगतान किया।
एआई ग्राहक सहायता उपकरण के लिए लगातार उप -50MS प्रतिक्रियाओं की आवश्यकता वाली एक अन्य टीम ने पाया कि क्लाउड-आधारित इनवेंशन लेटेंस अपर्याप्त था। Colocation के माध्यम से उपयोगकर्ताओं के करीब आने से न केवल प्रदर्शन की अड़चन को हल किया गया – बल्कि इसने लागत को आधा कर दिया।
सेटअप आम तौर पर इस तरह से काम करता है: अनुमान, जो हमेशा-पर और लैटेसी-संवेदनशील होता है, समर्पित जीपीयू पर या तो ऑन-प्रेम्प या पास के डेटा सेंटर (कॉलोकेशन सुविधा) में चलता है। इस बीच, प्रशिक्षण, जो गणना-संकेत है, लेकिन छिटपुट, बादल में रहता है, जहां आप मांग पर शक्तिशाली समूहों को स्पिन कर सकते हैं, कुछ घंटों या दिनों के लिए दौड़ सकते हैं, और बंद कर सकते हैं।
मोटे तौर पर, यह अनुमान लगाया जाता है कि हाइपरस्केल क्लाउड प्रदाताओं से किराए पर लेने से छोटे प्रदाताओं के साथ काम करने की तुलना में प्रति GPU घंटे तीन से चार गुना अधिक खर्च हो सकता है, जिसमें अंतर-बुनियादी ढांचे की तुलना में अंतर और भी अधिक महत्वपूर्ण हो सकता है।
अन्य बड़ा बोनस? भविष्यवाणी।
ऑन-प्रो या कोलोकेशन स्टैक के साथ, टीमों को उन संसाधनों की संख्या पर भी पूर्ण नियंत्रण होता है जो वे प्रावधान करना चाहते हैं या अनुमानित कार्यभार की अपेक्षित आधार रेखा के लिए जोड़ना चाहते हैं। यह बुनियादी ढांचे की लागतों के लिए पूर्वानुमान लाता है – और आश्चर्यजनक बिलों को समाप्त करता है। यह स्केलिंग को ट्यून करने और क्लाउड इन्फ्रास्ट्रक्चर की लागत को बनाए रखने के लिए आक्रामक इंजीनियरिंग प्रयास को भी नीचे लाता है।
हाइब्रिड सेटअप भी टाइम-सीन एआई अनुप्रयोगों के लिए लैटेसी को कम करने में मदद करते हैं और बेहतर अनुपालन को सक्षम करते हैं, विशेष रूप से वित्त, स्वास्थ्य सेवा और शिक्षा जैसे उच्च विनियमित उद्योगों में काम करने वाली टीमों के लिए
हाइब्रिड जटिलता वास्तविक है लेकिन शायद ही कभी और डीलब्रेकर
चूंकि यह हमेशा मामला रहा है, एक हाइब्रिड सेटअप में बदलाव अपने OW ऑप्स टैक्स के साथ आता है। अपने स्वयं के हार्डवेयर या किराए पर लेने और कोलोकेशन सुविधा को स्थापित करने में समय लगता है और क्लाउड के बाहर GPU का प्रबंधन करने की आवश्यकता होती है और विभिन्न प्रकार की इंजीनियरिंग मांसपेशी होती है।
हालांकि, नेताओं का तर्क है कि जटिलता अक्सर ओवरस्टैट किया जाता है और आमतौर पर घर में या बाहरी समर्थन के माध्यम से प्रबंधनीय होता है, जब तक कि कोई चरम पैमाने पर काम नहीं कर रहा है।
“हमारी गणना से पता चलता है कि एक ऑन-प्रिमाइसेज जीपीयू सर्वर की कीमत छह से नौ के रूप में उसी के बारे में है, जो AWS, Azure, या Google क्लाउड फाइव से समतुल्य उदाहरण को किराए पर लेती है, यह पार्टवेयर विक्रेता भी पूंजी के बुनियादी ढांचे के लिए ऑपरेशनल पिकिंग मॉडल के साथ है, इसलिए आप अपफ्रंट भुगतान से बच सकते हैं यदि नकदी प्रवाह एक चिंता है,” सरिन ने बताया।
प्राथमिकता की आवश्यकता होगी
किसी भी कंपनी के लिए, चाहे और स्टार्टअप या एक उद्यम, सफलता की कुंजी जब आर्किटेक्टिंग-या री-आर्किटेक्टिंग-एआई इन्फ्रास्ट्रक्चर हाथ में विशिष्ट वर्कलोड के अनुसार काम करने में निहित है।
यदि आप अलग -अलग एआई वर्कलोड के लोड के बारे में अनिश्चित हैं, तो क्लाउड से शुरू करें और जिम्मेदार टीम के साथ हर संसाधन को टैग करके संबंधित लागतों पर कड़ी नजर रखें। आप इन लागत रिपोर्टों को सभी प्रबंधकों के साथ साझा कर सकते हैं और वे क्या कर रहे हैं और संसाधनों पर इसका प्रभाव डालते हैं। यह डेटा तब स्पष्टता देगा और मदद करने वाले प्रभावशीलता का मार्ग प्रशस्त करेगा।
उस ने कहा, रेम्बर कि यह पूरी तरह से बादल को खोदने के बारे में नहीं है; यह इसके उपयोग को अधिकतम प्रभावशीलता के लिए अनुकूलित करने के बारे में है।
“क्लाउड अभी भी प्रयोग और फटने के प्रशिक्षण के लिए बहुत अच्छा है। लेकिन अगर अनुमान आपका मुख्य कार्यभार है, तो किराए पर ट्रेडमिल से उतरें।” क्लाउड लाइक और प्रोटोटाइप का इलाज करें, स्थायी घर नहीं। गणित चलाएं। अपने इंजीनियरों से बात करें। क्लाउड आपको कभी नहीं बताएगा कि यह गलत उपकरण कब है। लेकिन आपका AWS बिल होगा। “
