कैसे अपाचे काफ्का बड़े डेटा के लिए पहियों को गले लगा रहा है

Analytics को अक्सर बड़े डेटा से जुड़ी सबसे बड़ी चुनौतियों में से एक के रूप में वर्णित किया जाता है, लेकिन उस चरण से पहले भी, डेटा को इंजेस्ट किया जाना चाहिए और एंटरप्राइज़ उपयोगकर्ताओं को उपलब्ध कराया जाना चाहिए। यही वह जगह है जहां अपाचे काफ्का आते हैं।

मूल रूप से लिंक्डइन में विकसित, काफ्का वेबसाइटों, अनुप्रयोगों और सेंसर से डेटा की रीयल-टाइम धाराओं के प्रबंधन के लिए एक ओपन-सोर्स सिस्टम है।

अनिवार्य रूप से, यह एक प्रकार के उद्यम के रूप में कार्य करता है " केंद्रीय तंत्रिका तंत्र "जो उपयोगकर्ता गतिविधि, लॉग, एप्लिकेशन मेट्रिक्स, स्टॉक टिकर्स और डिवाइस इंस्ट्रूमेंटेशन जैसी चीजों के बारे में उच्च-मात्रा डेटा एकत्र करता है, उदाहरण के लिए, और एंटरप्राइज़ उपयोगकर्ताओं द्वारा खपत के लिए रीयल-टाइम स्ट्रीम के रूप में उपलब्ध कराता है।

[ आगे पढ़ने: सर्वश्रेष्ठ सफेद एलईडी स्मार्ट बल्ब]

कफका अक्सर ऑन-प्रिमाइसेस कार्यान्वयन के लिए ActiveMQ या RabbitMQ जैसी तकनीकों की तुलना में या क्लाउड ग्राहकों के लिए अमेज़ॅन वेब सर्विसेज केनेसिस के साथ तुलना की जाती है, एक सह-संस्थापक स्टीफन ओ'ग्राडी ने कहा और रेडमोन्क के साथ मुख्य विश्लेषक।

"यह अधिक दिखाई दे रहा है क्योंकि यह एक उच्च गुणवत्ता वाला ओपन-सोर्स प्रोजेक्ट है, लेकिन यह भी है क्योंकि आईओटी जैसे सर्विसिंग वर्कलोड में उपयोग की मांग में तेजी से जानकारी की उच्च वेग धाराओं को संभालने की इसकी क्षमता बढ़ रही है, दूसरों के बीच, "O'Grady जोड़ा।

लिंक्डइन में कल्पना होने के बाद, काफ्का ने नेटफ्लिक्स, उबर, सिस्को और गोल्डमैन सैक्स जैसी कंपनियों से उच्च प्रोफ़ाइल समर्थन प्राप्त किया है। शुक्रवार को, इसे आईबीएम से एक नया बढ़ावा मिला, जिसने अपने ब्लूमिक्स प्लेटफ़ॉर्म के माध्यम से दो नई काफ्का-आधारित सेवाओं की उपलब्धता की घोषणा की।

आईबीएम की नई स्ट्रीमिंग Analytics सेवा का उद्देश्य उप-मिलीसेकंद प्रतिक्रिया समय के लिए प्रति सेकंड लाखों घटनाओं का विश्लेषण करना है और तत्काल निर्णय लेने। अब बीटा में आईबीएम संदेश हब, अन्य अनुप्रयोगों के साथ संवाद करने के लिए आरईएसटी या अपाचे काफ्का एपीआई (एप्लिकेशन प्रोग्रामिंग इंटरफ़ेस) का उपयोग करने के विकल्प के साथ क्लाउड अनुप्रयोगों के लिए स्केलेबल, वितरित, उच्च-थ्रूपुट, एसिंक्रोनस मैसेजिंग प्रदान करता है।

कफका था 2011 में खुले-सोर्स किए गए। पिछले साल, कफका के तीन रचनाकारों ने कंफ्लुएंट लॉन्च किया, उद्यमों को पैमाने पर उत्पादन में उपयोग करने में मदद करने के लिए समर्पित एक स्टार्टअप।

"लिंक्डइन में हमारे विस्फोटक विकास चरण के दौरान, हम बढ़ते उपयोगकर्ता के साथ नहीं रह सके काफका के रचनाकारों और कंफ्लुएंट के सह-संस्थापकों में से एक नेहा नारखेडे ने कहा, "आधार और डेटा जिसे उपयोगकर्ता अनुभव में सुधार करने में मदद के लिए इस्तेमाल किया जा सकता है।"

"क्या कफका आपको करने की इजाजत देता है वह कंपनी भर में डेटा ले जाता है और इसे बनाता है नारखेडे ने समझाया कि उन लोगों को सेकंड के भीतर निरंतर मुक्त प्रवाह वाली धारा के रूप में उपलब्ध है, जिन्हें इसका उपयोग करने की आवश्यकता है। "और यह स्केल पर करता है।"

लिंक्डइन पर प्रभाव "परिवर्तनकारी" था, उसने कहा। आज, लिंक्डइन उत्पादन में सबसे बड़ा काफ्का तैनाती बनी हुई है; यह प्रति दिन 1.1 ट्रिलियन संदेश से अधिक है।

संगठित, इस बीच, उत्पादन प्रणाली के लिए बड़ी कंपनियों को काफ्का चलाने में सहायता के लिए सदस्यता द्वारा उन्नत प्रबंधन सॉफ्टवेयर प्रदान करता है। उन्होंने कहा कि अपने ग्राहकों में से एक बड़ा बड़ा बॉक्स खुदरा विक्रेता और "संयुक्त राज्य अमेरिका में सबसे बड़े क्रेडिट कार्ड जारीकर्ताओं में से एक है।" 99

बाद में वास्तविक समय धोखाधड़ी सुरक्षा के लिए तकनीक का उपयोग कर रहा है। 451 रिसर्च के एक विश्लेषक जेसन स्टैपर ने कहा,

काफ्का "अविश्वसनीय रूप से तेज़ मैसेजिंग बस" है जो विभिन्न प्रकार के डेटा को तुरंत एकीकृत करने में मदद करने के लिए अच्छा है। "यही कारण है कि यह सबसे लोकप्रिय विकल्पों में से एक के रूप में उभर रहा है।"

ActiveMQ और RabbitMQ के अलावा, एक अन्य उत्पाद की पेशकश समान कार्यक्षमता अपाचे फ्ल्यूम है, उन्होंने नोट किया; तूफान और स्पार्क स्ट्रीमिंग कई तरीकों से भी समान हैं।

वाणिज्यिक स्थान में, कंफ्लुएंट के प्रतिस्पर्धियों में आईबीएम इन्फोस्फेयर स्ट्रीम, इंफॉर्मेटिका के अल्ट्रा मैसेजिंग स्ट्रीमिंग संस्करण और एसएएस के इवेंट स्ट्रीम प्रोसेसिंग इंजन (ईएसपी) के साथ सॉफ्टवेयर एजी के अपमा, तिब्को के स्ट्रीमबेस और एसएपी की एलरी, स्टैपर ने कहा। छोटे प्रतिस्पर्धियों में डेटाटोरेंट, स्प्लंक, लॉगग्ली, लॉगेंट्रीज़, एक्स 15 सॉफ्टवेयर, सुमो लॉजिक और ग्लासबीम शामिल हैं।

क्लाउड में, एडब्ल्यूएस की किनेसिस स्ट्रीम-प्रोसेसिंग सेवा "में इसके रेडशिफ्ट डेटा वेयरहाउस और एस 3 स्टोरेज प्लेटफॉर्म की पसंद के साथ एकीकरण का अतिरिक्त लाभ है।" 99

टेराडाटा की नव घोषणा की श्रोता एक और दावेदार है, और यह कफका आधारित है साथ ही, फॉरेस्टर रिसर्च के उपाध्यक्ष और मुख्य विश्लेषक ब्रायन हॉपकिन्स ने उल्लेख किया।

सामान्य रूप से, रीयल-टाइम डेटा की ओर एक महत्वपूर्ण प्रवृत्ति है।

2013 तक या तो, "बड़ा डेटा सभी था हडोप में भरे आंकड़ों की भारी मात्रा में, "उन्होंने कहा। "अब, यदि आप ऐसा नहीं कर रहे हैं, तो आप पहले ही पावर वक्र के पीछे हैं।"

आज, स्मार्टफोन और अन्य स्रोतों के डेटा उद्यमों को वास्तविक समय में उपभोक्ताओं के साथ जुड़ने और प्रासंगिक अनुभव प्रदान करने का अवसर दे रहे हैं, वह कहा हुआ। बदले में, डेटा को तेज़ी से समझने की क्षमता पर निर्भर करता है।

"चीजों का इंटरनेट मोबाइल की दूसरी लहर की तरह है," हॉपकिन्स ने समझाया। "प्रत्येक विक्रेता डेटा की हिमस्खलन के लिए स्थिति बना रहा है।"

नतीजतन, प्रौद्योगिकी तदनुसार अनुकूल है।

"2014 तक यह हडोप के बारे में था, फिर यह स्पार्क था," उन्होंने कहा। "अब, यह हैडोप, स्पार्क और काफ्का है। यह आधुनिक विश्लेषणात्मक वास्तुकला में डेटा-इंजेक्शन पाइपलाइन में तीन बराबर सहकर्मी हैं।"