Apache Avro
Apache द्वारा विकसित एक रो-ओरिएंटेड डेटा सीरियलाइज़ेशन सिस्टम। Avro स्कीमा इवॉल्यूशन, डायनामिक टाइपिंग और कॉम्पैक्ट बाइनरी एन्कोडिंग प्रदान करता है।
MIME Type
application/avro
प्रकार
बाइनरी
संपीड़न
दोषरहित
लाभ
- + Schema evolution — add/remove fields without breaking readers
- + Compact binary encoding with efficient compression
- + Self-describing — schema embedded in the file
- + Standard in Kafka and the Hadoop ecosystem
हानियाँ
- − Row-based — less efficient than Parquet for analytical queries
- − Not human-readable in binary form
- − JSON schema specification has a learning curve
.AVRO कब उपयोग करें
Apache Kafka मैसेज सीरियलाइज़ेशन, Hadoop डेटा स्टोरेज, स्कीमा-इवॉल्विंग डेटा पाइपलाइन, और माइक्रोसर्विसेज़ के बीच डेटा कॉन्ट्रैक्ट।
तकनीकी विवरण
Avro स्कीमा (JSON-परिभाषित) को डेटा के साथ स्टोर करता है। बाइनरी एन्कोडिंग कॉम्पैक्ट है — फ़ील्ड नाम डेटा में नहीं होते। स्कीमा इवॉल्यूशन (forward/backward compatibility) default values और aliases के माध्यम से सपोर्ट है। Deflate/Snappy/ZSTD कम्प्रेशन उपलब्ध है।
इतिहास
Doug Cutting (Hadoop के निर्माता) ने 2009 में Apache Avro विकसित किया। यह Hadoop RPC और डेटा सीरियलाइज़ेशन के लिए बनाया गया था। Avro, Kafka में स्कीमा रजिस्ट्री के साथ इवेंट स्ट्रीमिंग और डेटा पाइपलाइन में व्यापक रूप से उपयोग किया जाता है।