.avro
Data
Apache Avro (تسلسل قائم على الصفوف)
Avro هو تنسيق تسلسل بيانات قائم على الصفوف يُضمّن مخطط JSON داخل الملف. يتفوق في تطور المخطط — يمكن للقراء والكتّاب أن يكون لديهم مخططات مختلفة ولكن متوافقة. Avro هو المعيار لتسلسل رسائل Kafka وخطوط بيانات Hadoop.
نوع MIME
application/avro
النوع
ثنائي
الضغط
بدون فقدان
المزايا
- + Schema evolution — add/remove fields without breaking readers
- + Compact binary encoding with efficient compression
- + Self-describing — schema embedded in the file
- + Standard in Kafka and the Hadoop ecosystem
العيوب
- − Row-based — less efficient than Parquet for analytical queries
- − Not human-readable in binary form
- − JSON schema specification has a learning curve
متى تستخدم .AVRO
استخدم Avro لمخططات رسائل Kafka وخطوط بيانات Hadoop/Spark وأي نظام يكون فيه تطور المخطط والتخزين المضغوط للصفوف أولوية.
التفاصيل التقنية
تحتوي ملفات Avro على رأس مخطط JSON متبوعاً بكتل بيانات مشفرة ثنائياً مضغوطة بـ DEFLATE أو Snappy. يتيح حل المخطط في وقت القراءة إضافة الحقول أو إزالتها أو إعادة تسميتها دون كسر المستهلكين.
التاريخ
أنشأ Doug Cutting تنسيق Avro في 2009 كجزء من نظام Hadoop البيئي. على عكس Thrift وProtocol Buffers، صُمم Avro لحل المخطط الديناميكي بدون توليد الكود.