هادوپ چیست

هادوپ یک چارچوب برنامه‌نویسیِ رایگان و مبتنی بر جاوا است که ما را در پردازش مجموعه‌های عظیمی از داده‌ها در یک محیط پردازش توزیعی پشتیبانی می‌کند. هادوپ بخشی از پروژه آپاچی است که بنیاد نرم‌افزار آپاچی آن را حمایت می‌کند. هادوپ این امکان را در اختیار ما قرار می‌دهد تا اپلیکیشن‌هایی را روی سیستم‌هایی مجهز به هزاران نود (node ) و حاوی هزاران ترابایت داده به اجرا درآوریم. سیستم فایل توزیعی هادوپ این امکان را فراهم می‌آورد تا سرعت انتقال داده‌ها در میان نودها افزایش یابد و سیستم بتواند در صورت ازکارافتادگی یک نود همچنان بی‌وقفه به کار خود ادامه بدهد. این رویکرد عملا خطر فاجعه‌بار خرابی سیستم را حتی وقتی تعداد قابل ملاحظه‌ای از نودها غیرفعال می‌شوند، کاهش می‌دهد. ایده هادوپ ملهم از نرم‌افزار مپ ردیوس (MapReduce )گوگل است. مپ ردیوس یک چارچوب نرم‌افزاری است که در آن اپ‌ها به بخش‌های کوچک‌تر تقسیم می‌شوند. هر کدام از این بخش‌ها (که همچنین بخش یا بلوک نامیده می‌شوند) می‌تواند روی هر نودی در یک مجموعه‌ خوشه‌ای از نودها اجرا شود. «داگ کاتینگ» خالق هادوپ این نام را از نام فیل اسباب‌بازی کودکش گرفته است. اکوسیستم کنونی هادوپ آپاچی تشکیل شده است از هادوپ کرنل (Kernel)، مپ ردیوس، سیستم فایل توزیعی هادوپ (HDFS) و چند پروژه مرتبط دیگر مثل آپاچی هایو (Hive)، زوکیپر (Zookeeper) و... چارچوب هادوپ مورد استفاده بازیگران بزرگ مثل گوگل، یاهو و ای‌بی‌ام قرار می‌گیرد. این شرکت‌ها از این چارچوب برای اپ‌های مرتبط با موتورهای جست‌وجو و تبلیغات بهره می‌گیرند. سیستم‌های عامل ترجیحی برای هادوپ ویندوز یا لینوکس است هرچند با BSD و OSX نیز کار می‌کند