منتور مهندسی

هدوپ پایگاه داده نیست.
❌هدوپ یک نرم افزار نیست.

✅ هدوپ یک چهارچوب متن باز برای پردازش، ذخیره و تحلیل حجم عظیم داده های توزیع شده و بدون ساختار است.

منشاء اصلی پیدایش این چهارچوب پردازشی به شرکتهای جستجوی اینترنتی یاهو و گوگل باز میگردد که برای ایندکس کردن صفحات وب و جستجوی آنها نیاز به ابزار و مدل های جدید پردازشی داشتند.

این چهارچوب برای پردازش موازی داده ها در سطح پتابایت و اگزابایت که بر روی رایانه های معمولی توزیع شده اند، به گونه­ای طراحی شده است که کلاستر تشکیل دهنده آن به راحتی و بسته به نیاز، قابل گسترش است.

هدوپ یک فریم ورک یا مجموعه ای از نرم افزارها و کتابخانه هایی است که ساز و کار پردازش حجم عظیمی از داده های توزیع شده را فراهم میکند.

در واقع هدوپ را می توان به یک سیستم عامل تشبیه کرد که طراحی شده تا بتواند حجم زیادی از داده ها را بر روی ماشین های مختلف پردازش و مدیریت کند.



فریم ورک هدوپ شامل زیر پروژه های مختلفی می شود که در زیر لیست کامل آنها آمده است:

• HDFS

• YARN

• MapReduce

• Ambari

• Avro

• Cassandra

• Chukwa

• HBase

• Hive

• Mahout

• Pig

• Spark

• Tez

• ZooKeeper

هدوپ چگونه کار می کند؟

در این سامانه فایلهای داده ای با حجم بالا مانند فایلهای ثبت تراکنش، خوراک خوان شبکه های اجتماعی و سایر منابع داده ای ابتدا بخش بندی شده و در شبکه توزیع می شوند.

وظیفه تقسیم، ذخیره و بازیابی فایلهای حجیم بر روی یک کلاستر هدوپ را سیستم فایل توزیع شده آن به نام HDFS بر عهده دارد. برای بالابردن ضریب اطمینان سیستم ، هر بخش از فایل در چندین رایانه توزیع می شود تا در صورت از کارافتادن یک سیستم، آن فایل باز هم قابل بازیابی باشد.

در هدوپ سه نوع گره محاسباتی یا رایانه داریم . مدیر نام ، وظیفه تقسیم فایلها و ذخیره آدرس هر بخش از آن را برعهده دارد. بررسی دوره ای گره ها و تعیین از رده خارج شدن آنها هم جزء وظایف این مولفه از سیستم مدیریت فایل هدوپ است.

گره داده که تک تک رایانه های عضو هدوپ را در بر می گیرد، بلاک های فایل را در بردارد که برای مدیریت بهتر آنها، به ازای مجموعه ای از این گره­های داده ، یک گره مدیریت نام در سامانه هدوپ وجود دارد. نوع سوم ، گره نام ثانویه است که یک رونوشت از اطلاعات گره مدیریت نام بر روی آن قرار دارد تا در صورت از کار افتادن آن گره ، اطلاعات آن از بین نرود.