مروری بر YARN با فرمت pdf ودر 12 صفحه

قسمتی از متن مروری بر YARN

مقدمه
•YARN ( Yet Another Resource Negotiator (، سیستم مدیریت کلاستر در هدوپ است.
•YARN ، API هایی برای درخواست دادن و کارکردن با منابع کلاسترها را عرضه می کند.
• این API ها معمولا توسط کدهای کاربر استفاده نمی شوند. در عوض کاربران API های سطح بالاتری که توسط فریم
ورک های پردازش توزیعی که خود روی YARN پیاده سازی شده اند را استفاده می کنند که جزئیات مدیریت منابع

یک لایه بالاتر از فریم ورک های شکل بالا وجود دارد: Pig ، Hive ، Crunch مثال هایی از فریم ورک هایی هستند که
روی MapReduce ، Spark ، Tez و ... سوار می شوند و با YARN ارتباطی ندارند.

ساختار اجرای اپلیکیشن در YARN
•YARN سرویس های مرکزی خود را با دو نوع پردازش پس زمینه
1
اجرا می کند.
• مدیر منابع )یکی برای هر کلاستر(: برای مدیریت استفاده از منابع در کلاستر.
• مدیر node : روی تمام node های کلاستر برای اجرا و مدیریت container ها. Container ها برنامه هایی
هستند که با virtual سازی سیستم در سطح سیستم عامل، منابع سیستم را منحصر و بخش بن دی می
کنند. یک container اپلیکیشن را با میزان مشخصی از منابع سیستم مثل حافظه، CPU و ... اجرا می
کند.

ساختار اجرای اپلیکیشن در YARN
1 - کلاینت با ResourceManager ارتباط برقرار می کند و درخواست اجرای پردازش application master را می
دهد.
2 - ResourceManager یک NodeManager را پیدا می کند که می تواند application master را در یک
container اجرا کند.
3 - application master می تواند بسته به application در همان container کار خود را انجام دهد یا
درخواست container های بیشتری از ResourceManager بکند.
4 - application master از منبع جدید برای پردازش توزیعی استفاده می کند.
•YARN به خودی خود هیچ ارتباطی برای بخش های اپلیکیشن ) client ، master ، process ( فراهم نمی کند.

زمانبندی در YARN
• زمانبندی یک مشکل عمومی است و تعیین کردن بهترین سیاست زمانبندی خیلی اوقات امکان پذیر نیست.
•YARN انتخابی از زمانبندی ها و پیکربندی آن ها را در اختیار ما می گذارد.
• گزینه های پیکربندی:
•FIFO : اپلیکیشن ها در یک صف قرار می گیرند و به ترتیب اجرا می شوند.
•Capacity Scheduler : یک صف مجزا با ظرفیت کوچک به job های کوچک این اجازه را می دهد که در همان زمان ثبت شدن
اجرا شوند.
•Fair Scheduler : احتیاجی به رزرو کردن قسمتی از کلاستر برای صف جداگانه نیست، زیرا بالانسی بین همه کارها به وجود
می آورد.
• یک تاخیر بین زمانی که کارهای بعدی شروع می شود تا زمانی که میزان منصفانه ) Fair ( را دریافت می کند وجود دارد.