گزارش اولیه ابر آروان از حمله هکر‌ها به زیرساخت رایانش ابری آروان منتشر شد

به گزارش پیوست و بر اساس گزارش ابر آروان از جزئیات این حملات، سایر محصولات آروان مانند DNS، CDN، ویدیو پلتفرم، فضای ذخیره‌سازی ابری و هم‌چنین رایانش ابری در سایر دیتاسنتر‌های ابر آروان اختلالی پیدا نکرده و اختلال در زیرساخت رایانش ابری آروان در دیتاسنتر آسیاتک، حدود ۱۶ درصد از مشتریان آروان را تحت تاثیر قرار داده است.

تیم ابر آروان نشانه‌هایی از این حملات در روزهای یک‌شنبه و دوشنبه ۲۴ و ۲۵ اسفند دیده که منجر به بروز اختلالات محدودی شد اما با آغاز حملات گسترده و متفاوت در نیمه‌شب سه‌شنبه ۲۶ اسفند و آسیب‌رسانی به دیتای مشتریان در این دیتاسنتر، آن‌ها مجبور به قطع تمامی دسترسی‌ها، برای جلوگیری از پیش‌روی آسیب‌رسانی شدند.

آگاهیم که قطعی و اختلال سرویس در پیک ترافیکی شب عید، چه پی‌آمدهایی برای آن‌ها به همراه داشته است و عمیقا بابت این اتفاق متاسفیم.

تیم ابر آروان

ابر آروان اعلام کرده به‌علت این‌که همچنان در حال کالبدشکافی (Forensics) ابعاد نفود است، امکان به اشتراک‌گذاری اطلاعات فنی نوع حمله را ندارد. گزارش فنی نوع حمله پس از پایان فرآیند کالبدشکافی با جزئیات کامل منتشر خواهد شد.

خستگی کارشناسان…!

آنطور که در گزارش ابر آروان آمده، ساعت ۱۱:۳۳ یک‌شنبه شب ۲۴ اسفند، یک incident روی دو سوئیچ در یک  VPCدر دیتاسنتر IR-THR-AT1 ابر آروان دیده شد. برآورد اولیه تیم فنی اشکال سخت‌افزاری بود که با بازیابی سوئیچ‌ها مشکل برطرف شد. در ساعت ۴ صبح دوشنبه ۲۵ اسفند، دوباره اختلال روی سوئیچ‌های IR-THR-AT1 اتفاق افتاد. به‌دلیل تکرار الگو، احتمال حمله‌ سایبری داده شد. از این زمان تا ساعت ۷ صبح روز بعد، تیم‌های ابر آروان روی موضوع کار کردند و در چند ساعت اول موفق شدند سیستم را به حالت طبیعی برگردانند.

براساس این گزارش، ابر آروان برای جلوگیری از حمله احتمالی، تغییراتی در شبکه مدیریتی دیتاسنترهای IR-THR-AT1، IR-THR-MN1 و NL-AMS-SR1، انجام داد.

آنطور که ابر آروان در این گزارش اعلام کرده است، کارشناسانی که به دیتاسنتر IR-THR-AT1 یا همان دیتاسنتر آسیاتک اعزام شده بودند، به‌دلیل خستگی، در اعمال تغییرات در شبکه این دیتاسنتر دچار اشتباه شدند و فقط بخشی از تغییرات را اعمال کردند.

در حالی‌که تیم‌های امنیتی به هر دو دیتاسنتر برای بررسی دقیق اعزام شده بودند، ساعت ۵:۳۰ عصر روز سه‌شنبه ۲۶ اسفند، به‌شکل ناگهانی از طریق همان بخشی از شبکه مدیریتی که هم‌چنان فعال بوده، دیتاسنتر  IR-THR-AT1  (آسیاتک) مورد حمله قرار می‌گیرد.

طبق گزارش ابر آروان این حملات ساعت ۸ شب با حجم بسیار بالایی ادامه پیدا می‌کند و تعدادی از سرورهای ذخیره‌سازی و پردازشی با هدف حذف کامل اطلاعات مورد حمله قرار می‌گیرند. با آغاز آسیب‌رسانی به دیتای مشتریان، تیم ابر آروان تمام دسترسی‌ها به این دیتاسنتر را قطع می‌کند تا از توسعه آسیب‌رسانی جلوگیری شود؛ بنابراین بلافاصله اینترنت و شبکه مدیریتی، هر دو به‌شکل کامل قطع و علاوه‌بر کارشناسان امنیتی، کارشناسان و اعضای تیم فنی به محل دیتاسنتر اعزام می‌شوند تا بدون نیاز به دسترسی از راه دور که ریسک گسترش یا تکرار حمله را افزایش می‌داد به بررسی موضوع بپردازند.

حذف کامل برخی از اطلاعات

ابر آروان ادعا می‌کند در این حملات، هکر هیچ‌گونه دسترسی به دیتای مشتریان پیدا نکرده و با توجه به نوع ذخیره‌سازی اطلاعات در آن لایه، تنها موفق به آسیب زدن به اطلاعات و پاک کردن بخشی از دیتا شده بود.

ابر آروان برای حفظ پایداری، از هر داده (آبجکت) سه نسخه مختلف در سه دیسک متفاوت در داخل سه سرور مختلف نگهداری می‌کند، تا اگر یک یا چند دیسک یا حتا یک یا چند سرور از دسترس خارج شوند، به داده‌ها آسیبی وارد نشود. اما در حمله اتفاق افتاده، به‌شکل هم‌زمان تعداد بالایی سرور مورد آسیب قرار گرفتند، این موضوع سبب شد، علاوه‌بر حذف حدود ۱۰۰ ترابایت از یک پتابایت اطلاعات این دیتاسنتر، برخی اطلاعات، هر ۳ نسخه خود را از دست بدهند.

بررسی‌های اولیه ابر آروان نشان می‌دهد برای بیش از ۹۷درصد اطلاعات حذف شده، حداقل یک نسخه از اطلاعات وجود دارد. اما به‌دلیل توزیع‌شدگی سه درصد اطلاعات حذف شده در تمام کلاستر، زیرساخت ذخیره‌سازی، در ریسک از دست رفتن کل اطلاعات قرار گرفت.

ابر آروان پس از این حادثه برای حل مشکل و هم‌زمان اطلاع‌رسانی به کاربران اقدام به تشکیل تیم بحران می‌کند و در کنار تیم‌های پشتیبانی، مشتریان و اطلاع‌رسانی، در این مرحله، چهار تیم فنی را تشکیل می‌دهد.

تیم اول مسئول مراقبت از دیتاسنتر IR-THR-MN1 برای پیش‌گیری از اتفاق مشابه می‌شود. تیم دوم کار متمرکز روی استورج دیتاسنتر IR-THR-AT1 برای برگرداندن ۱۰۰ ترابایت اطلاعات و پایدارسازی کلاستر ذخیره‌سازی را عهده‌دار می‌شود و تیم سوم کار متمرکز روی کل زیرساخت رایانش ابری در IR-THR-AT1 را انجام می‌دهد تا به‌محض رفع اشکال فضای ذخیره‌سازی، سرویس دوباره به مدار برگردد. تیم چهارم هم مسئول کالبدشکافی (Forensics)  و ایمن‌سازی  (Hardening)می‌شود.

تیم ابر آروان با پیش‌بینی آسیب به دیتای کاربران و زمان‌بر بودن بازگشت سرویس، از کاربران خواست برنامه Disaster Recovery  خود را فعال کنند تا اگر از داده‌های خود نسخه پشتیبان تهیه کرده‌اند، با استفاده از آن در سایر دیتاسنترهای آروان یا دیگر فراهم‌کنندگان زیرساخت‌، سرویس خود را مجدد راه‌اندازی کنند.

ابر آروان معتقد است به‌رغم تاکید به «پشتیبان‌گیری اطلاعات حیاتی از سوی مشتری» در متن «شروط فنی استفاده از خدمات زیرساخت رایانش ابری آروان»، بسیاری از کاربران اعلام کردند که نسخه پشتیبانی در دست ندارند.

بازگشت اطلاعات

تیم ابر آروان پس از حدود ۳۰ ساعت، با فیکس‌کردن و یکپارچه‌سازی داده در سطح کلاستر، امکان دسترسی به اطلاعات را در ساعت ۱۰:۳۰ صبح چهارشنبه ۲۷ اسفند فراهم کرد. در این زمان حدود ۹۷/۳ درصد از اطلاعات برگردانده شد.

طبق ادعای ابر آروان از این نقطه، کار سخت‌تر آغاز شد، چون آسیب و اختلال آن سه درصد اطلاعات می‌توانست سبب از بین رفتن کل کلاستر و بازیابی ناموفق شود. به همین دلیل تیم آروان بر اصلاح یکپارچگی داده متمرکز شد تا کلاستر بالا بیاید.

در این فرآیند، مشکل اول این بود که این ۳ درصد دیتای از دست رفته، مربوط به ۳ درصد از مشتریان نبود بلکه ۳ درصد از اطلاعات تمام مشتریان این دیتاسنتر بوده؛ پس احتمالا اکثریت مشتریان بخش ناچیزی از اطلاعات‌شان آسیب‌دیده بود. از طرفی گاهی این بخش ناچیز ممکن است با اثرگذاری بر پارتیشن بوت مانع بالا آمدن ابرک شود یا با ایجاد مشکل در پارتیشن سیستم، کار سیستم‌عامل را با اخلال مواجه کند یا با قرار گرفتن در دیتابیس کاربر، آن را از کارکرد عادی بازدارد. مشکل دوم هم این بود که به‌طور کلی قطع ناگهانی سیستم‌عامل‌ها از استورج، باعث افزایش احتمال آسیب‌دیدگی می‌شد.

سطح آسیب به سرورهای ابری

براساس این گزارش، تا ساعت ۴ صبح روز پنج‌شنبه ۲۸ اسفند دو مشکل گفته شده تقریبا حل شدند؛ کلاستر بالا آمد و تیم‌های دیگر هم کارشان تمام شده بود. از این ساعت، به‌مرور دسترسی مشتریان به سرورهای ابری باز شد.

ابر آروان اعلام کرد: «متاسفانه با بازشدن دسترسی به پاپ‌سایت و بررسی دقیق‌تر وضعیت ابرک‌ها مشخص شد حذف کم‌تر از ۳‌ درصد از اطلاعات کل دیتاسنتر، سبب تاثیرگذاری روی بخش گسترده‌ای از سرورهای ابری شده است.» در این گزارش در توضیح این اتفاق نوشته: «میزان سکتورهای آسیب‌دیده در Block Storage متصل به ابرک، هم‌چنین نوع فایل‌سیستم‌، سیستم‌عامل و پایگاه‌ داده‌ها سبب می‌شد که سطح آسیب‌پذیری طیف گسترده‌ای داشته باشد. در چنین موقعیتی، هر کدام از سیستم‌عامل‌ها رفتار متفاوتی دارند، از بین سیستم‌عامل‌های ویندوز و نسخه‌های مختلف لینوکس و فایل‌سیستم‌هایشان، برخی ساده‌تر و برخی با سختی بیش‌تر ریکاوری می‌شوند. هم‌زمان با به‌کارگیری روش‌های بازیابی سیستم‌عامل‌ها، مقاله آموزشی آن‌ها نیز منتشر می‌شد. در میان فایل‌سیستم‌های مشتریان ابر آروان، EXT4 سازگارتر و XFS و NTFS آسیب‌پذیرتر بودند.»

ابر آروان اعلام کرده فعلا امکان اعلام آمار دقیق از سطح آسیب به ابرک‌ها را ندارد. براساس این گزارش بخشی از ابرک‌ها بدون هیچ‌اقدامی امکان استفاده داشتند، بخش دیگری با Reboot و درنهایت ترمیم boot loader به مرحله استفاده می‌رسیدند و برخی نیاز به ترمیم فایل‌سیستم یا ریکاوری‌های پیشرفته‌تر داشتند.

طبق این گزارش مشتریان فعال ابر آروان در دیتاسنتر IR-THR-AT1 (آسیاتک) در حدود ۷ هزار سرور ابری داشتند که تعداد هزار و ۱۰۰ سرور ابری از سوی مشتریان برای بررسی به تیم‌های فنی ابر آروان ارجاع شدند. از این تعداد، تاکنون مشکل ۳۰ درصد حل شده و مابقی هم‌چنان در فرآیند حل مساله قرار دارند.

پرداخت جبران خسارت (SLA) به تمام مشتریان زیان‌دیده

طبق این گزارش، با تصور پایداری کلاستر ذخیره‌سازی در روز پنج‌شنبه ۲۸ اسفند، محاسبه مدت زمان دردسترس نبودن سرویس به نسبت هزینه ماهانه‌ هر یک از مشتریان انجام شد، مبلغ آن محاسبه و بالاتر از سقف جبران خسارت تعهد شده، به کیف پول کاربران واریز شد. به‌علاوه مبلغی که در روزهای قطعی از کیف پول کاربران کم شده بود، به حساب آنان برگردانده شد.

هم‌چنین ابر آروان فضای ذخیره‌سازی ابری را تا پایان فروردین ۱۴۰۰ به‌شکل رایگان در اختیار تمام مشتریان دیتاسنتر IR-THR-AT1 (آسیاتک) ابر آروان قرار گرفت تا در فرآیند پشتیبان‌گیری با مشکل فضای ذخیره‌سازی مواجه نباشند.

ابر آروان اعلام کرده که روند روزهای آینده مشخص کرد که کلاستر ذخیره‌سازی با مشکلاتی همراه است و برای آن دسته از مشتریانی که پس از بازگشت هزینه روزهای قطعی، هم‌چنان برای دسترسی به ابرک خود با اختلال روبه‌رو هستند، پس از پایان حل مشکل، محاسبه مجدد انجام و به حساب آنان واریز خواهد شد.

ادامه مشکلات زیرساختی

آنطور که در این گزارش آمده، روز جمعه، هم‌زمان حجم بالایی از کاربران برای درست کردن فایل‌سیستم یا پشتیبان‌گیری دیتا مشغول به کار شدند. به‌دلیل مشکلات پیش‌آمده و ریکاور کردن کلاستر ذخیره‌سازی در یک فشار زمانی کوتاه، کلاستر موفق به تهیه سه نسخه از تمام داده‌ها نشده بود، هم‌چنین برای ساخت ابرک‌های جدید برای انتقال اطلاعات روی آن نیاز به فضای بیش‌تر بود و در نتیجه باید ظرفیت کلاستری که به‌سختی آسیب‌دیده بود نیز افزایش پیدا می‌کرد. تیم ابر آروان برای رفع این مشکل، به میزان ۴۰۰ ترابایت استورج به کلاستر اضافه کرد. اما تزریق منابع جدید، یعنی وزن‌دهی دوباره‌ی دیسک‌ها (Rebalance ) که سبب درگیری شدید زیرساخت و قفل شدن کلاستر می‌شود. به همین دلیل، در روز ۲۹ اسفند، وضعیت‌ بحرانی‌تر شد.

تیم فنی‌ آروان به دلیل وضعیت حساس مشتریان و برای سرعت‌بخشی به فرآیندها از کمک چند متخصص باتجربه ایرانی برای انتقال تجربه، استفاده کرد اما بهبودی در وضعیت کلاستر ایجاد نشد.

براساس گزارش ابر آروان، در روزهای شنبه و یک‌شنبه (۳۰ اسفند و ۱ فروردین)، تلاش برای بهبود زیرساخت به‌منظور انجام سریع‌تر ریکاوری در حال انجام بود، با توجه به این‌که پارامترهای مختلفی از جمله زیرساخت شبکه، پارامترهای سیستم‌عامل و کانفیگ زیرساخت ذخیره‌سازی به‌طور مشترک نیازمند تغییر و بهبودسازی بود، فرآیند بازیابی سرورهای ابری متوقف و تمام تمرکز تیم فنی روی بهبود زیرساخت گذاشته شد.

طبق ادعای این گزارش، در این مرحله با توجه به حجم بسیار بالای ریکاوری و فشار روی کلاستر و عدم تاثیرگذاری کانفیگ‌های انجام شده از تیم‌های متخصص آلمانی و ترکی برای کمک استفاده شد که اقدامات آنان نیز تاثیر چشم‌گیری در بهبود وضعیت نداشت.

راه‌اندازی کلاستر جدید

ابر آروان در این گزارش، به‌طور خلاصه مشکل اصلی کلاستر ذخیره‌سازی را تاثیر تسلسل دو مشکل ReMirroring-Storm   و یک Memory Leak در لایه‌‌ی نرم‌افزاری Ceph در شرایط خاص اعلام کرد که این مشکل هم‌افزا سبب به اغما رفتن کلاستر شده است.

پس از تلاش‌های ناموفق تیم ذخیره‌سازی آروان، هم‌چنین بی‌نتیجه ماندن نظرات مشاوران داخلی و خارجی، تیم System Development  آروان تلاش می‌کند با Patch کردن این مشکل نرم‌افزاری و هم‌زمان افزایش منابع، مشکل را حل کنند.

ابر آروان اعلام کرده که با موفقیت آمیز بودن این فرآیند، کد اصلاحی را به‌شکل متن‌باز منتشر خواهد کرد.

هم‌زمان که این فرآیندها برای ریکاوری در حال انجام است، یک تیم مستقل در حال برنامه‌ریزی برای راه‌اندازی کلاستر جدید و انتقال دیتاهای ممکن از کلاستر آسیب‌دیده به کلاستر جدید است. تیم فنی ابر آروان معتقد است با توجه به حجم کار زیرساختی، این فرآیند احتمالا تا پایان هفته اول فروردین ادامه پیدا خواهد کرد.

ابر آروان مجموعه اقداماتی برای پیش‌گیری از بروز حوادث این‌چنینی، هم‌چنین موارد اصلاحی در دست کار دارد که پس از حل مشکل تمام مشتریان و رسیدن به وضعیت پایدار در گزارش تکمیلی آن‌ها اعلام خواهد کرد.