مشکل فنی بانکی موجب تاخیر در تسویه پرداختیارها شد
براساس اطلاعیه پرداختیارهای زرینپال، وندار و جیبیت، تسویه پرداختیاری امروز، یکم آذر ۱۴۰۳، با تاخیر…
۱ آذر ۱۴۰۳
گزارش کامل کالبدشکافی حمله به زیرساخت ابری آروان منتشر شد:
۱۷ فروردین ۱۴۰۰
زمان مطالعه : ۱۳ دقیقه
پس از گذشت تقریبا ۲۰ روز از حمله گسترده به زیرساخت رایانش ابری آروان در دیتاسنتر آسیاتک، ابر آروان گزارش کامل کالبدشکافی این حمله را منتشر کرده و علاوه بر توضیح جزئیات فنی ماجرا و اشاره به اقدامات پیشگیرانه، از مذاکره با شرکتهای بیمه برای ایجاد نوعی از بیمه مسئولیت در مواجهه با حملات سایبری و آسیبهای زیرساختی خبر داده است که هم شرکتهای ارائهدهنده زیرساخت ابری از آن بهرهبرند و هم مشتریان محصولات ابری با پوششهای متنوع بتوانند از جبران خسارت در قالب حمایتهای بیمهای بهرهمند شوند.
به گزارش پیوست، ۲۶ اسفند ۹۹ درحالی که همه کسبوکارهای ایرانی آماده ورود به سال جدید و برنامهریزی برای آن بودند، مدیرعامل ابر آروان روی حساب توییتری خود، از حمله گسترده به زیرساخت پردازش ابری آروان در آسیاتک خبر داد. این ماجرا سروصدای بسیار زیادی در شبکههای اجتماعی به راه انداخت و واکنشهای مختلفی را هم دربر داشت. نهایتا زیرساخت رایانش ابری آروان در دیتاسنتر آسیاتک پس از ۳۰ ساعت خاموشی طاقتفرسا، روشن شد. ۵ روز بعد از گذشت این ماجرا و در اولین روزهای سال ۱۴۰۰ ابر آروان گزارش اولیهای از حمله هکرها به زیرساخت رایانش ابری آروان منتشر کرد و در آن گزارش به توضیح مختصر اتفاقات روزهای گذشته و شرح ماجرا پرداخت.
حالا بعد از گذشت تقریبا ۲ هفته از انتشار گزارش اولیه، ابر آروان گزارش کامل و کالبدشکافانه حمله و جزئیات آن را منتشر کرده است.
ابر آروان در این گزارش اشاره کرده که حدود ۱۶ درصد از مشتریان غیررایگانش که از دیتاسنتر IR-THR-AT1 یا همان دیتاسنتر آسیاتک استفاده میکردند، از این حملات متاثر شدند. ابر آروان گروهی از مشتریانش را که از دادههای خود نسخه پشتیبان نداشتند، یا معماری آنها به شکل ابرزی نبود و به شکل Multi Availability Zone طراحی نشده بود را به عنوان گروهی که بیشترین آسیب را دیدهاند معرفی کرد.
همچنین بار دیگر بر این موضوع تاکید شده که به دلیل نوع ذخیرهسازی اطلاعات در رایانش ابری آروان، در این حمله هکر هیچگونه دسترسی به دیتای مشتریان ابر آروان پیدا نکرد و تنها موفق به آسیب زدن به اطلاعات و پاک کردن بخشی از آن شد.
بخشی از این گزارش به بیان خط زمانی واقعه و اقدامات صورت گرفته پرداخته و این ماجرا را از زمان شروع یعنی ۲۴ اسفند تا زمان پایان بررسیها یعنی ۱۲ فروردین شرح داده است. از آنجایی که این خط زمانی و اقدامات صورت گرفته تا تاریخ ۲ فروردین در گزارش اولیه آروان نقل شده است از تکرار آن پرهیز میکنیم و به ادامه ماجرا میپردازیم.
در گزارش اولیه به این موضوع اشاره شد که مشکل اصلی در بازیابی اطلاعات، کلاستر ذخیرهسازی تاثیر تسلسل دو مشکلReMirroring-Storm و یک Memory Leak در لایهی نرمافزاری Ceph در شرایط خاص بود که همافزایی آنها سبب به اغما رفتن کلاستر میشد. پس از تلاشهای ناموفق تیم ذخیرهسازی آروان، همچنین بینتیجه ماندن نظرات مشاوران داخلی و خارجی، تیم System Development آروان تلاش کرد با Patch کردن نرمافزاری و همزمان افزایش منابع، مشکل را حل کنند.
تیم فنی ابر آروان در تاریخ چهارشنبه ۴ فروردین، با انجام مجموعه پیکربندیهای جدید، وضعیت کلاستر ذخیرهسازی را بهبود داد. فرآیند Patch نرمافزاری نتیجه درخور توجهی دربر نداشت و از دستور کار خارج شد.
از صبح جمعه ۶ فروردین وضعیت کلاستر ذخیرهسازی پایدار شد و در نتیجه بالا آوردن کلاستر جدید نیز از دستور کار خارج شد. با پایدارسازی کلاستر، بازیابی سرورهای ابری مشتریان با افزایش تعداد نفرات تیمهای پشتیبانی و فنی به ۱۰۵ نفر از سر گرفته شد.
در تاریخ ۸ فروردین ابر آروان با انتشار خبر و ارسال ایمیل به آگاهی مشتریان رساند که تا پایان بهار ۱۴۰۰ استفاده از محصول رایانش ابری و فضای ذخیرهسازی ابری خود را برای تمام مشتریانی که در جریان حملات پایان سال به زیرساخت پردازش ابری در دیتاسنتر IR-THR-AT1 آسیب دیدهاند، رایگان کرده است.
طبق این گزراش، با توجه به تفاوت میزان مصرف هر مشتری، هزینه سه ماه بهار براساس مصرف اسفند ۹۹ این مشتریان محاسبه شد و بهمرور و بهشکل خودکار، به حساب کاربری آنان اضافه شد.
همچنین برای تسهیل فرآیند پشتیبانگیری برای تمام مشتریان آسیبدیده، محصول فضای ذخیرهسازی ابری تا پایان بهار امسال تا سقف ۱۰ ترابایت برای هر مشتری و بدون محدودیت ترافیک، رایگان شد.
برخی از مشتریان ابر آروان در مراحل مختلفی که امکان دسترسی به سرورهایشان فراهم شده بود، اقدام به جابهجایی سرورها به سایر دیتاسنترهای ابر آروان یا سایر فراهمکنندگان زیرساخت کرده بودند که این دو امکان شامل این دسته از مشتریان هم شده است.
با تداوم پشتیبانی و بازیابی سرویس مشتریان، تا روز پنجشنبه ۱۲ فروردین، تمامی ابرکهای موجود در دیتاسنتر آسیاتک که قابلیت بررسی سیستمی را داشتند، توسط تیم فنی ابر آروان مورد بررسی اولیه قرار گرفتند.
از این میان سیستمعامل (۸۳/۹ درصد) بدون مشکل بود یا مشکل آن بهکمک تیمهای فنی برطرف شد. همچنین (۹/۷ درصد) ابرکهای بررسی شده در دستور کار برای مرحله دوم بازرسی و بازیابی قرار گرفتند. امکان بازیابی (۶/۴ درصد) از ابرکها وجود نداشت که تیم فنی ابر آروان تلاش کرد دیتای این ابرکها را به ابرک جدید منتقل کند.
ابر آروان در این گزارش آمار پشتیبانی در بازه زمانی یاد شده را منتشر کرده که در ادامه میبینیم:
ابر آروان در ادامه به توضیح جزئیات فنی درباره پایدارسازی کلاستر ذخیرهسازی میپردازد که علاقهمندان میتوانند این جزئیات فنی را روی وبلاگ ابر آروان مطالعه کنند.
طبق این گزارش حمله سایبری بهمنظور تخریب و حذف اطلاعات مشتریان در دیتاسنتر AR-THR-AT1 منجر به از دسترس خارج شدن سرویسهای ۲۵۰۰ مشترک شد. پس از این حمله، بیش از ۹۷ درصد از اطلاعات حذف شده بهطور کامل بازیابی شد، اما این ۳ درصد اطلاعات حذف شده، باعث آسیب به حدود ۹ درصد از کل ابرکها شدند.
در این حمله، دامنه حضور هکرها از طریق شبکه مدیریت بوده است. ابر آروان در طراحیهای خود در دیتاسنترها و محصولات مختلف براساس اصول امنیتی، شبکه مدیریت خود را مستقل از سایر شبکهها (out of band) طراحی کرده است. اما در هر حال امکان دسترسی از راه دور به این شبکه وجود داشته است. ابر آروان مدعی شده که پس از این واقعه، با سختگیرانهتر کردن فرآیندهای دسترسی و افزایش لایههای امنیتی، سطح امنیتی دسترسی به شبکه مدیریتی را افزایش چشمگیری داده است.
اتصال هکرها ابتدا به شبکه مدیریتی و درنهایت آسیبرساندن به زیرساختها از طریق دسترسیهای تعریف شده در آن لایه بوده است. هکرها توانستهاند با نفوذ و سواستفاده از کلیدهای مجاز همکاران ابر آروان (کلیدهایی با سطح دسترسی پایین که مجوز اتصال به Virtual Private Network و از طریق آن برقراری ارتباط با شبکه مدیریتی را صادر میکرده است) یا از طریق عبور از نقطه رابطی که قابلیت اتصال به شبکه مدیریت را فراهم میکرده است، به این شبکه دسترسی پیدا کنند و با اسکن کامل شبکه، طراحی حمله خود را انجام دهند.
تیم CDN و سامانه امنیت ابری آروان برای اتصال به شبکه و سرورها، از کلید سختافزاری با قابلیت جلوگیری از Exploit یا Proxy شدن کلید استفاده میکنند. پس از این حملات، ابر آروان استفاده از این کلید را برای تمام تیمهای فنی و پشتیبانی اجباری کرد.
طبق گزارش کالبدشکافی، نفوذگر پس از این مرحله با اسکن کامل شبکه توانسته از حداقل یک آسیبپذیری بالقوه سواستفاده کند.
سوییچهایی که بهشکل VPC تنظیم شده بودند دارای سیستمعامل NX-OS بودند، این سیستمعاملها در برخی نسخههای خود دارای آسیبپذیری CVE-2019-1962 هستند. نفوذگر با بهرهکشی از این آسیبپذیریها، توانسته باعث ایجاد اختلال در فرآیند این سوییچها و در نتیجه آن از دسترس خارج شدن بخش مهمی از شبکه بشود.
ابر آروان در طراحی و اجرای دیتاسنترهای جدید خود لایه شبکه و سیستمعاملهای آن لایه را بهطور کامل ارتقا داده است و از آخرین نسل تجهیزات سیسکو استفاده میکند. همچنین این شرکت ارتقای شبکه و تجهیزات دیتاسنتر آسیاتک را پس از حمله، با اولویت در دستور کار قرار داده است و همزمان با انجام سایر فرآیندهای بازیابی، تمام سوییچهای فعلی را با آخرین نسل از سوییچهای Nexus جایگزین کرده است.
بخش دوم حمله، آسیب رساندن به تجهیزات پردازشی و ذخیرهسازی از طریق iLO بوده است. بهطور کلی آسیبپذیری متعددی روی پورتهای iLO وجود دارد، همچنین روشهای احراز هویت سادهای برای اتصال استفاده میشود. به همین دلیل معمولا تلاش میشود دسترسی به این پورتها (همانند طراحی انجام شده در شبکه آروان) همیشه از طریق شبکه OOB انجام شود. هکرها در این بخش و پس از اتصال به شبکه OOB و از طریق اتصال به iLO توانستهاند با تخریب تنظیمات RAID و حذف کامل Partition Tables، سبب حذف اطلاعات برخی از سرورهای ذخیرهسازی، همچنین آسیب زدن به برخی سرورهای پردازشی شوند. با این اتفاق در حدود ۱۰۰ ترابایت از اطلاعات سرورهای پردازشی حذف شد.
ابر آروان در این گزارش اعلام کرده که از میان هزاران سرور ابری ایجاد شده از سوی مشتریان، تعدادی سرور هست که یا بهدلیل عدم اهمیت (سرورهایی که معمولا برای تست یا بهشکل موقت ایجاد میشوند) یا بهدلیل رعایت نکردن اصول امنیتی، بهراحتی نفوذپذیر هستند. اینگونه نفوذها معمولا از طریق آسیبپذیریهای پیشفرض، استفاده از رمزعبورهای ساده برای کاربران پیشفرض، یا عدم رعایت اصول امنیتی در احراز هویت پایگاه داده رخ میدهد.
سپس با استفاده از این توضیح اعلام کرده که هکرها از طریق آلوده کردن تعدادی از ابرکهای آسیبپذیر برخی مشتریان میزبانی شده (زامبی کردن) در دیتاسنتر آسیاتک همزمان با حمله، شروع به ارسال پکتهای Broadcast (به نشانی 255.255.255.255) کردند. انجام حمله TCP Flood و UDP Flood همزمان با حمله اصلی با هدف ایجاد کندی، افزایش تعداد لاگها و تمرکززدایی انجام شده است.
با آغاز حمله، ابر آروان شبکه مدیریتی را بهطور کامل قطع کرد تا از نفوذ و تخریب بیشتر جلوگیری کند. همچنین اینترنت دیتاسنتر نیز بهطور کامل قطع شد تا این اطمینان به وجود بیاید که هیچگونه اتصال ریموت یا یک اتصال معکوس (Connect Back) به دیتاسنتر برقرار نیست و تنها اعضای تیم که بهشکل حضوری در محل حضور دارند امکان دسترسی پیدا میکنند.
ابر آروان در این گزارش خاطر نشان کرده در لحظه بروز حادثه، دو نفر از افراد تیم ابر آروان در دیتاسنتر حضور داشتند، همچنین دو تیم دیگر به محل دیتاسنتر اعزام شدند و یک سکوی آنلاین برای مدیریت حادثه ایجاد کردند. سکویی که در تا ۵ روز پس از حمله، بیوقفه و بهشکل شبانهروزی ادامه داشته است. طبق این گزارش، تا پایان بحران، مجموعا ۷۶۸ نفر-ساعت بدون وقفه مشغول کار در دیتاسنتر بودهاند.
همانطور که پیشتر هم اشاره شد، ابر آروان در نخستین اقدام چهار تیم مختلف تشکیل داد تا به موازات یکدیگر موضوعات را پیگیری کنند. تیم اول مسئول مراقبت از دیتاسنتر IR-THR-MN1 برای پیشگیری از اتفاق مشابه بود. تیم دوم کار متمرکز روی استورج دیتاسنتر IR-THR-AT1 برای برگرداندن ۱۰۰ ترابایت اطلاعات و پایدارسازی کلاستر ذخیرهسازی را برعهده داشت. تیم سوم بهصورت متمرکز روی کل زیرساخت رایانش ابری در IR-THR-AT1 کار میکرد تا بهمحض رفع اشکال فضای ذخیرهسازی، سرویس دوباره به مدار برگردد و تیم چهارم مسئول کالبدشکافی (Forensics) و ایمنسازی (Hardening) بود.
ابر آروان لیست برخی از مهمترین اقدامات امنیتی صورت گرفته برای ارتقای ایمنسازی را در این گزارش منتشر کرده که در ادامه مشاهده میکنید:
یکی از محصولات ابر آروان به عنوان زیرساخت یکپارچهی ابری، «امنیت ابری» برای جلوگیری از حملات DDoS و حملات مرسوم وب است. محصولی که اگرچه حوزه فعالیت آن با حمله انجام شده کاملا متفاوت است، اما همواره از بسیاری از حملات سایبری به بزرگترین کسبوکارهای کشور جلوگیری کرده است.
ابر آروان با وجود این که خود ارائه دهنده چنین سرویس امنیتی به کسبوکارهای اینترنتی است، خودش با حادثهای امنیتی مواجه شد تا این ماجرا نشان دهد اگرچه هیچوقت امنیت ۱۰۰درصدی وجود ندارد، اما باید بهشکل پیوسته امنیت را در صدر اولویتهای سازمان نگاه داشت.
ابر آروان با داشتن پروتکلهای سختگیرانه امنیتی، تیم امنیت داخلی، استفاده از مشاوران و شرکتهای بیرونی، برگزاری جوایز باگبانتی و انجام دورههای تست نفوذ، باز هم برای ارتقای امنیت خود به اقدامات مهمی نیاز دارد. همچنین تمرین و تمرکز روی پروتکلهای واکنش به وقایع (Incident Response) میتواند کمک کند به هنگام بروز حوادث مشابه از شدت آن کاسته و واکنشهای دقیقتر و چابکتری به آن نشان داده شود.
ابر آروان خود را موظف دانسته ترویج و فرهنگسازی استفاده از معماریهای ابرزی را به کاربران خود توصیه کند، تا طراحی زیرساختهای خود را بهسمت معماریهای توزیع شده و پایدارتر سوق دهند.
ابر آروان در این گزارش اعلام کرده با تجربه اتفاق پیش آمده و سطح آسیبپذیری مشتریان، مجموعه اقداماتی را در حوزههای «محصول»، «اقدمات و فرآیندهای امنیتی» و «جبران خدمت»، طراحی و اجرا خواهد کرد. در ادامه به توضیح هر یک از حوزهها میپردازیم.
ابر آروان با ایجاد یک Region بزرگ و پایدار به اسم «تهران بزرگ»، چهار Availability Zone این منطقه شامل دو ناحیه در تهران مرکزی، یک ناحیه در غرب تهران و یک ناحیه در شرق تهران را به یکدیگر متصل میکند. همچنین دیتاسنترهایی در تبریز و اصفهان افتتاح خواهد شد.
بهعلاوه، امکاناتی فراهم خواهد شد تا مهاجرت در داخل یک Region و ایجاد کلاسترهای پایدار بهشکل Multi Availibilty Zone به آسانترین شکل ممکن انجام شود. همچنین پس از این اقدامات محصول فضای ذخیرهسازی ابری آروان پایداری در سطح Region خواهد داشت و با انتخاب مشتریان در منطقه اصلی (تهران بزرگ) اطلاعات میتواند به آسانی در بیشتر از یک AZ ذخیره شود.
توسعه امکان پشتیبانگیری خودکار ابرکها، تمرکز روی پایداری و SLA محصولات، همچنین امکانات محصولی مرتبط با مهاجرت، حفظ و یکپارچگی اطلاعات برای ابر آروان اولویت خواهند داشت.
همچنین ابر آروان اعلام کرده با ایجاد و افزایش بازه رایگان روی تمام محصولات بهویژه فضای ذخیرهسازی ابری، برای پشتیبانگیری، همچنین رایگان کردن کامل ترافیک CDN و افزایش بازه رایگان سامانه امنیتی ابری، تلاش میکند به ترویج شکلگیری معماریهای ابرزی کمک کند.
ابر آروان مدعی شده سازوکارهای مربوط به تست نفوذ را ارتقا خواهد داد. فاصله بین تستهای نفوذ داخلی را کاهش و شرکای بیرونی خود در این زمینه را افزایش میدهد.
جوایز باگ بانتی آروان به ۲ برابر افزایش یافته و این موضوع در یک سکوی بیرونی نیز قرار گرفته است.
ابر آروان ارتقا و افزایش سختگیری در سازوکارهای ایمنسازی (Hardening)، مدیریت کلیدها، مدیریت سطح دسترسی و غیره را در دستور کار قرار داده است. همچنین سرعت ارتقا و افزایش سختگیریها در اجرای سازوکارهای مدیریت بحران، مدیریت ریسک و مدیریت تغییرات بیشتر خواهد شد.
ابر آروان با تغییر سطوح پشتیبانی، «پشتیبانی پایه» و «تماس تلفنی» را برای بخش بزرگی از مشترکان غیررایگان خود بدون پرداخت هزینه فعال خواهد کرد. در همین رابطه، تیم ابر آروان تلاش میکند تا خدمات خود در بخش مشاوره و طراحی راهکارهای ابرزی را توسعه دهد.
همچنین ابر آروان با مذاکره با شرکتهای معتبر بیمه، در تلاش است تا نوعی از بیمه مسئولیت در مواجهه با حملات سایبری و آسیبهای زیرساخت را در ایران، ایجاد کند که هم شرکتهای ارائهدهنده زیرساخت ابری از آن بهره ببرند و هم مشتریان محصولات ابری با پوششهای متنوع بتوانند از جبران خسارت در قالب حمایتهای بیمهای بهرهمند شوند.