پروندهای درباره مراکز داده در ایران؛ جزیرههای پایتختنشین
وضعیت مراکز داده در ایران و اقتصاد آنها موضوعی جدا از کلیت اقتصاد و صنعت…
۹ مهر ۱۴۰۳
آسیاتک در میان عموم مردم به عنوان یک سرویسدهنده اینترنت شناخته میشود؛ اما فعالان حوزه ICT میدانند این شرکت فعالیتهای متنوعی دارد که یکی از آنها ارائه خدمات مرکز داده است. زمانی که آسیاتک وارد بازار دیتاسنترهای عمومی شد، چند سالی از فعالیت دیگر شرکتها میگذشت؛ اما این شرکت خیلی زود جای خود را میان بزرگان این شاخه از صنعت ICT باز کرد و حالا جزو مدعیان به شمار میرود. با محمدعلی یوسفیزاده، مدیرعامل آسیاتک، درباره فعالیتهای این شرکت در زمینه دیتاسنتر و مشکلاتی که سر راه آن وجود دارد گفتوگو کردهایم که در ادامه میخوانید.
چه شد که آسیاتک به عنوان یک اپراتور اینترنتی به سمت دیتاسنتر و خدمات مرکز داده رفت؟ما از سال ۹۱-۹۲ که هنوز محتوای زیادی در ایران نگهداری نمیشد و تمام سایتهای ایرانی در خارج از کشور میزبانی میشدند به این نتیجه رسیدیم که برای اینکه کیفیت بهتر بشود و اینترنت کمتری بخریم، میزبانی سایتها را در داخل ایران بر عهده بگیریم. بهمن ۹۱ با اولین سایت مذاکره کردیم و آن را آوردیم داخل کشور که اسمش «فیس نما» بود. بعد ذرهذره سایتهای دیگر را آوردیم. این روند تا سالهای ۹۳-۹۴ ادامه پیدا کرد تا مصوبه IXP در اردیبهشت ۹۴ تصویب شد. در همان دوره، انحصار اینترنت همراه رایتل هم تمام شد یعنی به همراه اول و ایرانسل هم مجوز ارائه 3G و 4G داده شد و این نشانه خوبی بود مبنی بر اینکه تعداد زیادی پلتفرم و محتوا غیر از سایتها توسعه پیدا میکنند. این را هم اضافه کنم که ما داریم راجع به دیتاسنترهای عمومی و تجاری حرف میزنیم، چون بانکها و بیمهها و سازمانهای دولتی از چند دهه قبل در زمینه نگهداری دادههایشان فعال بودند و برنامه مستقل خودشان را دارند. راجع به دیتاسنترهایی صحبت میکنیم که خدمات تقریباً عمومی و تجاری به سازمانها، شرکتها و پلتفرمها میدهند. آن زمان که ما طراحی کردیم به فکر توسعه شبکه خودمان هم بودیم و وقتی داشتیم پروانه FCP میگرفتیم، اولین دیتاسنتر Core خودمان را ساختیم که دیتاسنتر آزادگان بود.
تا قبل از دیتاسنتر آزادگان چطور میزبانی میکردید؟ابتدا به خاطر اینکه دیتاسنتر نداشتیم و اینقدر هم این موضوعات جدی و رایج نشده بود، از امکانات شرکت زیرساخت استفاده میکردیم.
چه حجمی از زیرساخت گرفته بودید؟فکر میکنم کمتر از ۲۰ رک اجاره کرده بودیم. بعد که دیتاسنتر اول خودمان را ساختیم، آنها را خالی کردیم و آوردیم در دیتاسنتر خودمان. دیتاسنتر آزادگان ۶۴ رک دارد. همزمان، موضوع برج میلاد هم مطرح شد. برای دیتاسنتر برج میلاد چند بار در سالهای مختلف فراخوان داده شده بود؛ اما به نتیجه نهایی نرسیده بودند. سال ۹۵ ما قرارداد را امضا کردیم و در دو فاز اجرا شد. فاز اول حدود ۳۰۰ رک بود و فاز دوم که دو سال بعد اجرا کردیم حدود ۱۶۰ رک بود.
برج میلاد به لحاظ زیرساختی امکان پیادهسازی دیتاسنتر را داشت؟بله. میلاد به عنوان یک برج مخابراتی با مشارکت مخابرات، شهرداری و صداوسیما طرحی شده بود؛ اما در سالهای بعد ابتدا مخابرات از طرح خارج شد و بعد هم صداوسیما و در نهایت خود شهرداری آن را کامل کرد. تا زمانی که ما دیتاسنتر میلاد را روشن کردیم، بهرهبرداری از برج میلاد صرفاً به منظور گردشگری بود و اصلاً از ظرفیتهای مخابراتی که در آن طراحی و پیشبینی شده بود استفاده نمیشد. حتی یکسری امکانات مثل برق و سرمایش هم خریداری و نصب شده بود ولی روشن نشده بود و همه اینها حدود ۱۵-۱۶ سال خوابیده بود. اینها در طبقات ۷ و ۸ برج بود؛ در طبقه ۷ (تراز +۲۸۴) ما هستیم و طبقه ۸ (تراز +۲۸۸) صداوسیماست که هنوز روشنش نکرده و تازه دارند آمادهسازی میکنند.
به نظر شما این منطقی بود که دیتاسنتر را ببرید طبقه بالای یک برج بگذارید؟ چون همان زمان هم میگفتند دیتاسنتر باید در طبقات منفی باشد.دیتاسنتر ما در میلاد، دو بخش است. یک بخش آن در منفی دو و در عمق ۱۵ متری برج است که کمترین قطر دیوارهاش چهار متر بتون آرمه (بتون مسلح) است، کف آن ۱۵ متر بتون آرمه است و در هسته برج قرار دارد. قسمتی که بالاست، مدل دارد. همان موقع بررسی کردیم و در کشورهای مختلف هم این کار در برجهای مخابراتی و غیرمخابراتی رایج است. از نظر استاندارد یک چیزهایی را از دست میدهد. مثلاً ممکن است Tier 3 نشود و Tier 2 بشود، ولی همین الان در خیلی از برجهای بلندمرتبه دنیا دیتاسنتر داریم و همه هم روشن است. بقیه استانداردها که مربوط به نگهداری، برق و سرمایش و اطفای حریق و… است، طبقات زیر یا بالا نمیشناسد و همه جا باید رعایت شود.
یادم هست همان زمان که قرار بود دیتاسنتر میلاد افتتاح شود، دیتاسنتر آزادگان قطع شد و یکسری سرویسهای پرکاربر مثل آپارات کلاً از دسترس خارج شدند.به خاطر دیتاسنتر آزادگان بود. یک تداخل اتفاق افتاد. نقاطی که دیتاسنتر راهاندازی میشود، به سازمانهایی که سرویس میدهند به عنوان نقطه اصلی معرفی میشوند که از نظر نگهداری، دقت بیشتری بشود. معمولاً وقتی نقطهای مشخص شده باشد اگر اداره برق بخواهد کاری انجام دهد، با واحد نگهداری آنجا هماهنگ میکند. در حالی که قطعی برق دقیقاً زمانی رخ داد که ما در وضعیت Maintenance (نگهداری و تعمیرات) بودیم.
هنوز دیتاسنتر آزادگان را دارید؟بله. Core اول ماست و بعد میلاد توسعه پیدا کرد و بعد هم میرعماد را ساختیم که Core دوم ماست و بعدش هم دیتاسنترهای بعدی هستند که ساخته و اضافه شدند.
الان در مجموع چند رک دارید؟آزادگان ۶۴ رک، میلاد ۴۶۰ رک، میرعماد ۲۰۰ رک و حکیمیه ۱۱۰ رک. البته پروژه حکیمیه ۵۰۰تایی است که ۱۱۰تا اجرا شده و منتظر توسعه برق آنجا هستیم. برق هم گرفته شده و پیمانکار دارد کار میکند که اگر تحویل بدهد به ۵۰۰ رک ارتقا پیدا میکند و الان هم مشغول ساخت یک مگادیتاسنتر هزار رکی در فرودگاه پیام هستیم. آنجا هم ساختمانش تمام شده و در حال نصب تجهیزات هستیم. به نظرم پیام اولین مگادیتاسنتر عمومی تجاری واقعی در ایران است که در قطب مراکز داده منطقه آزاد پیام استان البرز واقع شده است.
گفته میشود فرودگاه پیام مشکل برق دارد.ما زمین پیام را سالها قبل گرفتیم. از آن زمان تاکنون مراحل مختلفِ مطمئن شدن از وجود نیازهای اصلی طی شد. زمانی که در مرحله خاکبرداری بود ارتباط مسیرهای فیبر هم برقرار شد و الان به زیرساخت وصل است. این چند سالی که زمان بُرد معطل برق بودیم. الان برق هم تامین شده است. ۶ ژنراتور ۱.۷ مگاواتی خریداری شده و آماده است.
موضوع جانمایی و تامین برق خیلی اهمیت دارد. این مساله چقدر در توسعه دیتاسنترها موثر بوده است؟ما طرحمان این است که دیتاسنترهای جزیرهای را ببریم به سمت مگادیتاسنترهایی که در زونهای مشخصی برای آنها برنامهریزی کردهایم. زون تهران میشود منطقه آزاد پیام؛ برای زون شرق الان برنامهای نداریم؛ زون غرب را در منطقه آزاد ماکو در نظر گرفتهایم که زمین را گرفتهایم و به خاطر سرمایهگذاری در پروژه فیبر نوری هنوز کار آنجا را شروع نکردهایم؛ زون جنوب هم شیراز است که جانمایی و زمین آن در مراحل آخر کار است و بعد به مرحله اجرا میرسیم.
چطور ماکو به عنوان قطب مرکز داده انتخاب شده در حالی که هم نزدیک مرز است و هم منطقه زلزلهخیز است و جای مناسبی به نظر نمیرسد.منطقه آزاد ماکو منطقه بزرگی است که در استانهای آذربایجان غربی و شرقی قرار دارد. در جانمایی به این نکات توجه شده؛ اما طرح تجاری ماکو بیشتر بر پایه فروش سرویس خارجی یا ترانزیت تهیه شده است. الان ما در مرحله تفاهم با شرکت زیرساخت هستیم و نظرمان این است که از چند مرز ارتباطی ارمنستان-آذربایجان، ترکیه و کردستان عراق، آنجا نقطه اتصال داشته باشیم. یعنی زیرساخت فیبر بیاورد و از آنجا به عنوان نقطه تجمیعشده ارتباطی مرزی استفاده کند.
حدود قیمت رک در کشورهای اروپایی چهار هزار یورو است. در حالی که ما با هزار یورو بهراحتی میتوانیم سرویس بدهیم. منطقه آزاد است و مشکل رفتوآمد تجهیزات ندارد و کانتینر پلمبشده یک اپراتور یا پلتفرم خارجی خیلی راحت میتواند بیاید و ترخیص شود و برای خودشان سالن بگیرند و هم به عنوان سایت اصلی و هم سایت Disaster recovery استفاده کنند. ما نیروی متخصص میگذاریم، ارتباطات هم از طریق فیبر بینالملل زیرساخت دست خودشان است و فیبرش هم به آنها وصل میشود.
فروش سرویس این یک مدل خارجی است؛ مدل داخلیاش را هم در پیام و در شیراز اجرا میکنیم. در ضمن برای نحوه فروش یک مدلی در نظر گرفتهایم که بانکها و سازمانهای بزرگ هم اگر خواستند بیایند، خیلی درگیر این نباشند که چرا باید اجاره بدهیم و خودمان میسازیم. اگر جایی هست که بزرگ است و پول دارد و میخواهد بیاید، ابتدا یک پول اولیه مثلاً برای ۱۰ سال پرداخت کند و بعد به اندازه هزینه برق و رفتوآمد نیرو پول بدهد و دیگر اجاره ندهد. یعنی Capex را اول خریداری کند و بعد فقط به اندازه پول شارژ و نگهداری، هزینه بپردازد.
الان ما خارج از تهران عملاً دیتاسنتر عمومی داریم؟خیلی کوچک در بعضی از استانها در حد ۳۰ الی ۵۰ رک داریم. در اصفهان و مشهد یک چیزهایی داریم. در دورههای پنجم و ششم نظام صنفی چند بار فراخوان دادیم تا آماری از وضعیت دیتاسنترها به دست بیاوریم؛ اما واقعاً دیتا نیست.
آسیاتک بیرون از تهران جایی دیتاسنتر کوچک هم ندارد؟نه. از دیتاسنترهای زیرساخت استفاده میکنیم. الان حدود ۵۰ رک در شیراز، حدود ۲۰ رک در مشهد و همین حدود هم در اصفهان و تبریز داریم.
برای Disaster recovery چه برنامهای دارید؟ چون الان همه چیز در تهران است و اگر یک زلزلهای اتفاق بیفتد، همه چیز از بین میرود.پیام یکی از دلایل این تفکیک است.
میگویند سایت پشتیبان باید در فاصله حدود ۳۰۰ کیلومتر باشد.اینها برمیگردد به استانداردها و ضوابط مختلف تعریفشده. وقتی درباره سرویس عمومی صحبت میکنیم، کسی که دیتا دارد تشخیص میدهد چطور آن را نگهداری کند. مثلاً فرض کنیم تشخیص تپسی این است که از آسیاتک در دوتا دیتاسنتر مستقلش خدمات بگیرد، تشخیص اسنپ این است که یک نسخه در آسیاتک باشد و نسخه دوم در شرکت دیگری.
پس در واقع شما به دیتاهای مشتریهایتان کاری ندارید.ما یک کابل شبکه یا ارتباط فیبر به آنها تحویل میدهیم و به شبکه وصلشان میکنیم و نگهداری و مدیریت سرویس با خودشان است. در تمام دنیا هم به همین صورت است. حتی در دنیا دیتاسنترها اینترنت هم ندارند. میروید در دیتاسنتر لوکیشن خودتان را میگیرید، دیتاسنتر به شما میگوید این چند اپراتور در محل من حضور دارند، برو و از هر کدام که میخواهی سرویس بگیر. دارنده دیتاسنتر کارَش تامین برق، سرمایش، اطفای حریق، نگهداری و تردد است. اصولاً دیتاسنتردار قرار نیست به شبکه کاری داشته باشد. اینکه من هم از سرمایش مراقبت کنم و هم DDoS Protection داشته باشم، در یک تیم نیست. البته اما الان داریم این خدمات را هم میدهیم، ولی ذاتاً مدل این نیست و باید تفکیکشده مدیریت شود.
ما تعداد زیادی دیتاسنترهای کوچک در جاهای مختلف داریم و در عوض عملاً دیتاسنتر بزرگ بالای ۵۰۰ رک بهندرت داریم و مگادیتاسنتر هم اصلاً نداریم. به نظر شما این سیاستگذاری درست است؟نه؛ کاملاً غلط است. از دهه اول قرن بیستم دولت فدرال آمریکا اعلام کرد همه دولتیها و خصوصیها باید از خدمات مگادیتاسنترها که از نظر استاندارد تایید شدهاند استفاده کنند. در تمرکز، مراقبتها و تامین برق و ارتباطات، بهینه میشود. من شخصاً انتقاد دارم که فلان شرکت رفته زیر ساختمان خودش با یک هزینه خیلی زیاد ۵۰، ۶۰ رک ایجاد کرده است. با هزینهای که من با آن ۵۰۰ رک درست میکنم. این حیف است.
چرا این اتفاق میافتد؟نوع فرهنگ ما و نبود سرویسی که قابل اعتماد باشد. اگر همین برج میلاد- که اینهمه راجع به آن قضاوت کردند- نبود، چندتا از این دیتاسنترهای کوچک دوباره ساخته میشد؟ چقدر فاجعه در نگهداریها داشتیم… خدمات نرمافزار مسیریابی یا نوعی از خدمات پیامک و بانک مجازی در هفته پیش چند ساعت قطعی داشت. اگر درست توزیع شده بود یا جایی بود که مسئولیت آن قویتر بود، چنین اتفاقی رخ میداد؟ من نمیگویم ریسک ما صفر است، ولی اگر جایی بود که یک تیم تخصصی شبانهروزی حقوق میگرفتند و مراقبت میکردند، ریسک کمتری داشت. مگر یادمان رفته که چند سال پیش دیتاهای تجارت بینالمللی کشور پرید و دیگر هم برنگشت. چرا؟ چون یک دیتاسنتر مربوط به ۱۵ سال پیش ساخته بودند و یکسری سختافزار قدیمی و عملاً خارج از سرویس آنجا وجود داشت که روی همانها داشتند کار میکردند.
هزینه ایجاد و راهاندازی هر رک به طور متوسط چقدر است؟برای ما حدود دو میلیارد تومان شامل تمام هزینهها به جز تجهیزات اکتیو شبکه.
سرویسی که میدهید سودده است؟حتماً سودده است؛ البته اجاره دادن رک یکی از خامفروشیترین حالات ممکن است. بهتر است من بتوانم در آن پلتفرم بالا بیاورم. اگر بتوانم سرور بگذارم و اجاره بدهم، سه چهار برابر درآمد میشود. اگر سرویس ابری بدهم، چند برابر بهتر درآمد میدهد. اگر نگاه کنید در دنیا هم شرکتهایی مثل آمازون و مایکروسافت همینطور هستند. دیتاسنترهای چند هزار رکی را به صورت ۱۰-۱۵ساله اجاره میکنند و از خدمات آنها استفاده میکنند. خودشان را درگیر تکنولوژی کردهاند و درگیر این قسمتها نمیشوند. شرکتهایی هم هستند که کارشان خدمات زیرساختی است و پول خوبی از قراردادها کسب میکنند.
الان اندازه بازار چقدر است و چقدر قابلیت بزرگ شدن دارد؟اندازه بازار دیتاسنترها و ترافیکی که بین آنها مدیریت میشود، شاید در کل ایران به هزار میلیارد تومان نمیرسد.
مجموع عمومی و اختصاصی و دولتی و…؟نه؛ فقط عمومی و آنهایی که پرایوت سرویس میدهند. یکسری پرایوت هم داریم که خودشان به خودشان سرویس میدهند، مثلاً شرکت فناپ که به بانک پاسارگاد سرویس میدهد. یا توسن که به بانکها سرویس میدهد. به نظرم همه اینها با هم هزار میلیارد تومان در سال نمیشود.
فکر میکنید این گردش مالی مربوط به چند رک است؟سه الی سه هزار و ۵۰۰ رک.
وزن بیزینسی در آسیاتک بیشتر روی اینترنت است یا دیتاسنتر؟۴۸ درصد درآمدها خدمات اینترنتی عموماً خانگی است و ۲۰ درصد دیتاسنتر؛ یعنی ۵۰ درصد درآمد روی B2C است و ۵۰ درصد روی B2B که در قسمت B2B نصفش (۲۵ درصد) از دیتاسنتر است.
سایر مطالب این پرونده را میتوانید در لینکهای زیر بخوانید: پروندهای درباره مراکز داده در ایران؛ جزیرههای پایتختنشین وضعیت مراکز داده در ایران؛ قطعی برق دیتاسنترها را فلج کرد مدیرعامل آسیاتک: غلط است که هر شرکتی برای خودش دیتاسنتر بسازد مراکز داده عمومی همگی در تهران متمرکز شدهاند؛ دیتاسنترها در انحصار پایتخت مدیرعامل فناپ زیرساخت: خدمات مرکز داده در کشور ما مقرونبهصرفه نیست دشواریِ روشن نگه داشتن چراغ دیتاسنتر در ایران؛ درباره مهمترین مشکلات صنفی مراکز داده در کشور چشمانداز مراکز داده در خاورمیانه، پرتعداد و متمرکز