کلان داده (Big Data) و آشنایی با انواع آن

در تعریفی کوتاه می‌توان گفت که کلان داده یعنی داده‌های پر‌تنوعی که با حجمی فزاینده و به سرعت در سراسر شبکه جهانی اینترنت گسترش می‌یابند.

در تعریفی جامع‌تر، کلان داده به داده‌هایی گفته می‌شود که از پیچیدگی بیشتری نسبت به داده‌های عادی برخوردارند و از منابعی جدید و در مقیاس‌های وسیع به سمت اینترنت جاری می‌شوند. حجم این داده‌ها به حدی وسیع است که اغلب نرم‌افزار‌های سنتی و طراحی شده بر مبنای رویکرد‌های گذشته، قادر به پردازش و مدیریت آن‌ها نخواهند بود.

اگرچه مفهوم کلان داده به خودی خود مفهومی نسبتاً جدید است؛ اما به طور کلی خاستگاه کلان داده‌ها به دهه‌های ۱۹۶۰ و ۱۹۷۰میلادی باز می‌گردد. مفهوم کلان داده حاصل آشنایی پایگاه داده‌های رابطه‌ای ( Relational Database) توسعه یافته با اولین مراکز داده است. در اوایل سال ۲۰۰۵ میلادی متخصصان با حجم وسیعی از داده‌های تولید شده در شبکه‌های اجتماعی نظیر فیس‌بوک، یوتیوب و سایر سرویس‌های آنلاین مواجه شدند. در همین سال بود که فریم ورک مشهور Hadoop به عنوان یک چارچوب متن باز (Open Source) به صورت اختصاصی به توسعه فعالیت خود در حیطه ذخیره، تجزیه و تحلیل مجموعه‌هایی از کلان داده پرداخت.

پس از گذشت مدتی کوتاه NoSQL با ارائه عملکردی مناسب از خود توانست تا همه نگاه‌ها را متوجه خود کند. ظهور چارچوب‌های متن باز نظیر Hadoop و Spark،تاثیر خارق‌العاده‌ای بر افزایش بازدهی و کاهش هزینه‌های دنیای کلان داده‌ها داشت. از آن زمان تا کنون بر میزان حجم داده‌ها بسیار افزوده شده است. نکته شگفت‌آور آن است که انسان‌ها به تنهایی در تولید این حجم از اطلاعات دخیل نبوده‌اند. ظهور پدیده‌ای به نام اینترنت اشیاء (IoT) و یادگیری ماشینی منجر به اتصال هر چه بیشتر دستگاه‌ها به اینترنت شد و افزایش چشمگیر داده‌ها را در پی داشت.

برای پاسخ به این پرسش تنها کافی است سه ویژگی‌‌ و شاخصه اصلی کلان داده‌ها را بر داده‌های مد نظر خود اعمال کنید. بنابر‌این تعریف، کلان داده‌ها عموماً دربردارند سه ویژگی متمایز کننده هستند که از آن‌ها در دنیای اینترنت به عنوان 3V نیز یاد می‌شود. این 3 ویژگی عبارتند از: