از کلیک‌های کاربران تا سونامی داده‌ها

  قصه بزرگ داده‌ها از کجا شروع شد؟ دان وســــــت: شرکت‌های بزرگ مثل گوگل، یاهو، آمازون، فیس‌بوک و توییتر از عوامل اصلی ایجاد و شکل‌گیری هیجان‌های اولیه درباره بزرگ داده‌ها بودند. جریان داده‌های ناشی از کلیک (Clikstream) که کاربران برای این شرکت‌ها ایجاد می‌کردند، منجر به تولید انبوهی از داده‌ها شد؛ داده‌هایی که فقط هنگامی که یکجا جمع و پردازش شوند، ارزش واقعی پیدا می‌کنند. در این روند به تدریج، حجم و جریان اطلاعات آنقدر زیاد شد که دیگر با روش‌های تحلیل وب سنتی نمی‌شد آنها را سازماندهی کرد. چرا بزرگ داده‌ها این اواخر تا این حد اهمیت یافته‌اند؟ چارلز زدلوسکی: امروزه حجم داده‌ها حتی از قانون مور نیز سریع‌تر رشد می‌کند. از این رو، ایده‌های قدیمی که شرکت‌ها با استناد به آنها سراغ چالش داده‌های فزاینده‌شان می‌رفتند، دیگر کارساز نیستند. در این میان، نوع خاصی از مشکلات وجود دارند که هنوز راهکاری برای حل آنها وجود ندارد زیرا هنوز راهکاری که هم تعمیم‌پذیر باشد، هم اقتصادی و هم منعطف، کشف نشده است. اما با ظهور فناوری جدید هادوپ که همزمان در مقیاس هزاران سرور هماهنگ عمل می‌کند شاید بتوان به این راهکار دست یافت. کاپیل بخشی: حجم اطلاعات دیجیتالی که جمع‌آوری و پردازش می‌شود، با سرعتی خیره‌کننده رو به افزایش است، به خصوص داده‌های ساختارنیافته. بر اساس تحقیقات شرکت سیسکو، ترافیک داده‌های جهانی تا سال 2016 به 1.3 زتابایت افزایش خواهد یافت که در مقایسه با سال 2011 چهار برابر افزایش را نشان می‌دهد. این تحقیقات همچنین نشان می‌دهد تا سال 2016 حدود 19 میلیارد اتصال شبکه جهانی خواهیم داشت یعنی چیزی معادل دو و نیم اتصال برای هر شخص در کره زمین. این سونامی جدید داده‌ها منابع جدیدی نیز دارند که بیشتر آنها تجهیزات الکترونیکی هستند، مثل حسگرها، گوشی‌های هوشمند و دیگر ابزارهای همراه متصل به اینترنت. همه این منابع در کنار یکدیگر حجم عظیمی از داده‌ها را...