تولید جمعی زبان طبیعی

انگیزه جمع‌آوری مجموعه متن با استفاده از جمع‌سپاری چیست؟ یکی از اساسی‌ترین چالش‌های تحقیق روی زبان گفتاری به جمع‌آوری داده برمی‌گردد. یک داستان واقعی اینکه وقتی دوره آزمایش کارم را در بخش تحقیقات مایکروسافت یا MSR آغاز کردم، از ما خواستند به طور مستقیم مساله ایجاد یک جزء برای سیستم‌های گفت‌وگو با جهان باز را بررسی کنیم اما مشخص شد رسیدن به مجموعه داده زبان طبیعی مناسب که انواع کاربردهای زبان متناسب با نیت کاربر را شامل شود، واقعا مشکل پیچیده‌ای است. همچنین متوجه شدیم بسیاری از مردم نیز با مشکلی مشابه مواجه هستند. لذا تصمیم گرفتیم ابتدا به این مشکل مهم رسیدگی کنیم. بنابراین در مراحل اولیه، تولیدکنندگان سیستم معمولا از سیستم مکالمه یا جمع‌آوری داده‌های تعاملات طبیعی بین کاربران استفاده می‌کنند. البته حتی پیش از این نیز، این داده‌ها برای ایجاد سیستم اولیه مورد نیاز خواهد بود. پس به نوعی مشکل مرغ و تخم مرغ است. معمولا تولیدکنندگان سیستم به این روش عمل می‌کنند که یک گرامر اولیه، به صورت دستی یا مبتنی بر مطالعات در مقیاس پایین ایجاد می‌کنند. وقتی این بخش انجام شد، داده‌های جدید جمع‌آوری و گرامرهای مدل به‌روزرسانی می‌شوند. البته این روش نواقصی هم دارد. اول آنکه گرامر ابتدایی ممکن است به خوبی در مورد تمام کاربران واقعی کلی‌سازی نشوند و عملکرد ضعیف سیستم در مراحل ابتدایی نیز می‌تواند به جهت‌گیری ورودی کاربران بعدی و داده‌های جمع‌آوری‌شده منجر شود. دوم آنکه چرخه حیات توسعه برنامه هزینه‌های بالایی دارد و بهبود عملکرد سیستم نیز زمان زیادی می‌برد. سوم، سیستم‌ها در مراحل اولیه با مشکل عدم پذیرش مواجه هستند. منظورم این است که به دلیل محدودیت کاربرد و عدم انسجام، یافتن کاربر -حتی کاربران دانشگاهی- برای امتحان سیستم‌های ابتدایی دشوار است. به‌علاوه هر بار که کارکرد یا توانایی جدیدی به سیستم اضافه می‌شود، برنامه‌نویسان با مشکل جمع‌آوری داده‌های اولیه جدید و توسعه گرامر برای آن عملکرد...