مطالب توسط

داده‌كاوی و هوش كسب‌وكار

سیستم های جامع سازمانی همچون سیستم های برنامه ریزی منابع سازمان كه در فصول گذشته مورد بحث و بررسی قرار گرفتند، ابزارهای قدرتمندی را جهت كنترل و اندازه گیری عملیات های سازمانی پیشنهاد می نمایند. تعداد زیادی از سازمان ها، به این اعتقاد رسیده اند كه چنانچه این ابزارها به سیستم های هوش كسب و كار مجهز شوند، ارزش بسیار بالاتری را برای سازمان ایجاد می نمایند. هوش كسب و كار از طریق كاوش در داده های ذخیره شده در سیستم های انبارش داده و بهره گیری از نتایج این كاوش ها برای حل مشكلات كسب و كار و یا به عبارت دیگر داده كاوی، بدست می آید. یكی از اَشكال معروف داده كاوی در سیستم های برنامه ریزی منابع سازمان، از طریق مدیریت روابط مشتریان، مطرح می گردد. انباره های داده یكی از ابزارهای مهم داده كاوی می باشند. با بهره گیری از این ابزارها می توان اطلاعات مشتریان را طی دوره های مختلف نگهداری نمود و پس از پردازش و كاوش آنها اطلاعات ارزشمندی در خصوص نیازها، سلایق و رفتارهای آنها بدست آورد. با توجه به اهمیت بسیار بالای این سیستم ها در توسعه سازمانها، این فصل در نظر دارد مفهوم هوش كسب و كار و داده كاوی را برای دانشجویان تشریح نموده، ابزارهای آن را بیان نموده و مواردی از استفاده از آن را در كسب و كارها و سازمان های بزرگ دنیا ارایه نماید.

ارائه مدلی برای استخراج اطلاعات از مستندات متنی، مبتنی بر متن‌كاوی

هنگامی که شبکه های کامپیوتری ستون اصلی علم و اقتصاد شد، حجم زیادی از مستندات در دسترس قرار گرفتند. به همین منظور، برای استخراج اطلاعات مفید از روش های متن کاوی استفاده می شود. متن کاوی یک حوزه پژوهشی مهم در کشف اطلاعات ناشناخته، فرضیات، و حقایق جدید به وسیله استخراج اطلاعات از اسناد مختلف است. همچنین متن کاوی آشکار کردن اطلاعات پنهان با استفاده از روشی است که در یک طرف توانایی مقابله با تعداد زیادی کلمات و ساختارهایی در زبان طبیعی را نشان میدهد و از طرف دیگر اجازه مدیریت ابهام و شک را می دهد. علاوه بر آن، متن کاوی به عنوان داده کاوی متن بیان می شود که معادل با تجزیه و تحلیل متون است و به فرایند استخراج اطلاعات از متن می پردازد و اطلاعات با کیفیت بالا را از میان الگوها و فرایندها استخراج میکند. همچنین به عنوان داده کاوی متن یا کشف دانش از پایگاه داده های متنی شناخته میشود و به فرایند استخراج الگوها یا دانش از اسناد متنی بیان می شود. روش تحقیق در این کار بدین صورت است که ابتدا به بررسی پژوهش های انجام شده در حوزه متن کاوی با تأکید بر روشها و کاربردهای آن در آموزش الکترونیکی پرداخته شد. در طی این مطالعات، پژوهش های مرتبط در حوزه آموزش الکترونیکی طبقه بندی گردیدند. پس از طبقه بندی پژوهش ها، مسائل و راه کارهای مرتبط با مسائل مطرح شده در آن کارها، استخراج شدند.

كاربرد الگوریتم‌های تكاملی در داده‌كاوی

داده كاوی عبارت است از فرایند كشف و تحلیل حجم بزرگی از داده ها با استفاده از روش هـای آمـاری و ریاضـی. ایـن مقالـه توصیفی است از کاربرد الگورتیم های تکاملی (EAs) در داده كاوی و كشف دانش، هدف، بیان شیوه انطباق افـراد، اپراتورهـای ژنتیك و توابع هماهنگی با استخراج دانشی سطح بالا از داده است. در بیشتر موارد، داده های حاصل از سیستم های بـزرگ و پیچیده، الگوی مشخصی ندارد و در طی زمان و مكان تغییر می كند. بنابراین برای تحلیل ایـن نـوع داده هـا بایـد بـه دنبـال روش هایی بود كه بتواند روش های آماری كلاسیك را كامل كند. داده كاوی بر اساس روشهای آمـاری كلاسـیك، هـم زمـان قابل توجیهی را صرف میكند و هم مسبوق به نظریه است. در این مقاله به منظور بررسی نقش الگوریتم اكتشافی، با عنوان الگوریتم تكاملی، در گام های متـوالی فراینـد داده كـاوی بـه تعریف و توصیف فرایند داده كاوی و الگوریتم های تكاملی پرداخته و با نظر به مفاهیم هر یـك از آنهـا، رابطـه الگـوریتم هـای تكاملی و فرایند داده كاوی را بررسی كرده ایم. در نهایت معلوم گردیده است كه تنهـا فراینـدی ماننـد فراینـد داده كـاوی بـا قابلیت تحلیلی زیاد میتواند اطلاعاتی قابل درك برای انسان ارائه نماید و نیز معلوم گردیده است كه چگونه دو فرایند داده كاوی و الگوریتم تكاملی یكدیگر را پشتیبانی می نمایند.

چگونه به یک سازمان داده محور تبدیل شویم؟

داده دارای چرخه حیات مختص به خود است. این چرخه حیات با ایجاد داده شروع و با از بین رفتن داده و یا دوران بازنشستگی داده خاتمه، خواهد یافت. اگر بخواهیم داده را به درستی مدیریت کنیم می بایست در هر یک از مراحل حیات داده از طرح ها و برنامه های نوآورانه متعددی استفاده نماییم که هر یک دارای استراتژی تعریف شده مختص به خود باشند (به عنوان نمونه: استراتژی کیفیت داده، استراتژی مدیریت محتویات، استراتژی هوش کسب وکار، استراتژی یکپارچه سازی، استراتژی مدیریت داده مرجع و…) اجرای این طرح ها بدون وجود یک رویکرد جامع و منسجم در قالب یک استراتژی داده، معنی نخواهد داشت و صرفاً به یک سری اقدامات جزیرهای محدود خواهد شد. داشتن یک استراتژی داده که همسو با استراتژی کسب وکار نباشد، حرکت در مسیری خلاف اهداف و خواسته های یک سازمان است. تدوین و اجرای یک استراتژی داده همسو با استراتژی کسب وکار، میتواند بستر مناسب برای تبدیل یک سازمان به یک مجموعه داده محور را فراهم نماید. سازمانی که در آن داده به یکی از مهمترین دارایی های آن تبدیل می گردد که میتوان از آن در جهت بهینه سازی وضعیت موجود و یا ایجاد محصولات داده استفاده کرد .

وب کاوی (Web Mining)، چالش‌ها و کاربردها

با ایجاد و گسترش وب و افزایش چشمگیر حجم اطلاعات، روش ها و تکنیک هایی برای استفاده از این اطلاعات و استخراج اطلاعات جدید از آنها مورد نیاز می باشد. روش های سنتی بازیابی اطلاعات که برای جستجوی اطلاعات در پایگاه داده ها به کار می روند، قابل استفاده در وب نمی باشند. وب کاوی که بکارگیری تکنیک های داده کاوی برای کشف و استخراج خودکار اطلاعات از اسناد و سرویس های وب می باشد، می تواند برای این منظور به کار رود. وب کاوی شامل چهار مرحله اصلی پیدا کردن منبع، انتخاب اطلاعات و پیش پردازش، تعمیم، تحلیل می باشد. روش های وب کاوی بر اساس آن که چه نوع داده ای را مورد کاوش قرار می دهند، به سه دسته تقسیم می شوند: کاوش محتوای وب، کاوش ساختار وب، کاوش استفاده از وب. تکنیک ها و روش های وب کاوی از کاربرد وسیعی در حوزه های مختلف همچون تجارت الکترونیکی، دولت الکترونیکی، آموزش الکترونیکی، آموزش از راه دور، سازمان های مجازی، مدیریت دانش، کتابخانه های دیجیتال برخوردارند. البته وب کاوی با چالش ها و محدودیت های متنوعی روبه رو است. و در حال حاضر تحقیقات بسیاری در زمینه وب کاوی در حال انجام است که هدف آن ها حل این مشکلات می باشد.

چگونه مسیر داده تا تصمیم‌گیری را درست طی کنیم؟

آن چیزی که سازمان ها را در دنیای دیجیتال، رقابتی و غیرقابل پیش بینی امروزی موفق می نماید، قابلیت یادگیری سریعتر نسبت به رقبا و عمل بر اساس آگاهی و بینش مبتنی بر حقایق و در یک کلام، دانش است. تنها در این حالت است که یک سازمان می تواند در مسیر خلق مزیت رقابتی برای خود گام بردارد. در هیچ مقطعی از تاریخ تا بدین اندازه داده در دسترس سازمان ها به منظور تصمیم گیری بهتر وجود نداشته است. وجود این حجم از داده و در دسترس بودن آنها به لطف فناوری اطلاعات و ارتباطات، باعث شکل گیری منابع داده ارزشمندی برای سازمان ها شده است. منابعی که اگر به درستی مدیریت شوند، می تواند ارتقاء جایگاه رقابتی یک سازمان را به دنبال داشته باشد. هم سویی جمع آوری داده با اهداف استراتژیک، جمع آوری بهترین شواهد در دسترس، استفاده از شواهد به منظور استخراج بینش و ارائه به موقع اطلاعات به تصمیم گیرندگان یک سازمان به گونه ای که بتوانند اقدامات خود را مبتنی بر دانش انجام دهند، می تواند مسیر موفقیت در یک سازمان را تضمین کرده و باعث بهبود جایگاه رقابتی آنها در دنیای کسب وکار دیجیتال گردد.

وب‌کاوی (Web Mining) چیست؟

وب کاوی (Web Mining) کاربرد تکنیک های داده کاوی برای شناسایی الگوها در وب است. وب کاوی با زمینه های مختلف تحقیقاتی علوم کامپیوتر همچون داده کاوی، پایگاه داده، بازیابی اطلاعات، هوش مصنوعی، یادگیری ماشین، پردازش زبان طبیعی، استخراج اطلاعات، انبار داده ها ، طراحی واسط کاربر و … در ارتباط تنگاتنگ است.

وب کاری شامل چهار مرحله است:

  • پیدا کردن منبع: این مرحله شامل بازیابی اسناد وب مورد نظر است.
  • انتخاب اطلاعات و پیش پردازش: در این مرحله به صورت خودکار اطلاعات خاصی از اسناد بازیابی شده، انتخاب و پیش پردازش می شوند
  • تعمیم : در این مرحله به صورت خودکار الگوهای عام در یک یا چندین سایت وب کشف می شود.
  • تحلیل: در این مرحله الگوهای به دست آمده در مرحله قبل اعتبار سنجی و تفسیر میشوند.

استراتژی Big Data سازمان شما چیست؟

Big Data  با چنان قدرت و سرعتی در کسب و کارها رخنه کرده است که شاید سازمان ها از آن بهره نپذیرند و یا از آن دوری کنند، ولی به هیچ عنوان نمی توانند آن را نادیده بگیرند و در مقابل آن استراتژی دقیقی اتخاذ نکنند. دیر یا زود در هر صنعتی رد پای Big Data و تاثیرات آن در سطح کلان به گوش خواهد رسید. در این بین سازمان هایی که توانسته اند موضع درستی در مقابل این تکنولوژی نوین بگیرند، توانایی بقا و رقابت را خواهند داشت.

سازمان هایی که به Big Dataاهمیت زیادی می دهند، بعد از مدتی از مزیت رقابتی بسیار ویژه ای برخوردار می شوند. این سازمان ها داده های خود را جمع آوری کرده و با ابزارهای پیشرفته، داده های ساختار یافته و ساختار نیافته خود را تحلیل میکنند. این کسب و کار ها پس از مدتی ابتکار عمل صنعت را بدست می گیرند و دچار دگردیسی کسب و کار می شوند و با ایجاد اکوسیستمی در صنعت به بستر یا پلتفرم Big Data تبدیل می شوند.

مروری بر MongoDB

MongoDB یک پایگاه داده سندگرا (Oriented-Document) و مستقل از سکو است که کارائی بالا، دسترسی پذیری بالا و مقیاس پذیری آسانی را فراهم میکند MongoDB. بر اساس مفهوم مجموعه (Collection)و سند (Document) کار می کند.

مروری بر Big Data

یکی از موضوعات جذابی که این روزها به دفعات مطالبی در رابطه با آن را از گوشه و کنار می شنویم و یا می خوانیم، حجم داده تولیدی در جهان و تولد یک واژگان جدید با نام Big Data و یا داده های عظیم در حوزه ادبیات فناوری اطلاعات و کسب و کار است. هم اینک، روند رشد داده کاملا صعودی و به شکل نمایی است و به باور بسیاری از کارشناسان حوزه داده و کسب و کار می بایست در انتظار تحولات بسیار گسترده تر و مهمی در این عرصه و در آینده ای نه چندان دور باشیم چراکه ما همچنان در ابتدای این مسیر و شیوه صحیح مدیریت آن قرار گرفته ایم. مسیری که در گذشته به دلیل فقدان وجود زیرساخت های لازم خصوصا در بعد ذخیره سازی و پردازش دست نیافتنی بود .

تحلیل پروژه‌های پردازش جریان آپاچی

در حوزه پردازش داده، دو نوع اصلی پردازش داریم

  • پردازش بلادرنگ  (Real Time)یا همان پردازش جریان (Stream Processing)
  • پردازش انبوه (Batch Processing)

که فناوریهای اصلی حوزه کلان داده ، مانند روش توزیع و تجمیع(MapReduce)  و جدیدا اسپارک برای پردازش انبوه داده ها طراحی شده اند و برای پردازش بالدرنگ داده ها هم برای سال ها، استفاده از صف های توزیع شده و پروژه های محدودی مانند Storm راه حل اصلی مهندسین داده بود.

در سالهای اخیر ، فناوری های پردازش بلادرنگ و داده های جریانی مانند داده های دریافتی از حسگرها و تصاویر ترافیک و ماهواره، داده های شبکه های اجتماعی و مانند آن که یکسره در حال تولید هستند و جریان آنها به صورت پیوسته درحال تزریق به برنامه های پردازشی است، پیشرفت زیادی کرده اند و فقط در اکوسیستم آپاچی (مجموعه پروژه های بنیاد آپاچی) امروزه بیش از ده پروژه مختلف متن باز مختلف در این حوزه داریم بعضی از آنها، تفاوت بسیار کمی با یکدیگر دارند که این امر، انتخاب درست ابزار و کتابخانه های مورد نیاز برای پردازش جریان را امری زمانبر و تخصصی نموده است.