با ایجاد و گسترش وب و افزایش چشمگیر حجم اطلاعات، روش ها و تکنیک هایی برای استفاده از این اطلاعات و استخراج اطلاعات جدید از آنها مورد نیاز می باشد. روش های سنتی بازیابی اطلاعات که برای جستجوی اطلاعات در پایگاه داده ها به کار می روند، قابل استفاده در وب نمی باشند. وب کاوی که بکارگیری تکنیک های داده کاوی برای کشف و استخراج خودکار اطلاعات از اسناد و سرویس های وب می باشد، می تواند برای این منظور به کار رود. وب کاوی شامل چهار مرحله اصلی پیدا کردن منبع، انتخاب اطلاعات و پیش پردازش، تعمیم، تحلیل می باشد. روش های وب کاوی بر اساس آن که چه نوع داده ای را مورد کاوش قرار می دهند، به سه دسته تقسیم می شوند: کاوش محتوای وب، کاوش ساختار وب، کاوش استفاده از وب. تکنیک ها و روش های وب کاوی از کاربرد وسیعی در حوزه های مختلف همچون تجارت الکترونیکی، دولت الکترونیکی، آموزش الکترونیکی، آموزش از راه دور، سازمان های مجازی، مدیریت دانش، کتابخانه های دیجیتال برخوردارند. البته وب کاوی با چالش ها و محدودیت های متنوعی روبه رو است. و در حال حاضر تحقیقات بسیاری در زمینه وب کاوی در حال انجام است که هدف آن ها حل این مشکلات می باشد.