تعریف داده کاوی و کاربرد آن در دنیای امروزی

داده کاوی یک تکنیک تجزیه و تحلیل داده است که بر مدل سازی آماری و کشف دانش برای اهداف پیش بینی شده است. این فناوری اغلب برای هر مشکلی از داده‌ها یا پردازش اطلاعات در مقیاس بزرگ (جمع ‌آوری، استخراج، انبارداری، تجزیه و تحلیل و آمار) و همچنین هوش مصنوعی، به کار می‌رود. Data mining فرآیند مرتب سازی داده‌ها می‌باشد که از طریق مجموعه داده‌های بزرگ برای شناسایی الگوها و روابطی استفاده می‌شود که می‌تواند به حل مشکلات تجاری از طریق تجزیه و تحلیل داده‌ها کمک کند. تکنیک‌ها و ابزارهای Data mining شرکت‌ها را قادر می‌سازد تا روندهای آینده را پیش بینی کنند و بتوانند تصمیمات تجاری آگاهانه‌تری بگیرند. داده کاوی بخش کلیدی تجزیه و تحلیل داده می‌باشد که به طور کلی یکی از رشته‌های اصلی در علم داده است که از تکنیک‌های تجزیه و تحلیل پیشرفته برای یافتن اطلاعات مفید در مجموعه داده‌ها استفاده می‌کند.

تاریخچه داده کاوی و پیشرفت‌های کنونی

فرآیند کاوش در میان داده‌ها برای کشف ارتباطات پنهان و پیش بینی روندهای آینده سابقه طولانی دارد. اصطلاح داده کاوی که گاهی به عنوان کشف دانش در پایگاه‌های داده شناخته می‌شود. پایه و اساس آن شامل سه رشته علمی در هم‌ تنیده است.

• آمار (مطالعه عددی روابط داده‌ها)

• هوش مصنوعی (هوش شبیه انسان که توسط نرم ‌افزار و یا ماشین‌ها نمایش داده می‌شود)

• یادگیری ماشینی (الگوریتم‌هایی که می‌توانند از داده‌ها برای پیش ‌بینی استفاده شوند)

Data mining چیست؟

در یک سطح جزئی‌تر، داده کاوی گامی در فرآیند کشف دانش در پایگاه‌های داده (KDD) است، یکی از روش‌های علم داده برای جمع آوری اطلاعات، پردازش و تجزیه و تحلیل داده‌ها می‌باشد. Data mining فرآیند استخراج و کشف الگوها در مجموعه داده‌های بزرگ است که شامل یادگیری ماشین، آمار و سیستم‌های پایگاه داده است. استخراج اطلاعات با استفاده از روش‌های هوشمند از مجموعه داده‌ها و تبدیل اطلاعات به یک ساختار قابل درک برای استفاده بیشتر است. Data mining مرحله تجزیه و تحلیل فرآیند کشف دانش در پایگاه‌های داده یا KDD است. جدا از مرحله تجزیه و تحلیل، همچنین شامل جنبه‌های پایگاه داده و مدیریت داده، پیش پردازش داده‌ها، پردازش ساختارهای کشف شده، تجسم، و به روز رسانی آنلاین است.

داده کاوی چگونه انجام می‌شود؟

Data mining بر داده‌های‌ بزرگ و فرآیندهای محاسباتی پیشرفته از جمله یادگیری ماشینی و سایر اشکال هوش مصنوعی (AI) متکی است. هدف یافتن الگوهایی هستند که می‌توانند به پیش بینی از داده‌های بدون ساختار یا بزرگ منجر شود. فرآیندهای Data mining برای ساخت مدل‌های یادگیری ماشینی مورد استفاده قرار می‌گیرند که برنامه‌های کاربردی از جمله فناوری موتورهای جستجو باعث می‌شوند که وب ‌سایت تقویت شود.

وظایف Data mining چیست؟

وظیفه واقعی داده کاوی تجزیه و تحلیل نیمه خودکار یا خودکار مقادیر زیادی از داده‌ها برای استخراج الگوهای ناشناخته قبلی مانند: گروه‌های رکورد داده‌ها (تحلیل خوشه‌ای)، رکوردهای غیر معمول (تشخیص ناهنجاری) و وابستگی‌ها (استخراج الگوی متوالی).این الگوها سپس می‌توانند به ‌عنوان نوعی خلاصه‌ از داده‌های ورودی دیده شوند. برای مثال ممکن است در یادگیری ماشینی و تجزیه و تحلیل پیش‌بینی‌ کننده استفاده شوند. به عنوان مثال: در یکی از مراحل Data mining ممکن است چندین گروه را در داده‌ها شناسایی کنند، که سپس می‌تواند برای به دست آوردن نتایج، پیش بینی دقیق‌تر توسط یک سیستم پشتیبانی استفاده کنند. اگر چه به ‌عنوان مراحل اضافی به فرآیند کلی KDD (دانش در کشف داده‌ها (تعلق دارند.

تعریف KDD

بسیاری از مردم داده کاوی را مترادف واژه‌های رایج کشف دانش در پایگاه‌داده‌ها ( knowledge discovery in databases) می‌دانند. KDD زمینه‌ای از علوم رایانه است که شامل ابزارها و تئوری‌هایی برای کمک به انسان‌ها در استخراج اطلاعات مفید از مجموعه‌های بزرگ داده‌های دیجیتالی است.

پیش پردازش

یک منبع متداول برای داده‌ها، دیتا مارتData mart  یا انبار داده data warehouse است. پیش پردازش برای تجزیه و تحلیل مجموعه داده‌های چند متغیر قبل از انجام Data mining ضروری است.

 روند فرآیند کشف دانش در پایگاه‌های داده (KDD) معمولا با مراحل زیر تعریف می‌شود:

• انتخاب

• پیش پردازش

• دگرگونی

• داده کاوی

• تفسیر/ارزیابی

شش کاربرد رایج Data mining

1. تشخیص ناهنجاری: تشخیص ناهنجاری (تشخیص بیرونی/تغییر/انحراف) شناسایی سوابق داده‌های غیر عادی، که ممکن است جالب باشند یا خطاهای داده‌ای که نیاز به بررسی بیشتر دارند.

2. یادگیری قانون انجمن: یادگیری قانون انجمن، مدل سازی، وابستگی روابط بین متغیرها را جستجو می‌کند. به عنوان مثال یک سوپر مارکت ممکن است داده‌هایی را در مورد عادات خرید مشتری جمع آوری کند. با استفاده از یادگیری قوانین، سوپر مارکت می‌تواند تعیین کند که کدام محصولات اغلب با هم خریداری می‌شوند و از این اطلاعات برای اهداف بازاریابی استفاده کنند.

3. خوشه‌ بندی: خوشه بندی وظیفه کشف گروه‌ها و ساختارهایی در داده‌ها است که به نوعی مشابه هستند، بدون استفاده از ساختارهای شناخته شده در داده‌ها.

4. طبقه بندی: طبقه بندی وظیفه تعمیم ساختار شناخته شده برای اعمال به داده‌های جدید است. به عنوان مثال:یک برنامه ایمیل ممکن است سعی کند یک ایمیل را به عنوان هرزنامه طبقه بندی کند.

5. رگرسیون: رگرسیون تلاش برای یافتن تابعی که داده‌ها را با کم‌ترین خطا مدل می‌کند تا روابط بین داده‌ها یا مجموعه داده‌ها را تخمین بزند.

6. خلاصه سازی: خلاصه سازی ارائه یک نمایش فشرده‌تر از مجموعه داده‌ها، از جمله تجسم و تولید گزارش است.

داده کاوی به شما این امکان را می‌دهد:

• تمام نویزهای پر هرج و مرج و تکراری داده‌های خود را غربال کنید.

• آنچه مرتبط است را درک کنید و سپس از آن اطلاعات برای ارزیابی نتایج احتمالی به خوبی استفاده کنید.

• همچنین کمک می‌کند تا خیلی سریع بتوانید تصمیم اگاهانه بگیرید.

چرا Data mining مهم است؟

این فناوری جز حیاتی ابتکارات تحلیلی موفق در سازمان‌ها است. Data mining موثر در جنبه‌های مختلف مانند: برنامه ریزی استراتژی‌های تجاری و مدیریت عملیات کمک می‌کند. این شامل کارکردهای مواجهه با مشتری مانند: بازاریابی، تبلیغات، فروش و پشتیبانی مشتری، به علاوه تولید، مدیریت زنجیره تامین، امور مالی و منابع انسانی است.

Data mining از کشف تقلب، مدیریت ریسک، برنامه ریزی امنیت سایبری و بسیاری دیگر از موارد استفاده حیاتی تجاری پشتیبانی می‌کند. همچنین نقش مهمی در مراقبت‌های بهداشتی، دولتی، تحقیقات علمی، ریاضیات، ورزش و غیره ایفا می‌کند.

ویژگی‌های کلیدی داده کاوی

• پیش بینی‌های خودکار الگو بر اساس تحلیل روند و رفتار

• پیش بینی بر اساس نتایج احتمالی

• ایجاد اطلاعات تصمیم گرا

• تمرکز روی مجموعه داده‌ها و پایگاه‌های داده بزرگ برای تجزیه و تحلیل

داده کاوی برای انجام چه کارهایی استفاده می‌شود؟

کاربردهای Data mining از بخش مالی برای جستجوی الگوها در بازارها تا تلاش برای دولت‌ها برای شناسایی تهدیدهای امنیتی بالقوه را شامل می‌شود. تمام شرکت‌ها به ویژه شرکت‌های آنلاین و رسانه‌های اجتماعی، از این تکنولوژی برای کاربران خود برای ایجاد کمپین‌های تبلیغاتی و بازاریابی سودآوری که مجموعه خاصی از کاربران را مورد هدف قرار داده‌اند، استفاده می‌کنند.

Data mining و رسانه‌های اجتماعی 

یکی از سودآورترین کاربردهای Data mining، شبکه‌های اجتماعی بوده است. پلتفرم‌هایی مانند فیسبوک (متعلق به متا) تیک تاک، اینستاگرام و توییتر مجموعه‌ای از داده‌ها را در مورد کاربران فردی جمع‌آوری می‌کنند تا بتوانند تبلیغات بازاریابی هدفمند ارسال کنند. همچنین از این داده‌ها برای تاثیر گذاری بر رفتار کاربران و تغییر ترجیحات آن‌ها استفاده می‌شود، خواه برای یک محصول پر مصرف باشد یا اینکه افراد در انتخابات به چه کسی رای می‌دهند.

نتیجه گیری

داده کاوی فرآیند یافتن ناهنجاری‌ها، الگوها و همبستگی‌ها در مجموعه داده‌های بزرگ برای پیش بینی نتایج بزرگ است. با استفاده از طیف وسیعی از تکنیک‌‌‌های Data mining، می‌توانید از این اطلاعات برای افزایش دآرمد، کاهش هزینه‌ها، بهبود روابط با مشتری، کاهش خطرات و موارد دیگر استفاده کنید.

انباره داده هسته اصلی سیستم هوش تجاری

انبار داده (Data Warehouse) سیستمی است که برای گزارش گیری و تجزیه و تحلیل داده‌ها استفاده می‌شود. DWها مخازن مرکزی داده‌های یک یا چند منبع متفاوت هستند و تمام اطلاعات جدید و قدیمی را در یک مکان ذخیره می‌کنند.  انبارداده (DW) فرآیند جمع‌آوری و مدیریت داده‌ها از منابع مختلف به منظور ارائه یک بینش تجاری است و معمولا برای اتصال و تجزیه و تحلیل داده‌های تجاری از منابع مختلف استفاده می‌کند. انبار داده هسته سیستم هوش تجاری BI است که اختصاصا برای تجزیه و تحلیل داده‌ها ساخته شده است. در این مقاله به معرفی مفهوم پایگاه داده می‌پردازیم و به انواع مختلف آن اشاره می‌کنیم.

تعریف دقیق انبار داده

انبار داده نوعی سیستم مدیریت داده می‌باشد که برای پشتیبانی از فعالیت‌های هوش تجاری (BI) به ویژه تجزیه و تحلیل داده طراحی شده است. پایگاه داده مقادیر زیادی از داده‌ها را از منابع متعدد و یکپارچه جمع آوری می‌کند. قابلیت‌های تحلیلی این پایگاه به سازمان‌ها اجازه می‌دهد تا ایده‌های ارزشمند تجاری را از داده‌ها استخراج کنند و براساس آن تصمیم‌گیری بهتری داشته باشند. پایگاه داده به مرور زمان یک رکورد تاریخی ایجاد می‌کند که این دستاورد برای دانشمندان داده و تحلیلگران تجاری بسیار ارزشمند است. با وجود این قابلیت‌ها، یک پایگاه داده را می‌توان «منبع واحد حقیقت» یک سازمان در نظر گرفت.

انبار داده چگونه کار می‌کند؟

پایگاه داده به عنوان یک مخزن مرکزی کار می‌کند که اطلاعات آن از یک یا چند منبع داده انتقال داده می‌شود. داده‌ها، پردازش، تبدیل و جذب می‌شوند تا کاربران بتوانند از طریق ابزارهای هوش تجاری، مشتریان SQL و صفحات گسترده به داده‌های پردازش شده در Data Warehouse دسترسی داشته باشند. یک انبار داده اطلاعاتی را که از منابع مختلف به دست می‌آورد در یک پایگاه داده جامع ادغام می‌کند.

سازمان‌ها با داشتن تمام اطلاعات در یک مکان می‌توانند مشتریان خود را به صورت جامع‌ تجزیه و تحلیل کنند. انبار داده تمام اطلاعات موجود را برای تجزیه و تحلیل فراهم میکند تا از این طریق داده کاوی امکانپذیر شود. مفهوم داده کاوی به فروش و سود بیشتر منجر شود.

یک انبار داده ممکن است چندین پایگاه داده داشته باشد. داده‌ها در هر پایگاه به جداول و ستون‌های مختلف تقسیم می‌شوند و در هر ستون توضیحاتی از داده‌ها مانند: تعداد یا فیلد آن‌ها قابل مشاهده است. این جداول در پوشه‌ها قرار می‌گیرند تا داده‌ها در آن‌ها ذخیره شوند. سپس ابزارهای پرس و جو با استفاده از طرحواره تعیین می‌کنند به کدام جدول داده دسترسی داشته باشند تا تجزیه و تحلیل داده‌ها انجام شود.

انواع اصلی انبار داده

انبار داده سازمانی (EDW)

پایگاه داده سازمانی (EDW) یک انبار متمرکز است. این انبار وظیفه خدمات پشتیبانی و تصمیم گیری نهایی را برعهده دارد و یک رویکرد واحد برای سازماندهی و نمایش داده‌ها ارائه می‌دهد.

ذخیره اطلاعات عملیاتی

زمانی که دیگر سیستم‌های OLTP از نیازهای ذخیره سازی سازمان پشتیبانی نمی‌کنند، پایگاه داده برای ذخیره داده‌های مورد نیاز استفاده می‌شود. انبار داده در ODS به صورت خودکار به روز رسانی می‌شود، بنابراین به طور گسترده‌ برای کارهایی مانند ذخیره سوابق کارمندان استفاده می‌شود.

Data Mart

دیتا مارت زیرمجموعه‌ای از پایگاه داده است و برای یک خط خاص از کسب و کار، مانند فروش، امور مالی، فروش یا امور مالی طراحی شده است. در دیتا مارت داده‌های مستقل مستقیما از منابع جمع‌آوری کرد.

معماری انبار داده چگونه است؟

معماری پایگاه داده از لایه‌های مختلف تشکیل شده است. لایه بالایی مشتری است که نتایج را از طریق گزارش، تجزیه و تحلیل و ابزارهای داده کاوی ارائه می‌دهد. و لایه میانی شامل موتور تجزیه و تحلیل است که برای دسترسی و تجزیه و تحلیل داده‌ها استفاده می‌شود. لایه پایینی سرور پایگاه داده است؛ جایی که داده‌ها بارگیری و ذخیره می‌شوند. اما چه کسانی به انبار داده نیاز دارند؟

کاربرانی که از فرآیندهای پیچیده برای به دست آوردن اطلاعات از چندین منبع داده استفاده می‌کنند. پایگاه داده برای افرادی که به دنبال یک رویکرد سیستماتیک برای تصمیم گیری هستند ضروری است. اگر عملکرد سریع در حجم عظیمی از داده‌ها را بخواهید، پایگاه داده برای گزارش‌ها، شبکه‌ها یا نمودارهای ضروری بسیار مفید خواهد بود.

برخی از ویژگی‌های انبار داده

ابزارهای دسترسی برای کاربر نهایی به پنج گروه مختلف تقسیم شده‌اند: گزارش داده، ابزار پرس و جو، ابزار توسعه برنامه، ابزار EIS، ابزار OLAP و ابزارهای داده کاوی. به طور کلی یک انبار داده شامل ویژگی‌های زیر است:

ذخیره و مدیریت داده‌ها

استخراج، بارگذاری و تبدیل (ELT) برای آماده سازی داده‌ها و قابلیت‌های تجزیه و تحلیل آماری و داده کاوی

ابزارهای تجزیه و تحلیل مشتری برای ارائه داده‌ها به کاربران تجاری

تصمیم گیری برای سازمان‌های بزرگ

داده‌های تلفیقی از منابع مختلف

تجزیه و تحلیل داده‌های قدیمی

کیفیت، سازگاری و دقت در جمع آوری و تجزیه و تحلیل داده‌ها

سایر برنامه‌های تحلیلی اطلاعات علمی را با استفاده از علم داده و الگوریتم‌های هوش مصنوعی (AI) یا نمودارها تولید می‌کنند. به همین ترتیب انواع بیشتری از تجزیه و تحلیل داده‌ها امکان پذیر می‌شود.

انبار داده چه مزیت‌هایی دارد؟

پایگاه داده مزیت‌های منحصر به فردی را ارائه می‌دهد و سازمان ها با استفاده از این مزایا می‌توانند حجم زیادی از داده‌های مختلف را تجزیه و تحلیل کنند. بنابراین ارزش افزوده ای که از داده‌ها استخراج می‌شود بی نهایت خواهد بود. انبار داده همچنین سابقه تاریخی تمام داده‌ها را نگهداری می‌کند؛ حتی اگر داده جدیدی را اضافه کنید بازهم داده‌های قبلی در جای خود قرار دارند.

موضوع محور: آن‌ها می‌توانند داده‌های مربوط به یک موضوع خاص یا یک حوزه (مانند فروش) را تجزیه و تحلیل کنند.

یکپارچه سازی: انبارهای داده بین انواع داده‌های مختلف از منابع متفاوت سازگاری ایجاد می‌کنند.

متغیر با زمان: یک انبار داده که به خوبی طراحی شده باشد، پرس و جوها را به سرعت انجام داده و توان عملیاتی بالایی را ارائه می‌دهد. علاوه بر این‌ها، این فناوری برای کاربران نهایی انعطاف کافی فراهم می‌کند تا بتوانند حجم عظیمی از داده‌ها را برای پاسخگویی دقیق‌تر بررسی کنند. پایگاه داده به‌ عنوان پایه‌ای کاربردی برای محیط‌های میان‌افزار BI عمل می‌کند که گزارش‌ها و سایر رابط‌ها را در اختیار کاربران نهایی قرار می‌دهد.

انبار داده مدرن چیست؟

توجه نمایید که پایگاه داده بخشی از فناوری اطلاعات، مهندسی داده، تجزیه و تحلیل تجاری و علم داده می‌باشد. کاربران مختلف در سازمان‌های بزرگ و کوچک نیازهای متفاوتی به انبار داده دارند. معماری داده مدرن با ارائه راهی برای مدیریت انواع داده‌ها و تجزیه و تحلیل آن‌ها به نیازهای مختلف پاسخ می‌دهد. الگوهای معماری برای کار در راستای بهترین استراتژی های صنعتی طراحی شده‌اند. انبار داده مدرن شامل یک پایگاه داده است که مدیریت انواع داده‌ها را ساده‌تر می‌کند و راه‌های مختلفی را برای استفاده از آن‌ها ارائه می‌دهد. این پایگاه داده مدرن از SQL و یادگیری ماشین پشتیبانی می‌کند.

انبار داده مدرن می‌تواند جریان کار داده‌ها را به‌گونه‌ای ساده کند که انبارهای دیگر هرگز نمی‌توانند این کار را انجام دهند. این بدان معناست که همه، از تحلیلگران و مهندسان داده گرفته تا دانشمندان داده و تیم‌های فناوری اطلاعات می‌توانند کارایی موثرتری داشته باشند.

نتیجه گیری

کاربران تجاری برای استخراج اطلاعات از داده‌های خود و نظارت بر عملکرد کسب و کار خود به این ابزارهای تحلیلی متکی هستند. انبار داده یک مخزن مرکزی اطلاعات است که  برای تصمیم گیری آگاهانه‌تر و تجزیه و تحلیل داده‌ها استفاده می‌شود. پایگاه داده (Data Warehouse) جدا از پایگاه داده عملیاتی سازمان نگهداری می‌شود. این انبار داده یک محصول نیست، بلکه یک محیط است. این محیط یک ساختار معماری از سیستم اطلاعاتی است که اطلاعات پشتیبانی تصمیم گیری جدید و قدیمی را در اختیار کاربران قرار می‌دهد.