امروز: جمعه 11 آبان 1403
دسته بندی محصولات
بخش همکاران
بلوک کد اختصاصی

Data Mining

Data Miningدسته: کامپیوتر و IT
بازدید: 25 بار
فرمت فایل: doc
حجم فایل: 2374 کیلوبایت
تعداد صفحات فایل: 123

در دو دهه قبل توانایی­های فنی بشر برای تولید و جمع­آوری داده‌ها به سرعت افزایش یافته است عواملی نظیر استفاده گسترده از بارکد برای تولیدات تجاری، به خدمت گرفتن کامپیوتر در کسب­و­کار، علوم، خدمات­ دولتی و پیشرفت در وسائل جمع­آوری داده، از اسکن کردن متون و تصاویر تا سیستمهای سنجش از دور ماهواره­ای، در این تغییرات نقش مهمی دارند

قیمت فایل فقط 5,900 تومان

خرید

Data Mining

چکیده:

در دو دهه قبل توانایی­های فنی بشر برای تولید و جمع­آوری داده‌ها به سرعت افزایش یافته است. عواملی نظیر استفاده گسترده از بارکد برای تولیدات تجاری، به خدمت گرفتن کامپیوتر در کسب­و­کار، علوم، خدمات­ دولتی و پیشرفت در وسائل جمع­آوری داده، از اسکن کردن متون و تصاویر تا سیستمهای سنجش از دور ماهواره­ای، در این تغییرات نقش مهمی دارند.

        بطور کلی استفاده همگانی از وب و اینترنت به عنوان یک سیستم اطلاع رسانی جهانی ما را مواجه با حجم زیادی از داده و اطلاعات می‌کند. این رشد انفجاری در داده‌های ذخیره شده، نیاز مبرم وجود تکنولوژی­های جدید و ابزارهای خودکاری را ایجاد کرده که به صورت هوشمند به انسان یاری رسانند تا این حجم زیاد داده را به اطلاعات و دانش تبدیل کند. داده­کاوی به عنوان یک راه حل برای این مسائل مطرح می باشد. در یک تعریف غیر رسمی داده­کاوی فرآیندی است، خودکار برای استخراج الگوهایی که دانش را بازنمایی می­کنند، که این دانش به صورت ضمنی در پایگاه داده­های عظیم، انباره­داده[1] و دیگر مخازن بزرگ اطلاعات، ذخیره شده است.

          به لحاظ اینکه در چند سال اخیر مبحث داده­کاوی و اکتشاف دانش موضوع بسیاری از مقالات و کنفرانسها قرار گرفته و نرم­افزار­های آن در بازار به شدت مورد توجه قرار گرفته، از اینرو در مقاله سعی بر آن شده تا گذری بر آن داشته باشیم.

          در این مقاله درفصل مروری بر داده­کاوی خواهیم داشت . که به طور عمده به تاریخچه ، تعاریف، کاربردها وارتباط آن با انبار داده و OLAP خواهیم پرداخت. در پایان فصل مراحل فرایند کشف دانش از پایگاه داده­ها را ذکر کردیم که داده­کاوی یکی از مراحل آن است.

          در فصل 2 یکی از شیوه­های داده­کاوی که از سبد خرید گرفته شده­ است توضیح داده شده است . در این فصل به شرح قوانین ارتباطی خواهیم پرداخت که در آن بعد از دسته­بندی الگوریتمها ، الگوریتم Apriori ( که یک الگوریتم پایه در این زمینه است ) و الگوریتم FP-Growth ( یک الگوریتم جدید میباشد) را با شرح یک مثال توضیح می­دهیم و در آخر آن دو را با هم مقایسه می­کنیم .

          در فصل 3 مباحث وب­کاوی و متن­کاوی را که در بسیاری از مراجع جزء کاربردهای داده­کاوی به حساب می­آید شرح داده خواهد شد.

فهرست مطالب

عنوان  صفحه

فهرست اشکال   ...............................................................................................................................................

10

فهرست جداول   ..............................................................................................................................................

11

فصل1: مقدمه­ای بر داده­کاوی  ............................................................................

13

1-1 تعریف داده­کاوی   ...................................................................................................................................

15

2-1 تاریخچه داده­کاوی   ................................................................................................................................

16

3-1 چه چیزی سبب پیدایش داده­کاوی شده است؟   ........................................................................................

17

4-1 اجزای سیستم داده­کاوی   .........................................................................................................................

19

5-1 جایگاه داده­کاوی در میان علوم مختلف   ..................................................................................................

21

6-1 قابلیتهای داده­کاوی   .................................................................................................................................

22

7-1 چرا به داده­کاوی نیاز داریم؟   ...................................................................................................................

23

8-1 داده­کاوی چه کارهایی نمی­تواند انجام دهد؟   ..........................................................................................

25

9-1 کاربردهای داده­کاوی   .............................................................................................................................

25

1-9-1 کاربردهای پیش­بینی­کننده   ...................................................................................................

27

2-9-1 کاربردهای توصیف­کننده   ....................................................................................................

27

10-1 ابزارهای تجاری داده­کاوی   ...................................................................................................................

28

11-1 داده­کاوی و انبار­داده­ها   .........................................................................................................................

29

1-11-1 تعاریف انبار­داده   ................................................................................................................

29

2-11-1 چهار خصوصیت اصلی انبار­داده   .........................................................................................

30

3-11-1 موارد تفاوت انبار­داده و پایگاه­ داده   ....................................................................................

31

12-1 داده­کاوی و OLAP   ...........................................................................................................................

33

1-12-1 OLAP   ...........................................................................................................................

33

2-12-1 انواع OLAP   ...................................................................................................................

34

13-1 مراحل فرایند کشف دانش از پایگاه داده­ها   ...........................................................................................

34

1-13-1 انبارش داده­ها   ....................................................................................................................

35

2-13-1 انتخاب داده­ها   ....................................................................................................................

36

3-13-1 پاکسازی- پیش­پردازش- آماده­سازی   ................................................................................

36

4-13-1 تبدیل داده­ها   ......................................................................................................................

36

5-13-1 کاوش در داده­ها (Data Mining)   .................................................................................

37

6-13-1 تفسیر نتیجه   ........................................................................................................................

38

فصل 2: قوانین ارتباطی   ...........................................................................

39

1-2 قوانین ارتباطی   ........................................................................................................................................

40

2-2 اصول پایه   ...............................................................................................................................................

41

1-2-2 شرح مشکل جدی   ...............................................................................................................

41

2-2-2 پیمایش فضای جستجو   .........................................................................................................

43

3-2-2 مشخص کردن درجه حمایت مجموعه اقلام   .........................................................................

45

3-2 الگوریتمهای عمومی   ..............................................................................................................................

45

1-3-2 دسته­بندی   ............................................................................................................................

45

2-3-2 BFS و شمارش رویداد­ها   ...................................................................................................

46

3-3-2 BFS و دونیم­سازی TID-list   ...........................................................................................

47

4-3-2 DFS و شمارش رویداد   ......................................................................................................

47

5-3-2 DFS و دو نیم­سازی TID-list  ..........................................................................................

48

4-2 الگوریتم Apriori   ................................................................................................................................

48

1-4-2 مفاهیم کلیدی   .....................................................................................................................

48

2-4-2 پیاده­سازی الگوریتم Apriori   ............................................................................................

49

3-4-2 معایب Apriori و رفع آنها   .................................................................................................

54

5-2 الگوریتم رشد الگوی تکرارشونده   ..........................................................................................................

55

1-5-2 چرا رشد الگوی تکرار سریع است؟   .....................................................................................

58

6-2 مقایسه دو الگوریتم Apriori و FP-growth   ......................................................................................

59

7-2 تحلیل ارتباطات   ......................................................................................................................................

63

فصل 3: وب­کاوی و متن­کاوی   .................................................................

65

1-3 وب­کاوی   ...............................................................................................................................................

66

1-1-3 الگوریتمهای هیتس و لاگسام   ...............................................................................................

69

2-1-3 کاوش الگوهای پیمایش مسیر   ..............................................................................................

76

2-3 متن­کاوی   ...............................................................................................................................................

80

1-2-3 کاربردهای متن­کاوی   ...........................................................................................................

82

1-1-2-3 جستجو و بازیابی   ..............................................................................................

83

2-1-2-3 گروه­بندی و طبقه­بندی   ......................................................................................

83

3-1-2-3 خلاصه­سازی   ....................................................................................................

84

4-1-2-3 روابط میان مفاهیم   .............................................................................................

84

5-1-2-3 یافتن و تحلیل گرایشات   ....................................................................................

84

6-1-2-3 برچسب زدن نحوی (pos)   ...............................................................................

85

7-1-2-3 ایجاد Thesaurus و آنتولوژی به صورت اتوماتیک   .........................................

85

2-2-3 فرایند متن­کاوی   ...................................................................................................................

86

3-2-3 روشهای متن­کاوی   ...............................................................................................................

87

مراجع .....................................................................................................

89

فهرست اشکال

عنوان  صفحه

1-1 مراحل فرایند کشف دانش   ......................................................................................................................

17

2-1 سیر تکاملی صنعت پایگاه داده   ................................................................................................................

19

3-1 معماری یک نمونه سیستم داده­کاوی   .......................................................................................................

20

4-1 نرخ رشد اطلاعات   .................................................................................................................................

24

5-1 کاربرد پیش­بینی کننده   ............................................................................................................................

27

6-1 داده­ها از انبار­داده­ها استخراج می­گردند   ..................................................................................................

32

7-1 داده­ها از از چند پایگاه داده­ استخراج می­گردند   ......................................................................................

32

1-2 شبکه‌ای برای    .................................................................................................................

43

2-2 درخت    ..........................................................................................................................

44

3-2 دسته­بندی الگوریتمها   ..............................................................................................................................

46

4-2 پایان الگوریتم Apriori   ........................................................................................................................

52

5-2 درخت الگوی تکرار   ..............................................................................................................................

57

6-2 اندازه­گیری کارکرد درجه حمایت برای پایگاه داده D1 40K   ..............................................................

61

7-2 اندازه­گیری Apriori با درجه حمایت/تراکنش   .....................................................................................

62

8-2 اندازه­گیری FP-growth با درجه حمایت/تراکنش   ..............................................................................

62

1-3 مقداردهی اولیه الگوریتم HITS   ............................................................................................................

72

2-3 مثالی از الگوهای پیمایش   .......................................................................................................................

80

3-3 فرایند متن­کاوی   .....................................................................................................................................

86

4-3 مثال یافتن روابط   .....................................................................................................................................

88

فهرست جداول

عنوان  صفحه

1-2 کاوش FP-tree با ایجاد پایگاه­های الگوشرطی   .....................................................................................

58

2-2 پارامترها   .................................................................................................................................................

59

3-2 نتایج برای فاکتور درجه حمایت 5%   ........................................................................................................

60

4-2 نتایج برای D1 150K با درجه حمایت   .................................................................................................

61

1-3 تراکنش­های توصیف شده توسط مجموعه­ای از URLها   .......................................................................

75

2-3 نمایش URLها به عنوان بردارهایی از فعالیت گروه تراکنش   ..................................................................

75

3-3 یک SOM مرسوم که توسط توصیف URLها تولید شده است   ............................................................

76

فصل 1

مروری بر داده­کاوی

امروزه با گسترش سیستم‌های پایگاهی و حجم بالای داده‌های ذخیره شده در این سیستم‌ها، نیاز به ابزاری است تا بتوان داده‌های ذخیره شده را پردازش کرد و اطلاعات حاصل از این پردازش را در اختیار کاربران قرار داد.

با استفاده از پرسش‌های ساده در SQL و ابزارهای گوناگون گزارش‌گیری معمولی، می‌توان اطلاعاتی را در اختیار کاربران قرار داد تا بتوانند به نتیجه‌گیری در مورد داده‌ها و روابط منطقی میان آنها بپردازند. امّا وقتی که حجم داده‌ها بالا باشد، کاربران هرچند زبر­دست و با­تجربه باشند نمی‌توانند الگوها مفید را در میان حجم انبوه داده‌ها تشخیص دهند و یا اگر قادر به این کار هم باشند، هزینه عملیات از نظر نیروی انسانی و مادی بسیار بالا است. از سوی دیگر، کاربران معمولاً فرضیه‌ای را مطرح می‌کنند و سپس بر­اساس گزارشات مشاهده شده به اثبات یا رد فرضیه می‌پردازند، در حالی که امروزه نیاز به روشهایی است که اصطلاحاً به کشف دانش [2] بپردازند یعنی با کمترین دخالت کاربر و بصورت خودکار الگوها و رابطه‌های منطقی را بیان نمایند.

داده کاوی[3] یکی از مهمترین این روشها است که به الگوهای مفید در داده‌ها با حداقل دخالت کاربران شناخته می‌شوند واطلاعاتی را در اختیار کاربران و تحلیل گران قرار می‌دهند تا براساس آن تصمیمات مهم و حیاتی در سازمانها اتخاذ شوند.

اصطلاح داده­کاوی زمانی بکار برده می‌شود که با حجم بزرگی از داده‌ها، در حد مگا یا ترابایت، مواجه باشیم. در تمامی منابع داده­کاوی بر این مطلب تأکید شده است. هرچه حجم داده‌ها بیشتر و روابط آنها پیچیده­تر باشد دسترسی به اطلاعات نهفته در میان داده­ها مشکل­تر می‌شود و نقش داده­کاوی بعنوان یکی از روش­های کشف دانش، روشن‌تر می‌گردد.

داده­کاوی بطور همزمان از چندین رشته علمی بهره می‌برد نظیر: تکنولوژی پایگاه داده، هوش مصنوعی، یادگیری ماشین، شبکه‌های عصبی، آمار، الگو، سیستم‌های مبتنی بر دانش[4]، حصول دانش[5]، بازیابی اطلاعات[6]، محاسبات سرعت بالا[7] و بازنمایی بصری داده[8].

1-1: تعریف داده­کاوی:

اصطلاح Data Mining همانطور که از ترجمه آن به داده­کاوی مشخص می­شود، به مفهوم استخراج اطلاعات نهان و یا الگوها و روابط مشخص در حجم زیادی از داده‌های یک یا چند بانک اطلاعاتی بزرگ است. اطلاعات استخراج شده در تعریف Data Mining بطور ضمنی به معنی اطلاعاتی است که بر اساس آن بتوان به نتایجی دست یافت که بطور معمول ملموس نیستند. در این تعریف بر بزرگ بودن بانکهای اطلاعاتی و یا حجم زیاد داده‌های مورد پردازش تاکید می‌شود. علت این است که از نظر آماری و تئوری اطلاعات، تجزیه و تحلیل داده‌ها و یا آنطور که در این اصطلاح تعبیر می‌شود، کاوش در حجم کم داده­های یک بانک به نتایج قابل قبولی منجر نمی‌شود. به کمک ابزارهای Data Mining می‌توان مقادیر متغیرهای را پیش­بینی و توصیف نمود. این ابزارها در فرایندهای تصمیم‌گیری متکی بر اطلاعات و دانش [9] کاربر فراوان دارند و فعالیت­های تجاری نوین و مدرن امروزه به شدت بر آن متکی است. فرایند Data Mining را نباید با روش‌های متداول آنالیز داده و اطلاعات و سیستم­های تصمیم‌گیری معمولی یکی دانست. به کمک روش‌های Data Mining می‌توان به پرسش­هایی (عمدتاً تجاری) پاسخ گفت که بطور سنتی عملاً امکان وجود ندارد.

در متون آکادمیک تعاریف گوناگونی برای داده کاوی ارائه شده‌اند. در برخی از این تعاریف داده­کاوی در حد ابزاری که کاربران را قادر به ارتباط مستقیم با حجم عظیم داده­ها می‌سازد معرفی گردیده است و در برخی دیگر، تعاریف دقیقتر که در آنها به کاوش در داده­ها توجه می‌شود موجود است. برخی از این تعاریف عبارتند از:

  • داده­کاوی عبارت است از فرایند استخراج اطلاعات معتبر، از پیش ناشناخته، قابل فهم و قابل اعتماد از پایگاه داده­های بزرگ و استفاده از آن در تصمیم‌گیری در فعالیت­های تجاری مهم.
  • اصطلاح داده­کاوی به فرایند نیم خودکار تجزیه و تحلیل پایگاه داده­های بزرگ به منظور یافتن الگوهای مفید اطلاق می‌شود.
  • داده­کاوی یعنی جستجو در یک پایگاه داده­ها برای یافتن الگوهایی میان داده­ها.
  • داده­کاوی عبارتست از فرایند یافتن دانش از مقادیر عظیم داده­های ذخیره شده در پایگاه داده، انباره داده و یا دیگر مخازن اطلاعات.
  • داده­کاوی یعنی استخراج دانش کلان، قابل استناد و جدید از پایگاه داده­های بزرگ.
  • داده­کاوی یعنی تجزیه و تحلیل مجموعه داده­های قابل مشاهده برای یافتن روابط مطمئن بین داده­ها.

همانگونه که در تعاریف گوناگون داده­کاوی مشاهده می­شود، تقریباً در تمامی تعاریف به مفاهیمی چون استخراج دانش، تحلیل و یافتن بین داده­ها اشاره شده است.

واژه های «داده­کاوی» و «کشف دانش در پایگاه داده»[10] اغلب بصورت مترادف یکدیگر مورد استفاده قرار می‌گیرد. کشف دانش در پایگاه داده فرایند شناسایی درست، ساده، مفید و  نهایتا الگوها و مدلهای قابل فهم در داده­ها می‌باشد. داده­کاوی، مرحله‌ای از فرایند کشف دانش می‌باشد و شامل الگوریتم­های مخصوص داده­کاوی است، بطوریکه تحت محدودیت­های مؤثر محاسباتی قابل قبول، الگوها و یا مدلها را در داده کشف می‌کند.

داده­ها اغلب حجیم امّا بدون ارزش می‌باشند، داده به تنهایی قابل استفاده نیست، بلکه دانش نهفته در داده­ها قابل استفاده می‌باشد. به این دلیل به داده­کاوی، تحلیل داده‌ای ثانویه[11] گفته می‌شود.

2-1: تاریخچه داده­کاوی

اخیرا داده­کاوی موضوع بسیاری از مقالات، کنفرانس‌ها و رساله‌های عملی شده است، امّا این واژه تا اوایل دهه نود مفهومی نداشت و به کاربرده نمی‌شد.

در دهه شصت و پیش از آن زمینه‌هایی برای ایجاد سیستم‌های جمع‌آوری و مدیریت داده­ها ایجاد شد و تحقیقاتی در این زمینه انجام پذیرفت که منجر به معرفی و ایجاد سیستم­های مدیریت پایگاه داده­ها گردید.

ایجاد و توسعه مدلهای داده‌ای برای پایگاه سلسله مراتبی، شبکه‌ای و بخصوص رابطه‌ای در دهه هفتاد، منجر به معرفی مفاهیمی همچون شاخص­گذاری و سازمادهی داده‌ها و در نهایت ایجاد زبان پرسش SQL در اوایل دهه هشتاد گردید تا کاربران بتوانند گزارشات و فرم­های اطلاعاتی موردنظر خود را ، از این طریق ایجاد نمایند.

توسعه سیستم‌های پایگاهی پیشرفته در دهه هشتاد و ایجاد پایگاه­ها شی‌گرا، کاربرد گرا[12] و فعال[13] باعث توسعه همه جانبه و کاربردی شدن این سیستم‌ها در سراسر جهان گردید. بدین ترتیب DBMS­هایی همچون Oracle, DB2,­ Sybase, ... ایجاد شدند و حجم زیادی از اطلاعات با استفاده از این سیستم‌ها مورد پردازش قرار گرفتند. شاید بتوان مهمترین جنبه در معرفی داده­کاوی را مبحث کشف دانش از پایگاه داده‌ها (KDD)[14] دانست بطوریکه در بسیاری موارد DM [15]  و KDD بصورت مترادف مورد استفاده قرار می‌گیرند.

همانطور که در تعریف داده­کاوی ذکر شد، هدف جستجو و کشف الگوهایی در پایگاه داده ها و استفاده از آنها در اخذ تصمیمات حیاتی است، بنابراین می‌توان گفت که DM بخشی از فرایند KDD است که در نهایت به ایجاد سیستم‌های DSS [16] می‌شود. شکل 1-1 نقش داده کاوی در فرایند کشف دانش از پایگاه داده ها را نشان می‌دهد.

برای اولین بار مفهوم داده­کاوی در کارگاه IJCAI[17] در زمینه KDD توسّط Shapir مطرح گردید. به دنبال آن در سالهای 1991 تا 1994 ، کارگاههای KDD مفاهیم جدیدی را در این شاخه علم ارائه کردند بطوریکه بسیاری از علوم و مفاهیم با آن مرتبط گردیدند.

3-1- چه چیزی سبب پیدایش داده­کاوی شده است؟

اصلی­ترین دلیلی که باعث شد داده­کاوی کانون توجهات در صنعت اطلاعات قرار بگیرد، مساله در دسترس بودن حجم وسیعی از داده­ها و نیاز شدید به اینکه از این داده­ها  اطلاعات و دانش سودمند استخراج کنیم. اطلاعات و دانش بدست آمده در کاربردهای وسیعی از مدیریت کسب و کار و کنترل تولید و تحلیل بازار تا طراحی مهندسی و تحقیقات علمی مورد استفاده قرار می‌گیرد.


جهت دریافت فایل Data Mining لطفا آن را خریداری نمایید

قیمت فایل فقط 5,900 تومان

خرید

برچسب ها : Data Mining , دانلود Data Mining , کامپیوتر , نرم افزار , وب­کاوی و متن­کاوی , الگوریتم , تعاریف انبار­داده , سخت افزار , زبان برنامه نویسی , سایت , وب سایت , اینترنت , , پروژه دانشجویی , دانلود پژوهش , دانلود تحقیق , پایان نامه , دانلود پروژه

نظرات کاربران در مورد این کالا
تا کنون هیچ نظری درباره این کالا ثبت نگردیده است.
ارسال نظر