ارائه روشی جدید برای پاکسازی دادهها جهت بهبود کیفیت انبارداده
نویسندگان
1 گروه آموزشی مهندسی فن آوری اطلاعات، دانشگاه آزاد اسلامی واحد زنجان، زنجان، ایران
2 دانشگاه علوم پزشکی و خدمات درمانی و بهداشتی زنجان، ایران
3 گروه آموزشی ریاضی و آمار، دانشگاه آزاد اسلامی واحد زنجان، زنجان، ایران
doi
چکیده
مهمترین مسئله در مدیریت داده ها، موضوع کیفیت داده است. کیفیت داده میتواند پاکسازی دادهها را قبل از بارگذاری به انبار دادهها تضمین کند. پاکسازی داده فعالیتی است شامل فرآیند تشخیص و اصلاح اشتباهات و تناقضات در انبار داده ها. به دلیل وجود اطلاعات زیاد در بانک های اطلاعاتی مشکلات و تناقضات فراوانی درآن ها به وجود آمده است. هدف اصلی ما ارائه روشی برای رفع تناقضات موجود در بانکهای اطلاعاتی برای پاکسازی دادههای آلوده میباشد. با هدف بهبود کیفیت انبار داده برای تصمیمگیریهای صحیح، روش جدیدی ارائه شده است و برای آزمایش روش پیشنهادی، از بانک اطلاعاتی شناسنامه سلامت دانشجویان دانشگاه علوم پزشکی زنجان ورودی سال های 92 و 93، شامل 845 نفر که در حال حاضر همه آن ها فارغالتحصیل شدهاند به عنوان داده های مورد بررسی استفاده شده است. برنامه پیشنهادی با زبان برنامهنویسی سیشارپ پیادهسازی و اجرا شده است. برنامه یا اپلیکیشن ما در چهار لایه و بهصورت ویندوز اپلیکیشن نوشته شده است. از طریق اجرای روش پیشنهادی توانستیم با بررسی کدملی دانشجویان، دادههای آلوده در این مشخصه را تشخیص داده و سپس فرآیند اصلاح داده را روی آن ها اعمال نماییم. براساس نتایج به دست آمده، میزان داده آلوده در انبار داده تولید شده از 25.79 درصد به 4.97 درصد کاهش یافت.