تکنیک های تشخیص بدافزار شامل دو تکنیک عمده ی مبتنی بر امضا و مبتنی بر رفتار می باشد که خود می تواند شامل روش های ایستا و پویا باشد. در این تحقیق هدف پیاده سازی سیستمی است که بتواند با استفاده از تکنیک های مبتنی بر رفتار و روشهای پویا و با استفاده از روش های داده کاوی به شناسایی بدافزار تروجان بپردازد. همچنین این سیستم برای رسیدن به این هدف باید از کلاسه بندی ویژگی های مهم مربوط به نمونه های موجود، بهره ببرد. در مساله دسته بندی یادگیری مساله بر اساس داده های آموزشی انجام میشود و بعد از آموزش میتواند دسته نمونه جدید را پیش بینی کند. داده ها به صورت مجموعه ای از نمونه هابا ویژگیهای مشخص و دسته معین می باشند. نتیجه ی این تحقیق، باید معیارهای تشخیص را در حد معقول و قابل قبولی نشان دهد. این معیارها شامل دقت و صحت طبقه بندی و تعداد نمونه های درست که دسته بندی شده اند، را شامل می شود. در اینجابرای انجام کار به دو گروه فایل های پاک و فایل های مخرب که همان بدافزارها هستند نیاز می باشد. در ابتدا می بایستویژگیهایی بر اساس رفتارهای ثبت شده از مجموعه نرم افزارهای سالم و بدافزار استخراج شود. در این پروژه، رفتار نشان داده میشود و از مجموع همه فراخوانی های فایلهایAPI برنامه به صورت دنباله فراخوانیهای اجرایی، دنباله های موثر را به عنوان ویژگی استخراج میکنیم و در نهایت با استفاده از الگوریتم های کلاسه بندی مناسب،دسته های جدید موجود را تعیین می کنیم.در روش پیشنهادی جهت بررسی یک برنامه در فاز تست، از الگوریتم های یادگیری ماشین استفاده کردیم. بطور واضحتر اگر رفتار برنامه تا حدی شبیه به رفتارهای مانیتور شده از نرم افزارهای سالم بوده باشد آن را سالم و در غیر اینصورت آن فایل را بعنوان یک بدافزار برچسب زدهایم. رفتار برنامه به صورت کامل مورد بررسی قرار گرفت و مشخص شد که نمایش رفتار برنامه به شکل پیشنهادی، امکان جداسازی برنامه های سالم و بدافزارها را به خوبی فراهم میکند.