祝賀；康喬電子攻關基于SCRAPY的分布式暗網資源挖掘系統及方法的核心技術

康喬電子攻關核心技術涉及數據挖掘領域，公開了一種基于scrapy的分布式暗網資源挖掘系統及方法，用以提升暗網資源挖掘的效率、廣度以及靈活性。本發明包括中心節點控制模塊和從節點爬取模塊，所述中心節點控制模塊包括爬蟲種子任務隊列、任務預處理模塊、暗網任務隊列和明網任務隊列，所述從節點爬取模塊包括暗網爬取模塊、明網爬取模塊和爬蟲管理器；暗網在人為提供和通過明網爬取得暗網域名的基礎上再通過暗網爬取模塊和明網爬取模塊從暗網頁面和明網網頁中爬取更多的暗網域名，從而實現對暗網域名的大量獲取以及對暗網網頁頁面的存儲。本發明適用于暗網資源挖掘。