熊猫采集器 v2.6

熊猫采集器是新一代采集软件，全程可视化鼠标操作，用户无需关心网页源码，无需编写采集规则，无需使用正则表达式技术。全程智能化辅助，是采集软件行业的换代产品。同时也是通用性采集软件，可以应用在各个行业，满足各种采集需求(包括站群系统)。是复杂采集需求的必选，也是采集软件使用新手的首选。熊猫采集软件可能与你见过的某些类似工具软件全然不同：功能强大，但又操作简单。两者的差别，类似于从DOS操作系统转到windows视窗操作系统。前者需要专业技术人员才能有效操作，而熊猫则是面向普通大众的可视化操作平台。熊猫采集软件利用熊猫精准搜索引擎的解析内核，实现对网页内容的仿浏览器解析，在此基础上利用原创的技术实现对网页框架内容与核心内容的分离、抽取，并实现相似页面的有效比对、匹配。因此，用户只需要指定一个参考页面，熊猫采集软件系统就可以据此来匹配类似的页面，来实现用户需要采集资料的批量采集。在此过程中，用户不再需要使用非常专业的“正则表达式”技术，不要需要借助技术高手来编写采集匹配规则。熊猫采集软件系统会将参考页面的内容解析分解后，由用户利用鼠标点选需要采集的对象即可，系统据此就可以知道用户需要采集的内容。熊猫采集软件的模板定制过程，是一个对目标页面进行机器学习、机器训练的过程。熊猫采集软件力求设计成为一款通用性的泛采集工具软件，实现浏览器可见的内容都可以采集。在功能设计上力求通用性，提供各种可以自由组合的功能方法，由用户灵活采用，以实现各自的不同采集需求，因此采集工具软件的一些常见功能都会具备。如果你用熊猫软件解决不了你的采集需求，最大的可能是因为你尚未熟悉熊猫的功能和操作。

安装教程

1、在本站下载好该软件，解压并双击运行程序包，点击下一步

2、选择安装文件夹，点击浏览可更换安装位置

3、点击下一步即可

4、正在安装，稍等一两分钟

5、安装成功，点击关闭退出即可

6、运行软件，注册账号登录
注：测试专用账号（用户名：test 密码:123456）登陆和临时使用。

功能特点

1、全方位的采集功能
采集的对象包括文字内容、图片、flash动画视频、下载文件等等各类网络内容。支持图文混排对象的同时采集。支持结构复杂的采集对象集合，支持复杂多数据库表单，支持跨页面内容合并采集的能力。
2、面向对象采集，采集对象的内容可以是分散在多个页面（模板页面的深度嵌套访问）
熊猫采集是面向对象的，一个采集对象可以拥有许多需要采集的子项属性内容。这些子项属性的内容允许分散在不同的页面内，这些页面可以是需要通过若干次链接才能到达的页面。
此处所谓“对象”，可以理解为“(需要采集的数据的)数据集合 ”的意思。这个数据集合的内容和范围由用户根据实际需求自行决定，没有特定的要求。也可以将该对象范畴囊括到“标题列表页面”，这属于变通使用的方法，在此不多做赘述。灵活的使用面向对象的方法，不仅可以实现很多复杂的采集需求，更可以使得采集设置过程更为简单。
3、采集速度快
熊猫采集的采集速度是采集软件中最快的（之一）。不使用落后低效的正则匹配技术。也不使用第三方内置浏览器访问的技术。使用自己研发的解析引擎，实现对网页源码的仿浏览器解析。分解网页可视化内容元素，在此基础上进行机器学习、批量采集匹配。经实际测试，是传统的正则匹配方式采集速度的2~5倍。是基于第三方内置浏览器采集速度的10~20倍。
4、结果数据完整度高
实际采集过程中，由于目标页面存在丰富的内容页面板式的情况，此时就需要使用熊猫独有的“多模板功能”，才能实现完整的采集。同时，看起来页面版面一致的情况下，也可能会存在因为页面内部的少量差异而采集采集匹配失败，此时就需要采集器具有智能容错能力。智能容错能力，是衡量一个采集器是否成熟的基本标志之一。熊猫追求的是采集结果100%的完整。包括有效页面100%的采集，页面中采集的内容100%的采集。只要设置恰当，不会出现采集结果遗漏的情况。——只有熊猫才能让结果如此完整。
5、JS解析的自动判断识别
现在很多网页都采用了ajax网页内容动态生成技术。此时仅仅依靠网页源码，并不能获取需要的有效内容。此时就需要对被采集的页面执行JavaScript（JS）解析，获取JS执行后的结果代码。
熊猫支持对需要JS解析的页面，执行JS解析，获取JS解析后的实际内容。鉴于执行JS解析的速度效率很低，因此熊猫内置了智能判断功能，自动检查是否需要对被采集的页面执行JS解析，如果不需要的，尽量不使用低效的JS解析模式。
6、多模板自动适应能力
很多网站的“内容页面”会存在多个不同种类的模板，因此熊猫采集软件允许每个采集项目可以同时设置多个内容页面参考模板，在采集运行时，系统会自动匹配寻找最合适的参考模板用来分析内容页面。
7、实时帮助窗口
在采集项目设置环节，系统会在窗口右上显示与当前配置相关的实时帮助内容，为使用新手提供实时帮助。因此熊猫采集软件的使用可以轻松上手。配合全程智能化辅助能力，即便是第一次接触熊猫采集软件，也可以较轻松实现采集项目的配置工作。
8、正文和回复内容同时采集的能力
典型如论坛页面，正文内容在前，若干回复内容在后，或者还存在若干个回复分页存在。熊猫采集可以将这些作为一个“对象”来对待，一并同时完整采集，其配置过程也非常简单。
9、分页内容的轻松合并
支持各种类型的分页模式，用户只需要做两步就可以实现分页内容的合并：鼠标点选确认分页链接所在，将需要分页合并的字段项勾选上“分页合并”项即可。如果页面内具有重复子项存在，则能自动在分页中寻找该重复子项，隐含自动进行分页内容合并。
典型如上述的论坛例子，分页页面内的回复内容，可自动实现归并，此时用户只需要鼠标点选确认分页链接所在即可。有些场合下，在论坛内容页面的分页中也会同时出现主体(主表)内容，此时系统会自动进行判断，不会将主表内容当成重复子项的子表内容进行采集。
10、利用cookie方式模拟登录网站
对于需要登录才能访问采集页面的网站(包括Discuz等各类型论坛)，可以利用账号进行模拟登录。熊猫采集可以通过模拟浏览器机制，利用动态cookie和网站进行cookie动态对话。有些网站，为了加强数据的安全性，利用cookie对网页内容数据进行加密，此时就需要使用熊猫采集特有的“动态Cookie”功能。
11、支持常见类型数据库引擎。支持FTP上传
熊目前版本的熊猫，支持Access/mssql/mysql/Oracle 四种常用数据库类型，以后可能会视需求进行扩充。支持将下载的各类文件图片等同时FTP上传到远程服务器内。用户利用此项功能就可以将在本地电脑上采集的数据同时更新到自己网站内，充实栏目内容。对于其他的动态数据发布方式，熊猫会在用户使用反馈的基础上尽快实现。
12、无人值守自动定时运行
提供更新采集访问的能力，自动定时更新运行。无需人工干预，系统自动封闭运行。
13、文字内容的“伪原创”修改。支持文章时间的提前
提供文字内容的“伪原创”修改。还可以将文章时间做“提前”修改，文章的发表时间是搜索引擎用来区别文章是否原创的一个参考因素。

核心优势

1、操作简单，不懂技术亦可轻松操作
简单到只需要输入列表页网址或关键词即可开始采集。不需要关心网页源码，全程鼠标操作。操作界面友好直观。全程智能辅助。
2、任何网页都可以采集
只要你能在浏览器中可以看到的内容，几乎都可以按你需要的格式进行采集。支持JS输出内容的采集。
3、功能全面、强大
软件虽然操作简单，但功能强大、全面。可以实现各类复杂采集需求。可应用于各种场合的通用性采集软件。是复杂采集需求的首先。
4、任何网页都可以采集
只要你能在浏览器中可以看到的内容，几乎都可以按你需要的格式进行采集。支持JS输出内容的采集。
5、采集速度快，数据完整度高
熊猫的采集速度是采集软件中速度最快的之一。独有的多模板功能+智能纠错模式，可以确保结果数据100%完整。

独有黑科技

1、一键采集
输入采集入口网址就可以完成设置开始采集，输入关键词即可全网搜索采集
2、云端采集
独有的基于对等框架的云采集功能，可以解决采集时，被封IP的业界难题
3、万能的模拟发布
无需开发针对性的发布接口文件，可以适应任何网站CMS后台，利用人工发布页面，来模拟人工发布
4、多模板自适应
一个项目可以配置多个模板，运行时软件自动选择最合适的模板来进行采集匹配
5、内容的相似度判断
基于内容相似度来判断文章的重复性、准确率高，可以列出相似文章列表，可以输出文章核心关键词
6、支持复杂数据关系
支持父子结构的数据逻辑关系，复杂的数据，一次性完整采集，采集结果保留原数据的逻辑关系

软件用途

1、大数据采集
熊猫拥有极高的采集速度和效率，是大数据采集场合的最优选择。同时熊猫独有的海量数据处理能力，可以应付大数据采集的需要。是大数据采集场合的首选
2、舆情监测
借助全部中文搜素引擎，轻松实现全网舆情信息的监测，信息覆盖面广。对于需要重点监测的网站，只需要录入网址即可实现监测。PC端独立运行，普通的移动PC即可胜任舆情监测工作。同时熊猫智能采集监测引擎，也是第三方舆情系统内置爬虫的首选。
3、招标信息监测
利用熊猫智能采集监测引擎，可以轻松实现对招标信息发布网站的最新招标信息进行监测。熊猫采集，是招标信息监测软件的最优选择：操作容易、维护简单、结果直观方便。
4、客户资料收集
利用熊猫可以轻松从网络中批量获取需要的客户信息，利用熊猫的各类绕开防采集机制（，如熊猫独有的云采集功能），可以轻松绕开被采集网站的防采集机制。如58、赶集、百姓网、阿里巴巴、慧聪等等。
5、众多站长：网站搬家、网站内容自动填充
熊猫是操作最简单的采集器，是众多网站站长的首先。同时熊猫也是功能复杂的采集器，可以应用几乎所有的复杂网站的采集、搬家操作。
6、采集互联网资源
利用熊猫采集软件，可以将互联网资源实现批量、格式化的下载到本地。 可选的采集工具软件是在太多了，但都属于DOS时代，操作繁琐、作用简单、需要专业技术人员才可以勉强操作。而熊猫不同，全程可视化鼠标操作，操作简单，且功能全面，尤其熊猫可以实现非常复杂的采集需求，不懂技术的人也可以轻松操作。熊猫采集是采集软件的换代产品，——轻松采集，从熊猫开始！
7、充实用户网站内容
用户可以利用熊猫，将互联网上零散或集中的资源批量采集拷贝到自己网站内，充实自己网站内容。不需要懂技术、不要资金、不要人力投入、借助熊猫，任何人都可以轻松成为一个大站的站长。
8、行业垂直搜索引擎
利用熊猫采集，配合熊猫采集配套的分词索引检索系统，用户就可以轻松构建一个行业垂直搜索引擎。例如招聘、人才、房产、旅游、购物、商务、分类信息、二手、医疗健康等等。
熊猫采集软件，从开发伊始，就是为了做通用搜索引擎而设计，如果仅仅认为熊猫只是原始而廉价的采集软件，那就是对熊猫大误解。熊猫采集的技术，是源于熊猫精准搜索引擎：http://soall.cnmexpo.com。
9、作为相关软件的功能配套
可以作为舆情、监控、情报等互联网相关软件的配套软件，节约重复高成本开发，关键是可以提高用户的使用体验，提升软件自身的技术形象。

技术特点

熊猫采集软件的技术继承于熊猫精准搜索引擎，拥有大量原创的关键技术，在技术和理论上有着独立性。此处阐述的内容具有一定代表性，但也并不代表这些技术都非常成熟，或者说在当前版本的软件中已应用的非常充分。可以理解为这些技术是熊猫采集软件的理论基础之一。
1、搜索引擎解析内核
熊猫采集软件的技术继承自熊猫精准搜索引擎，利用的是该搜索的解析内核，实现对网页内容的解析、分解、内容提取、近似页面比对等等。
2、内置分词/索引/检索引擎
软件内置有熊猫独立研发的分词索引检索引擎，用于文章的分词、文章内容相似度的分析匹配，摘要自动生成等应用。性能强悍，内存占用小，效率极高。
3、仿浏览器解析
熊猫采集软件对采集网页实现仿浏览器解析，在此解析基础上再做其它深度分析和加工。以后版本的熊猫，在完善此项技术后，软件的功能和功效应该会得到显著提高。
4、视觉模拟技术
熊猫采集软件会模拟人的视觉来分析网页，在此基础上利用参考(模板)页面实现采集匹配工作。
5、网站页面逻辑关系分析技术
熊猫软件的很多智能化分析辅助工作，即是基于此项技术基础上的应用。由于采集软件需要较高的分析、解析速度，因此对此技术的应用并不充分。
6、对模板页面的容错能力
对于用户指定的用于机器学习的模板页面，在实际匹配过程中难免会遇到不同程度的差异和变动，软件对此拥有较强的容错能力。相关技术类似于搜索引擎内的重复页面、近似页面识别技术。
7、高效的解析、采集速度
由于软件需要对所有采集访问的页面进行仿浏览器解析，并在此基础上进行大量的分析计算，因此需要花费大量的计算时间。为提高软件运行效率，系统在设计、开发环节都充分做了细致优化，使得软件的运行效率依旧非常高效。配合多线程、多项目同时运行的功能，可以确保你的下行带宽充分得到利用。