LocoySpider(火车采集器) V9.9

火车采集器(LocoySpider)是一款专业的功能强大的网络数据/信息挖掘软件，通过灵活的配置，您可以很轻松的从网页上抓取文字、图片、文件等任何资源，程序支持远程下载图片文件，支持网站登陆后的信息采集，支持探测文件真实地址，支持代理，支持防盗链的采集，支持采集数据直接入库和模仿人手工发布等许多功能特点，火车采集器支持从任何类型的网站采集获取您所需要的信息，如各种新闻类网站、论坛、电子商务网站、求职招聘网站等，同时具有强大的网站登录采集、多页和分页的采集、网站跨层采集、POST采集、脚本页面采集、动态页面采集等高级采集功能，强大的php和c#插件支持，让您可以通过二次开发实现您所想要的任何更强大的功能

软件特色

1、通用性强：无论新闻、论坛、视频、黄页、图片、下载类网站，只要通过浏览器能看到的结构化的内容，通过指定匹配规则，都能采集到您所需要的内容
2、稳定、高效：五年磨一剑，软件不断更新进步，采集速度快，性能稳定，占用资源少
3、扩展性强、适用范围广：自定义web发布，自定义主流的数据库的保存和发布，自定义本地php及.net外部编程接口处理数据，让数据都能为你所用
4、支持所有网站编码：完美支持采集所有编码格式的网页,程序还可以自动识别网页编码
5、多种发布方式：支持目前所有主流和非主流的CMS,BBS等网站程序,通过系统的发布模块能实现采集器和网站程序间的完美结合
6、全自动：无人值守工作，配置好程序后，程序将依据您的设置自动运行，完全无需人工干预
7、本地编辑：本地可视化编辑已采集的数据
8、采集测试：这是其它任何同类采集软件所不能比的，程序支持直接查看采集结果并测试发布
9、管理方便：使用站点+任务方式管理采集节点，任务支持批量操作，再多的数据管理也很轻松

功能介绍

1、规则自定义 - 通过采集规则的定义，可以搜索所有网站采集几乎任何类型的信息
2、多任务，多线程 - 可以同时进行多个信息采集任务，每个任务可以使用多个线程
3、所见即所得 － 任务采集过程所见即所得，过程中遍历的链接信息、采集信息、错误信息等都会及时的反映在软件界面中。
4、数据保存 － 数据边采集边自动保存到关系数据库中，并且数据结构能够自动适应，软件可以根据采集规则自动创建数据库，以及其中的表和字段，也可以通过导库方式灵活的将数据保存到客户已有的数据库结构中
5、断点续采 - 信息采集任务可以在停止后从断点开始继续采集，从此你用不再担心你的采集任务意外中断了
6、网站登录 － 支持网站Cookie，支持网站可视化登录，即使登录时需要验证码的网站也能采集
7、计划任务 - 通过这个功能可以让你的采集任务定时、定量或者一直循环执行
8、采集范围限制 - 可以根据采集的深度和网址的标识来限制采集的范围
9、文件下载 － 可以将采集到的二进制文件（诸如：图片、音乐、软件、文档等等）下载到本地磁盘或者采集结果数据库中
10、结果替换 - 可以将采集的结果根据规则替换成你定义的内容
11、条件保存 - 可以根据某个条件来决定那些信息保存，那些信息过滤
12、过滤重复内容 － 软件可根据用户设置和实际情况对重复内容和重复网址自动删除重复内容
13、特殊链接识别 - 运用此功能可以将用JavaScript动态生成的链接或其他更古怪的连接识别出来
14、数据发布 － 可以通过自定义接口，将已采集的结果数据发布到任意的内容管理系统和指定数据库中。现在已支持的目标发布媒体包括：数据库(access, sql server,my sql,oracle) ，静态htm文件
15、预留编程接口 － 定义多个编程接口，用户可以在事件中利用PHP,C#语言进行编程，扩充采集功能

安装教程

1、首先将资源下载下来，解压安装程序到手，运行安装程序开始安装

2、接受安装许可协议才能继续安装

3、点击“浏览”可以更改安装路径，设置完成之后，点击下一步继续安装

4、等待安装文件释放完成即可

更新日志

v9.9更新日志：（2019-7-04）
1.修复了采集内容或网址时出错导致程序退出的问题.
2.下载文件并下载时文件地址错误导致程序退出的问题.
3.使用插件时测试发布使用的数据不是插件处理后的数据的bug.
4.修正了一个智能提取时SY标签提取错误的问题.
5.列表页标签部分情况下提示重复的bug.
6.在分词或摘要时不存在某个标签时可能出错的bug.
7.在采集时提供了更多的细节显示.更方便用户查看进度.
8.探测文件并下载给加了不区分大小写功能.
9.修复倒序发布时部分次序不对的问题.

LocoySpider(火车采集器V9.7.0更新日志：（2018-7-21）
1： 添加“重新采集上次请求失败的列表页”功能。
2： 优化任务发布方式，站群式发布添加支持顺序、倒序发布。
3： 列表页独立标签，增加“从网址中获取”的选型。
4： 优化图片地址匹配方式，一些原来无法匹配的图片可以正确匹配了。
5： 同义词替换，增加对于html标签替换的支持。
6： 循环采集模式，增加循环次数限制。
7： 数据发布，增加自定义数据发布模式。
8： 修复删除列表页时，未能删除对应列表页标签的问题。
9： 修复使用图片水印时，未选择保存格式导致的水印错误的bug。
10：Json工具，修复长Json处理时的卡顿问题。
11：修复采集标签过多导致的任务无法运行的错误。
12：修复自定义插件编译错误的问题。
13：修复PHP插件对于循环采集标签处理时的错误问题。