2006-4-30 作者： 来源：互联网 点击：1375
asp编程技术，浅谈自动采集程序及入库
最近网上流行着一些采集程序‚更多人拿着这些东西在网上叫卖‚很多不太懂的人看着那些程序眼羡‚其实如果你懂一些ASP‚了解自动采集程序的原理后‚你会感觉实现自动化也是那么的简单.
原理及优点:通过XML中的XMLHTTP组件调用其它网站上的网页，然后批量截取或替换原有的信息使其转化成变量后再一一储存到数据库中。其主要的优点便是无需再手工添加大量的信息了，可以指定对某一个站信息的截取进行批量录入，达到省时省力的目的。与其单纯的ASP小偷程序不同的是:它已经不再依赖其目标网站。
简单事例:
1<%
2''声明取得目标信息的函数‚通过XML组件进行实现。
3Function GetURL(url)
4Set Retrieval = CreateObject("Microsoft.XMLHTTP")
5With Retrieval
6.Open "GET"‚ url‚ False
7.Send
8GetURL = bytes2bstr(.responsebody)
9''对取得信息进行验证，如果信息长度小于100则说明截取失败
10if len(.responsebody)<100 then
11response.write "获取远程文件 <a href="&url&" target=_blank>"&url&"</a> 失败。"
12response.end
13end if
14
15End With
16Set Retrieval = Nothing
17End Function
18'' 二进制转字符串，否则会出现乱码的！
19function bytes2bstr(vin)
20strreturn = ""
21for i = 1 to lenb(vin)
22thischarcode = ascb(midb(vin‚i‚1))
23if thischarcode < &h80 then
24strreturn = strreturn & chr(thischarcode)
25else
26nextcharcode = ascb(midb(vin‚i+1‚1))
27strreturn = strreturn & chr(clng(thischarcode) * &h100 + cint(nextcharcode))
28i = i + 1
29end if
30next
31bytes2bstr = strreturn
32end function
33''声明截取的格式，从Start开始截取，到Last为结束
34Function GetKey(HTML‚Start‚Last)
35filearray=split(HTML‚Start)
36filearray2=split(filearray(1)‚Last)
37GetKey=filearray2(0)
38End Function
39
40Dim Softid‚Url‚Html‚Title
41
42''获取要取页面的ID
43
44SoftId=Request("Id")
45
46 Url="http://www3.skycn.com/soft/"&SoftId&".html"
47
48 Html = GetURL(Url)
49
50''以截取天空软件的软件名为例子
51
52 Title = GetKey(Html‚"<font color=''#004FC6'' size=''3''>"‚"</font></b></td></tr>")
53
54''打开数据库‚准备入库
55
56dim connstr‚conn‚rs‚sql
57
58connstr="DBQ="+server.mappath("db1.mdb")+";DefaultDir=;DRIVER={Microsoft Access Driver (*.mdb)};"
59
60set conn=server.createobject("ADODB.CONNECTION")
61
62conn.open connstr
63
64set rs=server.createobject("adodb.recordset")
65
66sql="select [列名] from [表名] where [列名]=''"&Title&"''"
67
68rs.open sql‚conn‚3‚3
69
70if rs.eof and rs.bof then
71
72rs("列名")=Title
73
74rs.update
75
76set rs=nothing
77
78end if
79
80set rs=nothing
81
82Response.Write"采集完毕!"
83
84%>
原理及优点:通过XML中的XMLHTTP组件调用其它网站上的网页，然后批量截取或替换原有的信息使其转化成变量后再一一储存到数据库中。其主要的优点便是无需再手工添加大量的信息了，可以指定对某一个站信息的截取进行批量录入，达到省时省力的目的。与其单纯的ASP小偷程序不同的是:它已经不再依赖其目标网站。
简单事例:
1<%
2''声明取得目标信息的函数‚通过XML组件进行实现。
3Function GetURL(url)
4Set Retrieval = CreateObject("Microsoft.XMLHTTP")
5With Retrieval
6.Open "GET"‚ url‚ False
7.Send
8GetURL = bytes2bstr(.responsebody)
9''对取得信息进行验证，如果信息长度小于100则说明截取失败
10if len(.responsebody)<100 then
11response.write "获取远程文件 <a href="&url&" target=_blank>"&url&"</a> 失败。"
12response.end
13end if
14
15End With
16Set Retrieval = Nothing
17End Function
18'' 二进制转字符串，否则会出现乱码的！
19function bytes2bstr(vin)
20strreturn = ""
21for i = 1 to lenb(vin)
22thischarcode = ascb(midb(vin‚i‚1))
23if thischarcode < &h80 then
24strreturn = strreturn & chr(thischarcode)
25else
26nextcharcode = ascb(midb(vin‚i+1‚1))
27strreturn = strreturn & chr(clng(thischarcode) * &h100 + cint(nextcharcode))
28i = i + 1
29end if
30next
31bytes2bstr = strreturn
32end function
33''声明截取的格式，从Start开始截取，到Last为结束
34Function GetKey(HTML‚Start‚Last)
35filearray=split(HTML‚Start)
36filearray2=split(filearray(1)‚Last)
37GetKey=filearray2(0)
38End Function
39
40Dim Softid‚Url‚Html‚Title
41
42''获取要取页面的ID
43
44SoftId=Request("Id")
45
46 Url="http://www3.skycn.com/soft/"&SoftId&".html"
47
48 Html = GetURL(Url)
49
50''以截取天空软件的软件名为例子
51
52 Title = GetKey(Html‚"<font color=''#004FC6'' size=''3''>"‚"</font></b></td></tr>")
53
54''打开数据库‚准备入库
55
56dim connstr‚conn‚rs‚sql
57
58connstr="DBQ="+server.mappath("db1.mdb")+";DefaultDir=;DRIVER={Microsoft Access Driver (*.mdb)};"
59
60set conn=server.createobject("ADODB.CONNECTION")
61
62conn.open connstr
63
64set rs=server.createobject("adodb.recordset")
65
66sql="select [列名] from [表名] where [列名]=''"&Title&"''"
67
68rs.open sql‚conn‚3‚3
69
70if rs.eof and rs.bof then
71
72rs("列名")=Title
73
74rs.update
75
76set rs=nothing
77
78end if
79
80set rs=nothing
81
82Response.Write"采集完毕!"
83
84%>
google搜索：asp 采集程序
声明：本站刊载此文不代表同意其说法或描述，仅为提供更多信息，也不构成任何建议。如有疑问请与站长联系。
相关链接更多...
- ASP实现对新闻的分页例子2006-4-30
- ASP对Cookies操作的详细介绍2006-4-30
- ASP实现随机提取数据库记录例程2006-4-30
- ASP实现QQ式的信息收发功能2006-4-30
- ASP控制数字及字母输入2006-4-30
- 浅谈自动采集程序及入库2006-4-30
- asp实现上一篇下一篇2006-4-30
- javascript分割字符串2006-4-30
- 仿网易新闻的“头图新闻”的图片转换效果2006-4-30
- 百度中关于site命令和inurl命令之我见2006-4-30
网友评论
胎毛笔－送给宝宝最好的礼物！！
全国十大名笔－湖州金塔湖笔厂网上直销定制胎毛笔，大量产品特价，最低只需46元。大部分产品价格在50-100之间，一样的品质，不一样的价格！每周推出２－３款一元拍，疯狂大拍卖哟！厂家直销，最大的实惠让给各位淘友！
http://shop33351297.taobao.com/,好评如潮，收到笔满意后再付款！
http://www.baobaolp.q88.net/，支持支付保！
http://stores.ebay.com.cn/baobaolipin
支持安付通！
max(1564)
010-63727126基础版本2980,标准版9800元,网络版13000元;用友票据通2000,用友U852普及9800元起,还有U861企业管理软件,等您来拿北京免费培训用友软件，北京地区提供用友软件销售010-81885276，免费培训用友软件 TONG10.0软件,软件送货上门，货到付款；门服务，４环内８小时解决用户问题；010-63727126手机：13031092981 从现在开始到05月30日 买软件送U盘http://www.6day.cn
因为我们专业所以请您选择我们
TONG用友软件销售服务中心北京宇达创业科技有限公司 用友软件 财务软件 财务通 u8 erp sap
全站精华
- 塑造完美—最美丽的CG女孩 [图]
- Trapped 精彩插画作品(3)[图]
- Trapped 精彩插画作品(2)[图]
- Trapped 精彩插画作品(1)[图]
- Trapped 精彩插画作品(1)[图]
- 韩国插画小品(3)[图]
- 韩国插画小品(1)[图]
- 乡村树花草摄影作品[图]
- 香港顶尖室内设计师梁志天作品[图]
- 天使的嫁衣－－婚纱装欣赏[图]
- 经典样本设计欣赏（国人作品）3[图]
- 经典样本设计欣赏（国人作品）2[图]
- 经典样本设计欣赏（国人作品）1[图]
- 张洪科广告设计欣赏（3）[图]
- 张洪科广告设计欣赏（2）[图]
- MIKE H的CG插画作品欣赏(1)[图]
- MIKE H的CG插画作品欣赏(2)[图]
- MIKE H的CG插画作品欣赏(3)[图]
- 韩国品牌YSB夏装 冷艳美人异国风情(3)[图]
- asp远程图片自动上传到服务器
- 人像摄影：《炫影》(1)[图]
- 人像摄影：《炫影》（2）[图]
- 人像摄影：《炫影》（3）[图]
- 景观设计城市公园：浙江黄岩永宁公园（3）[图]
- 朱峰手绘插画－角色篇(Characters)（一）[图]
- 朱峰手绘插画－角色篇(Characters)（十三）[图]
- 朱峰手绘插画欣赏--场景篇(Environments)(1)[图]
- 经典室内设计作品－－宫殿风格1[图]
- 地产广告1[图]
- Google SiteMap生成工具 (ASP & PHP)
图文精彩
![经典样本设计欣赏（国人作品）1[图]--平面广告](http://www.fansart.com/uploadfile/200642664631465.jpg)
【2006-4-26 17:57:18】
经典样本设计欣赏（国人作品）1
经典样本设计欣赏（国人作品）1
【2006-4-26 14:27:13】
新锐CG插画 Monday to Friday
新锐CG插画 Monday to Friday
【2006-4-26 13:34:46】
Natascha Roeoesli的人物CG插画作品欣赏(1)
Natascha Roeoesli的人物CG插画作品欣赏(1)
![水木清华地产广告欣赏[图]--平面广告](http://www.fansart.com/uploadfile/200642634295921.jpg)
【2006-4-26 9:31:54】
水木清华地产广告欣赏
水木清华地产广告欣赏
![2006夏日流行时尚，创意无限街头华丽[图]--时装魅影](http://www.fansart.com/uploadfile/200642261089093.jpg)
【2006-4-22 16:46:51】
2006夏日流行时尚，创意无限街头华丽
2006夏日流行时尚，创意无限街头华丽
![万科西山庭院.格.沉.尊[图]--平面广告](http://www.fansart.com/uploadfile/200642133015939.jpg)
【2006-4-21 9:08:35】
万科西山庭院.格.沉.尊
万科西山庭院.格.沉.尊
![泊林花园推广故事绘本（2）[图]--CG插画](http://www.fansart.com/uploadfile/200642042197577.jpg)
【2006-4-20 11:43:23】
泊林花园推广故事绘本（2）
泊林花园推广故事绘本（2）
![泊林花园推广故事绘本（1）[图]--CG插画](http://www.fansart.com/uploadfile/200642041664949.jpg)
【2006-4-20 11:34:33】
泊林花园推广故事绘本（1）
泊林花园推广故事绘本（1）
![房地产广告设计-之水墨风格1[图]--平面广告](http://www.fansart.com/uploadfile/200641457308753.jpg)
【2006-4-14 15:56:06】
房地产广告设计-之水墨风格1
房地产广告设计-之水墨风格1
![溯源居广告欣赏--小红人[图]--平面广告](http://www.fansart.com/uploadfile/200641453136345.jpg)
【2006-4-14 14:45:57】
溯源居广告欣赏--小红人
溯源居广告欣赏--小红人
![cg插画欣赏[图]--CG插画](http://www.fansart.com/uploadfile/200641433658593.jpg)
【2006-4-14 9:21:18】
cg插画欣赏
cg插画欣赏
![yashasi插画作品欣赏[图]--CG插画](http://www.fansart.com/uploadfile/200641366906025.jpg)
【2006-4-13 18:32:29】
yashasi插画作品欣赏
yashasi插画作品欣赏
![北邦插画欣赏（1）[图]--CG插画](http://www.fansart.com/uploadfile/200641335800545.jpg)
【2006-4-13 9:49:02】
北邦插画欣赏（1）
北邦插画欣赏（1）
![高傲的玫瑰-温碧霞[图]--摄影艺术](http://www.fansart.com/uploadfile/200641232299455.jpg)
【2006-4-12 8:58:34】
高傲的玫瑰-温碧霞
高傲的玫瑰-温碧霞
![国粹京剧脸谱表情[图]--界面设计](http://www.fansart.com/uploadfile/200641164370797.jpg)
【2006-4-11 17:51:33】
国粹京剧脸谱表情
国粹京剧脸谱表情
![回忆紫禁城里那些逝去的[图]--中国艺术](http://www.fansart.com/uploadfile/200641159463469.jpg)
【2006-4-11 16:34:31】
回忆紫禁城里那些逝去的
回忆紫禁城里那些逝去的
![非常可爱的儿童插画（1）[图]--CG插画](http://www.fansart.com/uploadfile/200641157447221.jpg)
【2006-4-11 15:59:16】
非常可爱的儿童插画（1）
非常可爱的儿童插画（1）
【2006-4-11 15:49:41】
荷兰著名画家Anton Pieck插画
荷兰著名画家Anton Pieck插画
![美国插画师kevindart作品[图]--CG插画](http://www.fansart.com/uploadfile/200641156355093.jpg)
【2006-4-11 15:37:32】
美国插画师kevindart作品
美国插画师kevindart作品
![美国插画师kevindart作品(1)[图]--CG插画](http://www.fansart.com/uploadfile/200641156499109.jpg)
【2006-4-11 15:34:43】
美国插画师kevindart作品(1)
美国插画师kevindart作品(1)
RE:浅谈自动采集程序及入库--asp编程技术
回复者：夏先生 时间：2006-5-25