Project1

标题: [RM脚本] 部分文学站点列表获取器 + 成品 [打印本页]

---

作者: 柳柳    时间: 2006-12-13 23:42
标题: [RM脚本] 部分文学站点列表获取器 + 成品
这几天想找一些文章读，本想从起点上面找，结果发现起点实际上是不支持按字数搜索的——可能支持，但是至少就我看到的不是很方便，没有找到。

所以想，干脆把起点文学所有完结版作品的文章列表下载一份回来自己找……

于是就有了这么个脚本：

1. #---------------------------------------------------
   
2. # 本脚本来自www.66rpg.com ＝ ＝b
   
3. #---------------------------------------------------
   
4. 
   
5. $allartsnumber = 9304 # 总文章数，手动输入
   
6. 
   
7. #------------------------------------------------------------------------------
   
8. # Moonlight INN
   
9. # http://cgi.members.interq.or.jp/aquarius/rasetsu/
   
10. # RaTTiE
    
11. # [email protected]
    
12. #------------------------------------------------------------
    
13. # EasyConv::s2u(text) : S-JIS -> UTF-8
    
14. # EasyConv::u2s(text) : UTF-8 -> S-JIS
    
15. #==============================================
    
16. module EasyConv
    
17. # API梡掕悢掕媊
    
18.    CP_ACP = 0
    
19.    CP_UTF8 = 65001
    
20. 
    
21. #--------------------------------------------------------------------------
    
22. # 仠 S-JIS -> UTF-8
    
23. #--------------------------------------------------------------------------
    
24. def s2u(text)
    
25. # API掕媊
    
26.    m2w = Win32API.new('kernel32', 'MultiByteToWideChar', 'ilpipi', 'i')
    
27.    w2m = Win32API.new('kernel32', 'WideCharToMultiByte', 'ilpipipp', 'i')
    
28. 
    
29. # S-JIS -> Unicode
    
30.    len = m2w.call(CP_ACP, 0, text, -1, nil, 0);
    
31.    buf = "\0" * (len*2)
    
32.    m2w.call(CP_ACP, 0, text, -1, buf, buf.size/2);
    
33. 
    
34. # Unicode -> UTF-8
    
35.    len = w2m.call(CP_UTF8, 0, buf, -1, nil, 0, nil, nil);
    
36.    ret = "\0" * len
    
37.    w2m.call(CP_UTF8, 0, buf, -1, ret, ret.size, nil, nil);
    
38.    
    
39.    return ret
    
40. end
    
41. # module_function偲偟偰岞奐
    
42. module_function :s2u
    
43. #--------------------------------------------------------------------------
    
44. # 仠 UTF-8 -> S-JIS
    
45. #--------------------------------------------------------------------------
    
46. def u2s(text)
    
47. # API掕媊
    
48.    m2w = Win32API.new('kernel32', 'MultiByteToWideChar', 'ilpipi', 'i')
    
49.    w2m = Win32API.new('kernel32', 'WideCharToMultiByte', 'ilpipipp', 'i')
    
50. 
    
51. # UTF-8 -> Unicode
    
52.    len = m2w.call(CP_UTF8, 0, text, -1, nil, 0);
    
53.    buf = "\0" * (len*2)
    
54.    m2w.call(CP_UTF8, 0, text, -1, buf, buf.size/2);
    
55. 
    
56. # Unicode -> S-JIS
    
57.    len = w2m.call(CP_ACP, 0, buf, -1, nil, 0, nil, nil);
    
58.    ret = "\0" * len
    
59.    w2m.call(CP_ACP, 0, buf, -1, ret, ret.size, nil, nil);
    
60.    
    
61.    return ret
    
62. end
    
63. # module_function偲偟偰岞奐
    
64. module_function :u2s
    
65. end
    
66. 
    
67. #========================================
    
68. # 本脚本来自www.66rpg.com
    
69. #========================================
    
70. 
    
71. 
    
72. class Get_Http_Info
    
73.   
    
74.   AGENT = "RGSS PLAYER"
    
75.   INTERNET_OPEN_TYPE_PRECONFIG = 0 # IEの設定を仕様
    
76.   INTERNET_OPEN_TYPE_DIRECT    = 1 # プロキシを使用しない
    
77.   def Get_Http_Info.InternetOpen()
    
78.     io = Win32API.new('wininet', 'InternetOpen', %(p, l, p, p, l), 'l')
    
79.     hInternet = io.call(AGENT, INTERNET_OPEN_TYPE_PRECONFIG, nil, nil, 0)
    
80.     return hInternet
    
81.   end
    
82. 
    
83.   def Get_Http_Info.InternetOpenUrl(hSession, url)
    
84.     iou = Win32API.new('wininet', 'InternetOpenUrl', %(l, p, p, l, l, l), 'l')
    
85.     hService = iou.call(hSession, url, nil, 0, 0, 0)
    
86.     return hService
    
87.   end
    
88. 
    
89.   def Get_Http_Info.InternetReadFile(hService)
    
90.     content = ""
    
91.     read_size = 1024 # 一次读入文件的尺寸
    
92.     irf = Win32API.new('wininet', 'InternetReadFile', %(l, p, i, p), 'i')
    
93.     while(true)
    
94.       buf = "\0" * read_size
    
95.       red = [0].pack('L')
    
96.       irf.call( hService, buf, read_size, red )
    
97.       if(red.unpack('L') == [0])
    
98.         #读到文件末端
    
99.         break
    
100.       end
     
101.       buf.delete!("\0")
     
102.       content += buf
     
103.     end
     
104. 
     
105.     return content
     
106.   end
     
107. 
     
108.   HTTP_QUERY_STATUS_CODE = 19
     
109.   
     
110.   def Get_Http_Info.HttpQueryInfo(hService)
     
111.     read_size = 1024
     
112.     buf = "\0" * read_size
     
113.     red = [read_size-1].pack('L')
     
114.     hqi = Win32API.new('wininet', 'HttpQueryInfo', %(l, l, p, p, p), 'i')
     
115.     isOk = hqi.call( hService, HTTP_QUERY_STATUS_CODE, buf, red, nil)
     
116.     buf.delete!("\0")
     
117.     return buf
     
118.   end
     
119. 
     
120.   def Get_Http_Info.InternetCloseHandle(hInternet)
     
121.     ich = Win32API.new('winInet', 'InternetCloseHandle', %(l), 'i')
     
122.     isOk = ich.call(hInternet)
     
123.     return isOk
     
124.   end
     
125. 
     
126.   HTTP_CODE_OK = "200"
     
127.    
     
128.   def Get_Http_Info.get_info(url)
     
129.     info = nil
     
130.     begin
     
131.       hInternet = InternetOpen()
     
132.       if(hInternet != 0)
     
133.         hService = InternetOpenUrl(hInternet, url)
     
134.         if(hService != 0)
     
135.           status_code = HttpQueryInfo(hService)
     
136.           if(status_code == HTTP_CODE_OK)
     
137.             info = InternetReadFile(hService)
     
138.           end
     
139.           InternetCloseHandle(hService)
     
140.         end
     
141.         InternetCloseHandle(hInternet)
     
142.       end
     
143.     rescue
     
144.       # 例外发生
     
145.       return nil
     
146.     end
     
147.    
     
148.       
     
149.     $ary = ""
     
150.         
     
151.     info.each_line do |line|
     
152.       $ary += EasyConv.s2u(line)
     
153.     end
     
154.    
     
155.     for i in 2..60
     
156.       a = $ary.split(/putlist/)[i]
     
157.       a = a[1, a.size - 3]
     
158.       $fr.write(a + "\n")
     
159.     end
     
160.     Graphics.update
     
161.    
     
162.     $next_page = "http://www.cmfu.com/listbookqb.asp?pageid=" + $ary.split(/listbookqb.asp\?pageid=/)[1].split(/'/)[0]
     
163.    
     
164.   end
     
165.   
     
166.   def Get_Http_Info.sendAnswers
     
167.     a = ""
     
168.     a = $game_variables[5].to_s + $game_variables[4].to_s + $game_variables[3].to_s + $game_variables[2].to_s + $game_variables[1].to_s
     
169.     b = ""
     
170.     b = $game_variables[10].to_s + $game_variables[9].to_s + $game_variables[8].to_s + $game_variables[7].to_s + $game_variables[6].to_s
     
171.    
     
172.     c = "http://rpg.blue/friends66as.asp?a=#{a}&b=#{b}"
     
173.     $bb_66rpg = Win32API.new('shell32.dll','ShellExecuteA',%w(p p p p p i),'i')
     
174.     $bb_66rpg.call(0, 'open', c ,0, 0, 1)
     
175.   end
     
176. end
     
177. $ary = nil
     
178. 
     
179. $now_page = 1
     
180. $sprite = Sprite.new
     
181. $sprite.bitmap = Bitmap.new(320,240)
     
182. 
     
183. $all_ys = $allartsnumber / 60
     
184. 
     
185. $sprite.bitmap.draw_text(0,0,256,32,"正在获得起点文章列表……")
     
186. $sprite.bitmap.draw_text(0,32,256,32,"第 "+$now_page.to_s+" 页，共 " + $all_ys.to_s + " 页")
     
187. 
     
188. $next_page = "http://www.cmfu.com/listbookqb.asp?status=down"
     
189. 
     
190. $fr = File.open("alltext.txt","wb")
     
191. $fr.write("'地址编号','作者','书名','日期','最后章节','字数','作者ID','类别','章节地址'" + "\n")
     
192. 
     
193. for $now_page in 1..$all_ys
     
194.   ver = Get_Http_Info.get_info($next_page)
     
195.   $sprite.bitmap.clear
     
196.   $sprite.bitmap.draw_text(0,0,256,32,"正在获得起点文章列表……")
     
197.   $sprite.bitmap.draw_text(0,32,256,32,"第 "+$now_page.to_s+" 页，共 " + $all_ys.to_s + " 页")
     
198.   Graphics.update
     
199. end
     
200. 
     
201. 
     
202. $fr.close
     
203. 
     
204. p "文章读取完毕，请查看alltext.txt","处理方法：使用excel打开，然后再去调整和排序即可"," ","找到想要看的书的地址编号，然后输入：","http://www.cmfu.com/showbook.asp?bl_id=编号"
     
205. 
     

复制代码

运行之后的结果：

1、文本文件：http://rpg.blue/web/ftppic/web3/200701/alltexttxt.rar

2、EXCEL文档：http://rpg.blue/web/ftppic/web3/200701/alltextxls.rar

由于起点是在不断更新的，这个小脚本可能过一段时间后会失效，故保留地球村区好了。上面可以下载的两个列表是截止发帖时候的全部列表。

---

作者: 柳柳    时间: 2006-12-13 23:42
标题: [RM脚本] 部分文学站点列表获取器 + 成品
这几天想找一些文章读，本想从起点上面找，结果发现起点实际上是不支持按字数搜索的——可能支持，但是至少就我看到的不是很方便，没有找到。

所以想，干脆把起点文学所有完结版作品的文章列表下载一份回来自己找……

于是就有了这么个脚本：

1. #---------------------------------------------------
   
2. # 本脚本来自www.66rpg.com ＝ ＝b
   
3. #---------------------------------------------------
   
4. 
   
5. $allartsnumber = 9304 # 总文章数，手动输入
   
6. 
   
7. #------------------------------------------------------------------------------
   
8. # Moonlight INN
   
9. # http://cgi.members.interq.or.jp/aquarius/rasetsu/
   
10. # RaTTiE
    
11. # [email protected]
    
12. #------------------------------------------------------------
    
13. # EasyConv::s2u(text) : S-JIS -> UTF-8
    
14. # EasyConv::u2s(text) : UTF-8 -> S-JIS
    
15. #==============================================
    
16. module EasyConv
    
17. # API梡掕悢掕媊
    
18.    CP_ACP = 0
    
19.    CP_UTF8 = 65001
    
20. 
    
21. #--------------------------------------------------------------------------
    
22. # 仠 S-JIS -> UTF-8
    
23. #--------------------------------------------------------------------------
    
24. def s2u(text)
    
25. # API掕媊
    
26.    m2w = Win32API.new('kernel32', 'MultiByteToWideChar', 'ilpipi', 'i')
    
27.    w2m = Win32API.new('kernel32', 'WideCharToMultiByte', 'ilpipipp', 'i')
    
28. 
    
29. # S-JIS -> Unicode
    
30.    len = m2w.call(CP_ACP, 0, text, -1, nil, 0);
    
31.    buf = "\0" * (len*2)
    
32.    m2w.call(CP_ACP, 0, text, -1, buf, buf.size/2);
    
33. 
    
34. # Unicode -> UTF-8
    
35.    len = w2m.call(CP_UTF8, 0, buf, -1, nil, 0, nil, nil);
    
36.    ret = "\0" * len
    
37.    w2m.call(CP_UTF8, 0, buf, -1, ret, ret.size, nil, nil);
    
38.    
    
39.    return ret
    
40. end
    
41. # module_function偲偟偰岞奐
    
42. module_function :s2u
    
43. #--------------------------------------------------------------------------
    
44. # 仠 UTF-8 -> S-JIS
    
45. #--------------------------------------------------------------------------
    
46. def u2s(text)
    
47. # API掕媊
    
48.    m2w = Win32API.new('kernel32', 'MultiByteToWideChar', 'ilpipi', 'i')
    
49.    w2m = Win32API.new('kernel32', 'WideCharToMultiByte', 'ilpipipp', 'i')
    
50. 
    
51. # UTF-8 -> Unicode
    
52.    len = m2w.call(CP_UTF8, 0, text, -1, nil, 0);
    
53.    buf = "\0" * (len*2)
    
54.    m2w.call(CP_UTF8, 0, text, -1, buf, buf.size/2);
    
55. 
    
56. # Unicode -> S-JIS
    
57.    len = w2m.call(CP_ACP, 0, buf, -1, nil, 0, nil, nil);
    
58.    ret = "\0" * len
    
59.    w2m.call(CP_ACP, 0, buf, -1, ret, ret.size, nil, nil);
    
60.    
    
61.    return ret
    
62. end
    
63. # module_function偲偟偰岞奐
    
64. module_function :u2s
    
65. end
    
66. 
    
67. #========================================
    
68. # 本脚本来自www.66rpg.com
    
69. #========================================
    
70. 
    
71. 
    
72. class Get_Http_Info
    
73.   
    
74.   AGENT = "RGSS PLAYER"
    
75.   INTERNET_OPEN_TYPE_PRECONFIG = 0 # IEの設定を仕様
    
76.   INTERNET_OPEN_TYPE_DIRECT    = 1 # プロキシを使用しない
    
77.   def Get_Http_Info.InternetOpen()
    
78.     io = Win32API.new('wininet', 'InternetOpen', %(p, l, p, p, l), 'l')
    
79.     hInternet = io.call(AGENT, INTERNET_OPEN_TYPE_PRECONFIG, nil, nil, 0)
    
80.     return hInternet
    
81.   end
    
82. 
    
83.   def Get_Http_Info.InternetOpenUrl(hSession, url)
    
84.     iou = Win32API.new('wininet', 'InternetOpenUrl', %(l, p, p, l, l, l), 'l')
    
85.     hService = iou.call(hSession, url, nil, 0, 0, 0)
    
86.     return hService
    
87.   end
    
88. 
    
89.   def Get_Http_Info.InternetReadFile(hService)
    
90.     content = ""
    
91.     read_size = 1024 # 一次读入文件的尺寸
    
92.     irf = Win32API.new('wininet', 'InternetReadFile', %(l, p, i, p), 'i')
    
93.     while(true)
    
94.       buf = "\0" * read_size
    
95.       red = [0].pack('L')
    
96.       irf.call( hService, buf, read_size, red )
    
97.       if(red.unpack('L') == [0])
    
98.         #读到文件末端
    
99.         break
    
100.       end
     
101.       buf.delete!("\0")
     
102.       content += buf
     
103.     end
     
104. 
     
105.     return content
     
106.   end
     
107. 
     
108.   HTTP_QUERY_STATUS_CODE = 19
     
109.   
     
110.   def Get_Http_Info.HttpQueryInfo(hService)
     
111.     read_size = 1024
     
112.     buf = "\0" * read_size
     
113.     red = [read_size-1].pack('L')
     
114.     hqi = Win32API.new('wininet', 'HttpQueryInfo', %(l, l, p, p, p), 'i')
     
115.     isOk = hqi.call( hService, HTTP_QUERY_STATUS_CODE, buf, red, nil)
     
116.     buf.delete!("\0")
     
117.     return buf
     
118.   end
     
119. 
     
120.   def Get_Http_Info.InternetCloseHandle(hInternet)
     
121.     ich = Win32API.new('winInet', 'InternetCloseHandle', %(l), 'i')
     
122.     isOk = ich.call(hInternet)
     
123.     return isOk
     
124.   end
     
125. 
     
126.   HTTP_CODE_OK = "200"
     
127.    
     
128.   def Get_Http_Info.get_info(url)
     
129.     info = nil
     
130.     begin
     
131.       hInternet = InternetOpen()
     
132.       if(hInternet != 0)
     
133.         hService = InternetOpenUrl(hInternet, url)
     
134.         if(hService != 0)
     
135.           status_code = HttpQueryInfo(hService)
     
136.           if(status_code == HTTP_CODE_OK)
     
137.             info = InternetReadFile(hService)
     
138.           end
     
139.           InternetCloseHandle(hService)
     
140.         end
     
141.         InternetCloseHandle(hInternet)
     
142.       end
     
143.     rescue
     
144.       # 例外发生
     
145.       return nil
     
146.     end
     
147.    
     
148.       
     
149.     $ary = ""
     
150.         
     
151.     info.each_line do |line|
     
152.       $ary += EasyConv.s2u(line)
     
153.     end
     
154.    
     
155.     for i in 2..60
     
156.       a = $ary.split(/putlist/)[i]
     
157.       a = a[1, a.size - 3]
     
158.       $fr.write(a + "\n")
     
159.     end
     
160.     Graphics.update
     
161.    
     
162.     $next_page = "http://www.cmfu.com/listbookqb.asp?pageid=" + $ary.split(/listbookqb.asp\?pageid=/)[1].split(/'/)[0]
     
163.    
     
164.   end
     
165.   
     
166.   def Get_Http_Info.sendAnswers
     
167.     a = ""
     
168.     a = $game_variables[5].to_s + $game_variables[4].to_s + $game_variables[3].to_s + $game_variables[2].to_s + $game_variables[1].to_s
     
169.     b = ""
     
170.     b = $game_variables[10].to_s + $game_variables[9].to_s + $game_variables[8].to_s + $game_variables[7].to_s + $game_variables[6].to_s
     
171.    
     
172.     c = "http://rpg.blue/friends66as.asp?a=#{a}&b=#{b}"
     
173.     $bb_66rpg = Win32API.new('shell32.dll','ShellExecuteA',%w(p p p p p i),'i')
     
174.     $bb_66rpg.call(0, 'open', c ,0, 0, 1)
     
175.   end
     
176. end
     
177. $ary = nil
     
178. 
     
179. $now_page = 1
     
180. $sprite = Sprite.new
     
181. $sprite.bitmap = Bitmap.new(320,240)
     
182. 
     
183. $all_ys = $allartsnumber / 60
     
184. 
     
185. $sprite.bitmap.draw_text(0,0,256,32,"正在获得起点文章列表……")
     
186. $sprite.bitmap.draw_text(0,32,256,32,"第 "+$now_page.to_s+" 页，共 " + $all_ys.to_s + " 页")
     
187. 
     
188. $next_page = "http://www.cmfu.com/listbookqb.asp?status=down"
     
189. 
     
190. $fr = File.open("alltext.txt","wb")
     
191. $fr.write("'地址编号','作者','书名','日期','最后章节','字数','作者ID','类别','章节地址'" + "\n")
     
192. 
     
193. for $now_page in 1..$all_ys
     
194.   ver = Get_Http_Info.get_info($next_page)
     
195.   $sprite.bitmap.clear
     
196.   $sprite.bitmap.draw_text(0,0,256,32,"正在获得起点文章列表……")
     
197.   $sprite.bitmap.draw_text(0,32,256,32,"第 "+$now_page.to_s+" 页，共 " + $all_ys.to_s + " 页")
     
198.   Graphics.update
     
199. end
     
200. 
     
201. 
     
202. $fr.close
     
203. 
     
204. p "文章读取完毕，请查看alltext.txt","处理方法：使用excel打开，然后再去调整和排序即可"," ","找到想要看的书的地址编号，然后输入：","http://www.cmfu.com/showbook.asp?bl_id=编号"
     
205. 
     

复制代码

运行之后的结果：

1、文本文件：http://rpg.blue/web/ftppic/web3/200701/alltexttxt.rar

2、EXCEL文档：http://rpg.blue/web/ftppic/web3/200701/alltextxls.rar

由于起点是在不断更新的，这个小脚本可能过一段时间后会失效，故保留地球村区好了。上面可以下载的两个列表是截止发帖时候的全部列表。

---

作者: 小徐    时间: 2006-12-14 13:41
果然RPGXP除了做游戏还可以编程用.....(啊啊啊!我想学RGSS啊!!)

---

作者: 金圭子    时间: 2006-12-16 17:26
Oh yeah，帅呆了………………

这个正是我一直想找的东西啊，我呜呜呜～～～居然没想过去自己写个程序去搜索一下，罪过啊罪过…………
大概看了一下，原理是不是在：
http://www.cmfu.com/listbookqb.asp?status=down

这个页面里面把主体那块读下来的？
不过没找得怎么搜索“下一页”的方法，起点的那个翻页可是按照时间的…………



我再看看…………看懂了自己写一个对起点所有小说读取信息的方法，除了已经有的这些外加总点击、总推荐、小类等等…………（用Webbrower做可能要容易点）

---

作者: 金圭子    时间: 2006-12-16 17:30
另外，起点的“排行榜”里面是有个按照字数倒序排行的：
http://www.cmfu.com/topten.asp?topvalue=8

不过有几个问题：
·只有400个，大概差不多是90w字以上的
·写完没写完的都有
·还有一个就是起点字数最大的问题了：他这个字数只是公众版的，有些人书写完没多久就把公众版都更新了（比如随波逐流、哈贝达斯这种好人），但有人几年过去了还是不更（这个就不指名了）；很多人vip是公众版的几倍（特别是写的非常快的那几个）
·还有一个小问题：这个“已完结”是作者自己设置的，有些书写完了但是作者还忘了设的也有，不过不多……

---

作者: 柳柳    时间: 2006-12-16 20:08
呵呵，这是第一次尝试干之中搜索蜘蛛的工作，下面继续实验……

---

作者: 金圭子    时间: 2006-12-16 20:34
搜索蜘蛛是什么意思………………
这个说法是从“网”（Web）来的么？

---

作者: 柳柳    时间: 2006-12-16 23:44

1. #------------------------------------------------------------------------------
   
2. # Moonlight INN
   
3. # http://cgi.members.interq.or.jp/aquarius/rasetsu/
   
4. # RaTTiE
   
5. # [email protected]
   
6. #------------------------------------------------------------
   
7. # EasyConv::s2u(text) : S-JIS -> UTF-8
   
8. # EasyConv::u2s(text) : UTF-8 -> S-JIS
   
9. #==============================================
   
10. module EasyConv
    
11. # API梡掕悢掕媊
    
12.   CP_ACP = 0
    
13.   CP_UTF8 = 65001
    
14. 
    
15. #--------------------------------------------------------------------------
    
16. # 仠 S-JIS -> UTF-8
    
17. #--------------------------------------------------------------------------
    
18. def s2u(text)
    
19. # API掕媊
    
20.   m2w = Win32API.new('kernel32', 'MultiByteToWideChar', 'ilpipi', 'i')
    
21.   w2m = Win32API.new('kernel32', 'WideCharToMultiByte', 'ilpipipp', 'i')
    
22. 
    
23. # S-JIS -> Unicode
    
24.   len = m2w.call(CP_ACP, 0, text, -1, nil, 0);
    
25.   buf = "\0" * (len*2)
    
26.   m2w.call(CP_ACP, 0, text, -1, buf, buf.size/2);
    
27. 
    
28. # Unicode -> UTF-8
    
29.   len = w2m.call(CP_UTF8, 0, buf, -1, nil, 0, nil, nil);
    
30.   ret = "\0" * len
    
31.   w2m.call(CP_UTF8, 0, buf, -1, ret, ret.size, nil, nil);
    
32.   
    
33.   return ret
    
34. end
    
35. # module_function偲偟偰岞奐
    
36. module_function :s2u
    
37. #--------------------------------------------------------------------------
    
38. # 仠 UTF-8 -> S-JIS
    
39. #--------------------------------------------------------------------------
    
40. def u2s(text)
    
41. # API掕媊
    
42.   m2w = Win32API.new('kernel32', 'MultiByteToWideChar', 'ilpipi', 'i')
    
43.   w2m = Win32API.new('kernel32', 'WideCharToMultiByte', 'ilpipipp', 'i')
    
44. 
    
45. # UTF-8 -> Unicode
    
46.   len = m2w.call(CP_UTF8, 0, text, -1, nil, 0);
    
47.   buf = "\0" * (len*2)
    
48.   m2w.call(CP_UTF8, 0, text, -1, buf, buf.size/2);
    
49. 
    
50. # Unicode -> S-JIS
    
51.   len = w2m.call(CP_ACP, 0, buf, -1, nil, 0, nil, nil);
    
52.   ret = "\0" * len
    
53.   w2m.call(CP_ACP, 0, buf, -1, ret, ret.size, nil, nil);
    
54.   
    
55.   return ret
    
56. end
    
57. # module_function偲偟偰岞奐
    
58. module_function :u2s
    
59. end
    
60. 
    
61. #========================================
    
62. # 本脚本来自www.66rpg.com
    
63. #========================================
    
64. #---------------------------------------------------
    
65. # 本脚本来自www.66rpg.com ＝ ＝b
    
66. #---------------------------------------------------
    
67. class Get_Http_Info
    
68. 
    
69. AGENT = "RGSS PLAYER"
    
70. INTERNET_OPEN_TYPE_PRECONFIG = 0 # IEの設定を仕様
    
71. INTERNET_OPEN_TYPE_DIRECT    = 1 # プロキシを使用しない
    
72. def Get_Http_Info.InternetOpen()
    
73.    io = Win32API.new('wininet', 'InternetOpen', %(p, l, p, p, l), 'l')
    
74.    hInternet = io.call(AGENT, INTERNET_OPEN_TYPE_PRECONFIG, nil, nil, 0)
    
75.    return hInternet
    
76. end
    
77. 
    
78. def Get_Http_Info.InternetOpenUrl(hSession, url)
    
79.    iou = Win32API.new('wininet', 'InternetOpenUrl', %(l, p, p, l, l, l), 'l')
    
80.    hService = iou.call(hSession, url, nil, 0, 0, 0)
    
81.    return hService
    
82. end
    
83. 
    
84. def Get_Http_Info.InternetReadFile(hService)
    
85.    content = ""
    
86.    read_size = 1024 # 一次读入文件的尺寸
    
87.    irf = Win32API.new('wininet', 'InternetReadFile', %(l, p, i, p), 'i')
    
88.    while(true)
    
89.      buf = "\0" * read_size
    
90.      red = [0].pack('L')
    
91.      irf.call( hService, buf, read_size, red )
    
92.      if(red.unpack('L') == [0])
    
93.        #读到文件末端
    
94.        break
    
95.      end
    
96.      buf.delete!("\0")
    
97.      content += buf
    
98.    end
    
99. 
    
100.    return content
     
101. end
     
102. 
     
103. HTTP_QUERY_STATUS_CODE = 19
     
104. 
     
105. def Get_Http_Info.HttpQueryInfo(hService)
     
106.    read_size = 1024
     
107.    buf = "\0" * read_size
     
108.    red = [read_size-1].pack('L')
     
109.    hqi = Win32API.new('wininet', 'HttpQueryInfo', %(l, l, p, p, p), 'i')
     
110.    isOk = hqi.call( hService, HTTP_QUERY_STATUS_CODE, buf, red, nil)
     
111.    buf.delete!("\0")
     
112.    return buf
     
113. end
     
114. 
     
115. def Get_Http_Info.InternetCloseHandle(hInternet)
     
116.    ich = Win32API.new('winInet', 'InternetCloseHandle', %(l), 'i')
     
117.    isOk = ich.call(hInternet)
     
118.    return isOk
     
119. end
     
120. 
     
121. HTTP_CODE_OK = "200"
     
122.    
     
123. def Get_Http_Info.get_info(url)
     
124.    info = nil
     
125.    begin
     
126.      hInternet = InternetOpen()
     
127.      if(hInternet != 0)
     
128.        hService = InternetOpenUrl(hInternet, url)
     
129.        if(hService != 0)
     
130.          status_code = HttpQueryInfo(hService)
     
131.          if(status_code == HTTP_CODE_OK)
     
132.            info = InternetReadFile(hService)
     
133.          end
     
134.          InternetCloseHandle(hService)
     
135.        end
     
136.        InternetCloseHandle(hInternet)
     
137.      end
     
138.    rescue
     
139.      # 例外发生
     
140.      return nil
     
141.    end
     
142.    
     
143.       
     
144.    $ary = ""
     
145.       
     
146.    info.each_line do |line|
     
147.      $ary += EasyConv.s2u(line)
     
148.    end
     
149.    
     
150. 
     
151. end
     
152. 
     
153. end
     
154. begin
     
155.   $ary = nil
     
156.   
     
157.   $now_page = 110
     
158.   $sprite = Sprite.new
     
159.   $sprite.bitmap = Bitmap.new(320,240)
     
160.   $sprite.x = 150
     
161.   $sprite.y = 150
     
162.   
     
163.   $all_ys = 110
     
164.   
     
165.   $sprite.bitmap.draw_text(0,0,256,32,"正在获得文章列表……")
     
166.   $sprite.bitmap.draw_text(0,32,256,32,"第 "+$now_page.to_s+" 页，共 " + $all_ys.to_s + " 页")
     
167.   
     
168.   $next_page = "http://www.readnovel.com/ch/13/110.html"
     
169.   
     
170.   $fr = File.open("alltext.txt","wb") # fr是目录列表
     
171.   
     
172.   #$fr.write("'地址编号','作者','书名','日期','最后章节','字数','作者ID','类别','章节地址'" + "\n")
     
173.   
     
174.   while($now_page >= 2)
     
175.    ver = Get_Http_Info.get_info($next_page)
     
176.    
     
177.    
     
178.     for i in 1..$ary.split(/normalfont">《<a href="/).size - 1
     
179.      a = $ary.split(/normalfont">《<a href="/)[i].split(/" target="_blank/)[0]
     
180.      $fr.write(a + "\n")
     
181.    end
     
182.    Graphics.update
     
183.    $next_page = $ary.split(/第一页">&laquo;<\/a> <a href="/)[1].split(/">上一页<\/a>/)[0]
     
184.    
     
185.    
     
186.    $sprite.bitmap.clear
     
187.    $sprite.bitmap.draw_text(0,0,256,32,"正在获得文章列表……")
     
188.    $sprite.bitmap.draw_text(0,32,256,32,"第 "+$now_page.to_s+" 页，共 " + $all_ys.to_s + " 页")
     
189.    Graphics.update
     
190.    $now_page -= 1
     
191.   end
     
192.   
     
193.   $fr.close
     
194. end
     
195. $fr = File.open("alltext.txt","r") # fr是目录列表
     
196. $dz = $fr.readlines
     
197. for i in 599..$dz.size-1
     
198.   $dz[i] = "http://www.readnovel.com" + $dz[i].split(/\n/)[0]
     
199.   ver = Get_Http_Info.get_info($dz[i])
     
200.   begin
     
201.     begin
     
202.       bookname = $ary.split(/a title="/)[1].split(/">/)[0]
     
203.       book = File.open("books1/#{bookname}.txt","wb")
     
204.     rescue
     
205.       bookname = o
     
206.       book = File.open("books1/#{bookname}.txt","wb")
     
207.     end      
     
208.     book.write("书名：" + bookname + "　　")
     
209.     book.write("来源：" + $dz[i] + "\r\n\000")
     
210.     content = $ary.split(/<div class="content">/)[1].split(/<\/div>/)[0]
     
211.     content.gsub!(/<P>/) {|s| s=""}
     
212.     content.gsub!(/<\/P>/) {|s| s="\r\n"}
     
213.     content.gsub!(/<BR>/) {|s| s="\r\n"}
     
214.     book.write(content)
     
215.     book.close
     
216.     $sprite.bitmap.clear
     
217.     $sprite.bitmap.draw_text(0,0,256,32,"正在储存文章……")
     
218.     $sprite.bitmap.draw_text(0,32,256,32,"第 "+ i.to_s + " 篇，共 " + ($dz.size-1).to_s + " 篇")
     
219.     Graphics.update   
     
220.   rescue
     
221.     next
     
222.   end
     
223. end

复制代码

二代出炉～这个脚本可以提取并保留小说阅读网的短篇小说资源，并且存为.txt
相关连接：http://www.readnovel.com/

脚本运行时间大约是10分钟，请耐心等待。

---

作者: 柳柳    时间: 2006-12-17 23:06
http://rpg.blue/web/ftppic/web3/200701/潇湘书院.rar

这次是潇湘书院的了，spider设计得更汗一点，直接是书名、作者、分类、字数、阅读数、推荐数、简介、地址，全部统一在一个表里面了。

---

作者: 九泪    时间: 2006-12-20 04:48

以下引用柳柳于2006-12-16 12:08:49的发言：

呵呵，这是第一次尝试干之中搜索蜘蛛的工作，下面继续实验……

^_^开始接触到蜘蛛爬了？难怪一心要进GG~{/hx}

---

作者: comprobe    时间: 2006-12-23 22:54
提示: 作者被禁止或删除 内容自动屏蔽

---

作者: 亿万星辰    时间: 2006-12-24 20:06
你就把它理解为一个下载机器好了。。。。。。。

---

欢迎光临 Project1 (https://rpg.blue/)

Powered by Discuz! X3.1