要让用户在我们这个网站。
读到全国乃至全球的主流新闻。
至于日常的资讯内容从何而来。
一是各种传统的报刊杂志。
二是海内外各个网站。
三是我们可以花钱去通讯社买新闻。”
讲到这里,林向东又停下来,问道:
“在座各位有好几位都是天才程序员。
我想问一下,我们有没有可能设计一种程序。
可以在全球网站上去抓取各种新闻资讯?”
李颜宏笑道:
“这种技术早就有了,最早诞生于1990年。
当时蒙特利尔大学一个名叫AlanEmtage的学生。
发明了一种叫Archie的脚本程序。
用来检索查询FTP主机上的信息。
后来,又发展成为电脑机器人,在网络中抓取信息。
这种工具,也被称为蜘蛛程序。
实际上,搜索引擎技术就是这么发展起来的。”
林向东又笑问道:
“Robin,我们可以设计这样的程序?”
李颜宏点头一笑:
“对,很简单的,我来写一个吧。”
程同顿时松了一口气:
“太好了,如果全部是手工录入。
一个人一天上传100条新闻。
我们也需要好几十名编辑。”
林向东又想想道:
“我们用蜘蛛程序抓取网络上的新闻资讯。
一是主要抓取国内的资讯。