怎么利用爬虫爬取实时数据
用Python写一个爬虫，做一个冷门行业的搜索引擎，能实现吗？
用Python写一个爬虫，做一个冷门行业的搜索引擎，能实现吗？
可以实现，先说一下思路。首先我们要通过爬虫把这些冷门行业的相关数据都爬下来，然后把这个行业相关的数据库存储到数据库，做一个分类，之后在数据库这边做一个查询。
在开始之前需要了解的一些东西：搜索引擎主要有两部分：
1.爬虫：也就是离线以获取数据
2.检索系统：在线查询数据，完成用户交互
开源工具：
Python爬虫Scrapy
Java检索系统：Elasticsearch/Solr
Python相关知识点：
如果只是用Python实现爬虫的这样的项目的话，需要学习的内容是上图当中的Python基础知识，python高级，前端开发以及爬虫开发。Python爬虫的重点是不在于Python，而是网络爬虫。
下面说该问题原理：向浏览器请求文档
分析分类我们所返回的文档
从中提取中自己想要的信息
针对上述上个步骤：
首先要了解HTTP，这里可以用Python的requests库，要知道GET和POST请求页面
对响应的文档做分析，所以必须要知道的是HTML，这个很简单；在处理HTML文档可以用库有BesutifulSoup和lxml等等，搜索一下这些库的DOC
学习BesutifulSoup等库，用select等方法提取你要的信息，在这中间可能会碰到编码问题或者要学习正则表达式。
大数据码如何获取？
大数据采集方式有：网络爬虫、开放数据库、利用软件接口、软件机器人采集等。
1、网络爬虫：模拟客户端发生网络请求，接收请求响应，一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。
2、开放数据库：开放数据库方式可以直接从目标数据库中获取需要的数据，准确性高，实时性也有保证，是比较直接、便捷的一种方式。
3、利用软件接口：一种常见的数据对接方式，通过各软件厂商开放数据接口，实现不同软件数据