-
讲师：明白。公众号：多元思维hack。
-
学习者：蓝星，推特：@lanxing4
-
学习时间：20200704
-
市面上的爬虫软件：八爪鱼，火车头，还有webscaper.
-
04模仿：关键词思维，快速找到用户真实需求
-
需求词，
-
效果词，
-
可量化性，关注各种不同的数据
-
可复制性，
-
不同平台汇总筛选
-
内容平台：
- 知乎，豆瓣，今日头条，百度贴吧，百度知道
-
知识付费平台
-
电商平台
-
销量，评论数，价格
-
关键位置
- 首页，精选，推荐位，排行榜
-
-
-
需求词是你对自身行业的了解，你自己想出来的大概词。
-
根据需求词去搜索其他用户对这个词都有哪些问题，即他用来干什么，以得到效果词。
-
得到效果词，就得到了文章，图片，视频，去看这些信息的数据，哪个数据高，就证明他们已经被市场验证过了。
-
可复制性，将他们的卖点，文案，图片，评论搜集起来，改一改，自己也能用。
-
要不同平台去综合判断。
-
-
05，两个词，挖掘100+赚钱思路
-
解决问题的词，
-
如何，怎样，怎么，入门，课程，教程，培训
-
如何快速，怎样高效，怎么省力，微信如何，电信怎样，手机怎么。
-
-
信息整合
-
哪些，哪几种，哪种，哪类
-
哪些书，哪几种书，哪种书，哪类书。
-
比如明白的知识星球网站，比如黑科技大全
-
-
有啥，有什么，
-
什么东西
-
合集资源
-
围绕大体量产品，围绕行业，资料包，
-
-
-
06，增长，举一反三，拓展100+赚钱思路
-
案例1：运营地图
-
用户（群体），换个群体，比如程序员，比如销售，比如产品经理，比如电商。
- 地区，角色，性别，认知
-
-
-
场景
- 展现形式，使用场景，工具/服务，知识/信息
-
需求
- 对标竞品，功能，使用场景，工具/服务，知识/信息
-
案例2：instagram图片下载
-
用户群体
-
场景
-
需求等多方面去拓展
-
-
07，借助工具wescraper抓取数据
- 网上数据量大
-
08，安装及使用
-
需要谷歌浏览器以及webscraper
-
设置百度为默认搜索引擎
-
使用：打开网页，右键审查元素，将布局视图改为上下
-
-
09，300个案例模板，一键套用搜集信息
-
模板在哪里？
-
在课程里，在网站上webscraper中文网
-
-
-
课程设置
-
目标效果图
-
方法介绍|实操案例
-
问题检测清单
-
适用场景
-
练习
-
-
10，文字选择器，如何用1分钟抓取500个文章标题
-
方法介绍
-
打开webscraper,打开要抓取的网页，右键点击审查，打开webscraper
-
创建sitemap：sitename格式字母+数字，字母开头，最少3个字符，不能重复。
-
设置seletor规则，即爬取规则
-
text选择器，应当是最常用的，经常不单独使用。
-
link选择器，会自动将标题与链接爬取出来，适用于抓取网上的超链接信息。
-
图片选择器，image选择器
-
信息块element选择器，多个信息，标题，点赞数，评论数，适用于将多个信息整体抓取
-
先设置父选择器，选择某个块
-
再设置子选择器，子选择器不要选multiple
-
element必须创建子选择器
-
-
-
-
-
11,滚动翻页选择器
- delay是2000毫秒，可以爬取所有页数的数据。
-
12，点击翻页选择器
- 如果要抓取的网页，需要不断点击某处，才能显示更多信息，就适用element clik
-
13，多页选择器
- 分析url的规律，用中括号设置翻页，从后页往前页抓取，即从后往前翻
-
14，二级页面，抓取内容标题
- 先设置link选择器，再设置子选择器
-
15，一套思路，应对所有类型网站
- 先分析要什么样的信息，选择什么样的选择器
