于贵洋的博客

BI、数据分析


  • 首页

  • 分类

  • 标签

  • 归档

  • 站点地图

  • 公益404

  • 关于

  • 搜索

数据分析师是否需要掌握SQL?

发表于 2017-10-18 | 分类于 随笔

前面,我们分析了一下数据分析师的前景要不要找一份数据分析的工作?

这里,我们研究下,数据分析师是否需要掌握SQL。

什么是数据分析师?

我们从字面来理解,数据分析师=数据+分析+师

数据

对于数据分析师来说,数据是基础,俗话说,巧妇难为无米之炊,没有数据,做什么可视化,做什么分析,
没有数据支撑的分析报告,一定是异想天开。
数据的来源通常有2中,一种是公司内部数据,一种是公司外部数据。
外部数据,我们可能需要通过第三方渠道购买,或者使用爬虫从网上爬取,通常的竞品分析啊,舆情分析啊,都属于这种;
内部数据,一般是公司业务数据,存储在数据库中,我们可以使用SQL来实现自己的业务需求。

分析

有了数据,我们需要在业务的基础上,通过分析方法、分析思维、模型等来发现问题,验证问题。
这个分析一定要基于业务,脱离业务的分析是没有任何价值的。

阅读全文 »

要不要找一份数据分析的工作?

发表于 2017-10-18 | 分类于 随笔

前面,我们使用Python将拉勾网的数据爬取了下来,下面,我们就用Tableau做下探索式分析。

数据基本情况介绍

我们在Python中只做了简单的清洗和整合,数据保存在MySQL中,数据只抓取了几个热门城市
表结构如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
CREATE TABLE `tm_lagou_data` (
`city` varchar(20) DEFAULT NULL COMMENT '城市',
`company_short_name` varchar(100) DEFAULT NULL COMMENT '公司简称',
`company_full_name` varchar(200) DEFAULT NULL COMMENT '公司全称',
`company_industry` varchar(100) DEFAULT NULL COMMENT '所属行业',
`company_location` varchar(100) DEFAULT NULL COMMENT '工作地点',
`position_advantage` varchar(100) DEFAULT NULL COMMENT '岗位特点',
`position_salary` varchar(20) DEFAULT NULL COMMENT '薪资',
`position_workyear` varchar(20) DEFAULT NULL COMMENT '工作经验',
`position_name` varchar(50) DEFAULT NULL COMMENT '职位名称',
`position_first_type` varchar(100) DEFAULT NULL COMMENT '岗位类型-大类',
`position_second_type` varchar(100) DEFAULT NULL COMMENT '岗位类型-小类',
`position_lables` varchar(100) DEFAULT NULL COMMENT '岗位标签',
`position_id` varchar(20) DEFAULT NULL COMMENT '岗位ID',
`create_time` datetime DEFAULT NULL COMMENT '发布时间',
`job_desc` text comment '岗位描述'
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='拉勾网-数据分析数据';

洗个脸,刷个牙我们要开始分析啦。

哪儿的数据分析岗位最多呢?

作为一名求职者,我想知道哪里的数据分析岗位最多,我以后要去哪个城市上班呢?是不是我喜欢的城市呢?
打开Tableau,连上数据库,我们开始
我们的数据中,有城市信息,也有招聘公司信息,岗位信息,所以这个很简单

我们会发现,北上深杭广招聘数据分析的公司和岗位最多,公司多,招聘的岗位也多嘛,
所以,如果要找数据分析的工作,在这几个城市还是很有机会的,随着北上广深等城市的带动,新一线城市后续应该也会逐渐提高对数据的重视,数据分析岗位应该会越来越多。
这里也发现一个有趣的问题,就是杭州和广州,以前我们说一线城市,可能主要是北上广深,最近几年随着杭州的崛起(我觉得和阿里有很大的关系),广州是不是逐渐的掉队了呢?

阅读全文 »

MySQL-疑问汇总

发表于 2017-10-12 | 分类于 MySQL

MySQL
疑问汇总

这里吧同学们遇到的问题都汇总起来,方便大家一起查阅。

update at 2017-10-13

Workbench安装问题

昨天就说过Workbench的安装问题,具体的可以往下看,这里记录一个类似问题
因为安装Workbench需要一些依赖先安装,比如那个.NET Framework,官网上提供的连接地址应该没有修改,如果直接跳转去下载,应该是.NET FRAMEWORK4.5的,但实际安装的时候,是需要4.5.2的

而且在安装4.5的时候,可能还会遇到这样的情况,说本地已经安装过了,所以去下载4.5.2就可以了,

后面经过同学的验证,就是这样解决的,没有问题。

阅读全文 »

MySQL-Workbench使用

发表于 2017-10-12 | 分类于 MySQL

MySQL
Workbench使用

简单介绍下Workbench的使用
Workbench是MySQL官方提供的一个可视化管理工具,跨多个平台而且免费的,详情参考官网。
我们从下载地址下载,安装就行了

安装

workbench 安装
可以单独下载,也可以使用提供的一个管理工具统一下载管理,管理工具提供了整个MySQL所有相关组件的统一管理维护,也挺方便。

管理工具

阅读全文 »

Tableau实例-帕累托图

发表于 2017-09-20 | 分类于 Tableau

Tableau实例
帕累托图

前面,我们了解了《帕累托的故事》 和 二八定律与长尾理论,这里,我们学习下,在Tableau中,如何适用Tableau来绘制帕累托图。

准备

数据源:官方数据源“示例-超市”
因为,帕累托分布,主要是20%的商品可以产生80%的价值,所以,我们可以使用示例数据中的订单数据,来看看订单的销量是否符合帕累托分布。

数据源

初级-每个类别的销售额分布

我们先来研究下,看产品的类别销售额是否符合帕累托分布,帕累托图有一个柱形图,有一个折线图,
柱形图,表示每个类别的销售额,而折线图表示每个类别的销售额占比

柱形图就直接使用子类别和销售额就行了
每个类别的销售额

然后,我们实现折线图
在行中,再拖一个销售额

阅读全文 »
1…345…23
于贵洋

于贵洋

111 日志
17 分类
30 标签
RSS
GitHub
友情链接
  • 很久之前的CSDN博客
0%
© 2017 于贵洋
由 Hexo 强力驱动
|
主题 — NexT.Pisces v5.1.3
Hosted by GitHub Pages
本站访客数 人次 本站总访问量 次