2016年5月 – 我的个人学习分享

MySQL 命令笔记

By xugang
on 5月 21, 2016
in 后端

usage:

# 创建用于localhost连接的用户并指定密码 
mysql> create user 'pcom'@'localhost' identified by 'aaa7B2249';  

# 创建数据库 
mysql> create database pcom default character set utf8 collate utf8_bin; 
Query OK, 1 row affected (0.00 sec) 

# 给本地用户授权, 这里不需要指定密码 
mysql> grant all on pcom.* to 'pcom'@'localhost';  

# 给其他IP地址下的用户授权, 注意: 这里必须指定密码, 否则就可以无密码访问 
mysql> grant all on pcom.* to 'pcom'@'192.168.0.0/255.255.0.0' identified by 'aaa7B2249';  

# 同理 
mysql> grant all on pcom.* to 'pcom'@'172.20.0.0/255.255.0.0' identified by 'aaa7B2249';  

Done!

# 创建用于localhost连接的用户并指定密码

mysql> create user 'pcom'@'localhost' identified by 'aaa7B2249';

# 创建数据库

mysql> create database pcom default character set utf8 collate utf8_bin;

Query OK, 1 row affected (0.00 sec)

# 给本地用户授权, 这里不需要指定密码

mysql> grant all on pcom.* to 'pcom'@'localhost';

# 给其他IP地址下的用户授权, 注意: 这里必须指定密码, 否则就可以无密码访问

mysql> grant all on pcom.* to 'pcom'@'192.168.0.0/255.255.0.0' identified by 'aaa7B2249';

# 同理

mysql> grant all on pcom.* to 'pcom'@'172.20.0.0/255.255.0.0' identified by 'aaa7B2249';

Done!

基础

登录到MySQL

mysql -D 所选择的数据库名 -h 主机名 -u 用户名 -p

DISTINCT

关键词 DISTINCT 用于返回唯一不同的值。

SELECT DISTINCT 列名称 FROM 表名称

INSERT INTO

INSERT INTO 表名称 VALUES (值1, 值2,....)

INSERT INTO table_name (列1, 列2,...) VALUES (值1, 值2,....)

INSERT INTO table_name (列1, 列2,...) VALUES (值1, 值2,....), (值1, 值2,....), (值1, 值2,....)

Update

UPDATE 表名称 SET 列名称 = 新值 WHERE 列名称 = 某值

DELETE

DELETE FROM 表名称 WHERE 列名称 = 值

高级

limit

select 列名称 from 表名称 where 条件 limit 字段数

select 列名称 from 表名称 where 条件 limit 起始位置, 字段数

LIKE

SELECT column_name(s)
FROM table_name
WHERE column_name LIKE pattern

SELECT column_name(s)

FROM table_name

WHERE column_name LIKE pattern

通配符	描述
%	替代一个或多个字符
_	仅替代一个字符
[charlist]	字符列中的任何单一字符
[^charlist] 或 [!charlist]	不在字符列中的任何单一字符

IN

IN 操作符允许我们在 WHERE 子句中规定多个值。

SELECT column_name(s)
FROM table_name
WHERE column_name IN (value1,value2,...)

SELECT column_name(s)

FROM table_name

WHERE column_name IN (value1,value2,...)

JOIN

JOIN: 如果表中有至少一个匹配，则返回行
LEFT JOIN: 即使右表中没有匹配，也从左表返回所有的行
RIGHT JOIN: 即使左表中没有匹配，也从右表返回所有的行
FULL JOIN: 只要其中一个表中存在匹配，就返回行

SELECT Persons.LastName, Persons.FirstName, Orders.OrderNo
FROM Persons
INNER JOIN Orders
ON Persons.Id_P = Orders.Id_P
ORDER BY Persons.LastName

SELECT Persons.LastName, Persons.FirstName, Orders.OrderNo

FROM Persons

INNER JOIN Orders

ON Persons.Id_P = Orders.Id_P

ORDER BY Persons.LastName

UNION

合并两个或多个 SELECT 语句的结果集

SELECT column_name(s) FROM table_name1
UNION
SELECT column_name(s) FROM table_name2

SELECT column_name(s) FROM table_name1

UNION

SELECT column_name(s) FROM table_name2

CREATE

建库

CREATE DATABASE database_name

建表

CREATE TABLE 表名称
(
列名称1 数据类型,
列名称2 数据类型,
列名称3 数据类型,
....
)

CREATE TABLE 表名称

(

列名称1 数据类型,

列名称2 数据类型,

列名称3 数据类型,

....

)

约束 Constraints

NOT NULL
UNIQUE
PRIMARY KEY
FOREIGN KEY
CHECK 用于限制列中的值的范围
DEFAULT

CREATE INDEX

创建一个简单的索引

CREATE INDEX index_name
ON table_name (column_name)

CREATE INDEX index_name

ON table_name (column_name)

DROP

DROP INDEX

DROP INDEX index_name ON table_name

删除表

DROP TABLE 表名称

删除数据库

DROP DATABASE 数据库名称

TRUNCATE

删除表中的数据

TRUNCATE TABLE 表名称

ALTER

用于在已有的表中添加、修改或删除列

ALTER TABLE

添加列

ALTER TABLE table_name
ADD column_name datatype

ALTER TABLE table_name

ADD column_name datatype

删除列

ALTER TABLE table_name 
DROP COLUMN column_name

ALTER TABLE table_name

DROP COLUMN column_name

改变数据类型

ALTER TABLE table_name
ALTER COLUMN column_name datatype

ALTER TABLE table_name

ALTER COLUMN column_name datatype

AUTO_INCREMENT

可配置自增长起始值和间隔值

CREATE TABLE Persons
(
P_Id int NOT NULL AUTO_INCREMENT,
LastName varchar(255) NOT NULL,
FirstName varchar(255),
Address varchar(255),
City varchar(255),
PRIMARY KEY (P_Id)
)

CREATE TABLE Persons

(

P_Id int NOT NULL AUTO_INCREMENT,

LastName varchar(255) NOT NULL,

FirstName varchar(255),

Address varchar(255),

City varchar(255),

PRIMARY KEY (P_Id)

)

VIEW

视图包含行和列，就像一个真实的表。视图中的字段就是来自一个或多个数据库中的真实的表中的字段

CREATE VIEW view_name AS
SELECT column_name(s)
FROM table_name
WHERE condition

CREATE VIEW view_name AS

SELECT column_name(s)

FROM table_name

WHERE condition

视图总是显示最近的数据。每当用户查询视图时，数据库引擎通过使用 SQL 语句来重建数据

NULL

NULL 值是遗漏的未知数据

使用 IS NULL 和 IS NOT NULL 操作符来区分NULL值

数据类型

Text

CHAR(size) 保存固定长度的字符串（可包含字母、数字以及特殊字符）。在括号中指定字符串的长度。最多 255 个字符。
VARCHAR(size) 保存可变长度的字符串（可包含字母、数字以及特殊字符）。在括号中指定字符串的最大长度。最多 255 个字符。
TINYTEXT 存放最大长度为 255 个字符的字符串。
TEXT 存放最大长度为 65,535 个字符的字符串。
BLOB 用于 BLOBs (Binary Large OBjects)。存放最多 65,535 字节的数据。
MEDIUMTEXT 存放最大长度为 16,777,215 个字符的字符串。
MEDIUMBLOB 用于 BLOBs (Binary Large OBjects)。存放最多 16,777,215 字节的数据。
LONGTEXT 存放最大长度为 4,294,967,295 个字符的字符串。
LONGBLOB 用于 BLOBs (Binary Large OBjects)。存放最多 4,294,967,295 字节的数据。
ENUM(x,y,z,etc.) 允许你输入可能值的列表。可以在 ENUM 列表中列出最大 65535 个值。如果列表中不存在插入的值，则插入空值。
SET 与 ENUM 类似，SET 最多只能包含 64 个列表项，不过 SET 可存储一个以上的值。

Number

TINYINT(size) -128 到 127 常规。0 到 255 无符号。在括号中规定最大位数。
SMALLINT(size) -32768 到 32767 常规。0 到 65535 无符号。在括号中规定最大位数。
MEDIUMINT(size) -8388608 到 8388607 普通。0 to 16777215 无符号。在括号中规定最大位数。
INT(size) -2147483648 到 2147483647 常规。0 到 4294967295 无符号。在括号中规定最大位数。
BIGINT(size) -9223372036854775808 到 9223372036854775807 常规。0 到 18446744073709551615 无符号。在括号中规定最大位数。
FLOAT(size,d) 带有浮动小数点的小数字。在括号中规定最大位数。在 d 参数中规定小数点右侧的最大位数。
DOUBLE(size,d) 带有浮动小数点的大数字。在括号中规定最大位数。在 d 参数中规定小数点右侧的最大位数。
DECIMAL(size,d) 作为字符串存储的 DOUBLE 类型，允许固定的小数点。

Date

DATE() 日期。格式：YYYY-MM-DD
DATETIME() 日期和时间的组合。格式：YYYY-MM-DD HH:MM:SS
TIMESTAMP() 时间戳。TIMESTAMP 值使用 Unix 纪元(‘1970-01-01 00:00:00’ UTC) 至今的描述来存储。格式：YYYY-MM-DD HH:MM:SS
TIME() 时间。格式：HH:MM:SS 注释：支持的范围是从 ‘-838:59:59’ 到 ‘838:59:59’
YEAR() 2 位或 4 位格式的年。

函数

AVG(column) 返回某列的平均值
COUNT(column) 返回某列的行数（不包括 NULL 值）
COUNT() 返回被选行数
MAX(column) 返回某列的最高值
MIN(column) 返回某列的最低值
SUM(column) 返回某列的总和
UCASE(c) 将某个域转换为大写
LCASE(c) 将某个域转换为小写
MID(c,start[,end]) 从某个文本域提取字符
LEN(c) 返回某个文本域的长度
INSTR(c,char) 返回在某个文本域中指定字符的数值位置
LEFT(c,number_of_char) 返回某个被请求的文本域的左侧部分
RIGHT(c,number_of_char) 返回某个被请求的文本域的右侧部分
ROUND(c,decimals) 对某个数值域进行指定小数位数的四舍五入
MOD(x,y) 返回除法操作的余数
NOW() 返回当前的系统日期
FORMAT(c,format) 改变某个域的显示方式
DATEDIFF(d,date1,date2) 用于执行日期计算

GROUP BY

根据一个或多个列对结果集进行分组统计，得到一个分组汇总表

select 子句中的列名为分组列或列函数，列函数对group by子句的每个组各返回一个结果

SELECT column_name, aggregate_function(column_name)
FROM table_name
WHERE column_name operator value
GROUP BY column_name

SELECT column_name, aggregate_function(column_name)

FROM table_name

WHERE column_name operator value

GROUP BY column_name

可以与where/having合用

group by

HAVING

增加 HAVING 子句原因是，WHERE 关键字无法与合计函数一起使用

SELECT column_name, aggregate_function(column_name)
FROM table_name
WHERE column_name operator value
GROUP BY column_name
HAVING aggregate_function(column_name) operator value

SELECT column_name, aggregate_function(column_name)

FROM table_name

WHERE column_name operator value

GROUP BY column_name

HAVING aggregate_function(column_name) operator value

创建用户

CREATE USER 'username'@'host' IDENTIFIED BY 'password';

1 2	CREATE USER 'username'@'host' IDENTIFIED BY 'password';

host 指定该用户在哪个主机上可以登陆,如果是本地用户可用localhost, 如果想让该用户可以从任意远程主机登陆,可以使用通配符%

授权

GRANT privileges ON databasename.tablename TO 'username'@'host'

1 2	GRANT privileges ON databasename.tablename TO 'username'@'host'

privileges 用户的操作权限,如SELECT, INSERT, UPDATE, ALL
databasename 数据库名
tablename 表名可用 *

GRANT privileges ON databasename.tablename TO 'username'@'host' WITH GRANT OPTION

1 2	GRANT privileges ON databasename.tablename TO 'username'@'host' WITH GRANT OPTION

修改密码

SET PASSWORD FOR 'username'@'host' = PASSWORD('newpassword');

1 2	SET PASSWORD FOR 'username'@'host' = PASSWORD('newpassword');

SET PASSWORD = PASSWORD("newpassword");

1 2	SET PASSWORD = PASSWORD("newpassword");

撤销权限

REVOKE privilege ON databasename.tablename FROM 'username'@'host';

1 2	REVOKE privilege ON databasename.tablename FROM 'username'@'host';

查看用户权限 SHOW GRANTS FOR 'username'@'%';

删除用户

DROP USER ‘username’@'host’;

1 2	DROP USER ‘username’@'host’;

刷新数据库

flush privileges;

1 2	flush privileges;

数据导出与导入

导出

mysqldump

mysqldump -hhost -uusername -ppassword db_name > filename.sql

导入

新建数据库: CREATE DATABASE database_name
选择数据库: mysql> use database_name
导入数据: mysql> source filename.sql
导入数据另一种方法: $mysql -uusername -p db_name < filename.sql

设置最大导入块: set global max_allowed_packet = 2*1024*1024*10

D3 学习笔记

By xugang
on 5月 13, 2016
in 前端

选择集

d3.select(), d3.selectAll() 选择元素返回的对象

标签选择
# id选择
. class选择
支持链式语法

数据绑定

datum(): 绑定一个数据到选择集上

data(): 绑定一个数组到选择集上

var str = "China";

var body = d3.select("body");
var p = body.selectAll("p");

p.datum(str);

p.text(function(d, i){
    return "第 "+ i + " 个元素绑定的数据是 " + d;
});
// d 代表数据
// i 代表当前索引号

var str = "China";

var body = d3.select("body");

var p = body.selectAll("p");

p.datum(str);

p.text(function(d, i){

return "第 "+ i + " 个元素绑定的数据是 " + d;

});

// d 代表数据

// i 代表当前索引号

使用data() 绑定数据时，数据与元素格式不匹配

update 绑定数据
enter 元素不够集
exit 元素多余集

var p = body.selectAll("p");
var dataset = [30, 40, 50, 60, 70];
var update = p.data(dataset)
                .text(function(d){
                    return d;
                });
var enter = update.enter()
                .append("p")
                .text(function(d){
                    return d;
                });
var exit = update.exit()
                .remove();

var p = body.selectAll("p");

var dataset = [30, 40, 50, 60, 70];

var update = p.data(dataset)

.text(function(d){

return d;

});

var enter = update.enter()

.append("p")

.text(function(d){

return d;

});

var exit = update.exit()

.remove();

元素操作

append() 附加元素
insert() 元素前插入
remove() 删除

body.append("p").text("append p element");

添加简单图表

添加画布

var width = 200;
var height = 200;
var svg = body.append("svg")
    .attr("width", width)
    .attr("height", height);

var width = 200;

var height = 200;

var svg = body.append("svg")

.attr("width", width)

.attr("height", height);

添加矩形

x：矩形左上角的 x 坐标
y：矩形左上角的 y 坐标
width：矩形的宽度
height：矩形的高度

var rects = svg.selectAll(".MyRect")
    .data(dataset)
    .enter()
    .append("rect")
    .attr("class", "MyRect")
    .attr("x", function(d, i){
        return 20 + 35 * i;
    })
    .attr("y", function(d, i){
        return height - 80 - d;
    })
    .attr("width", 30)
    .attr("height", function(d){
        return d;
    });

var rects = svg.selectAll(".MyRect")

.data(dataset)

.enter()

.append("rect")

.attr("class", "MyRect")

.attr("x", function(d, i){

return 20 + 35 * i;

})

.attr("y", function(d, i){

return height - 80 - d;

})

.attr("width", 30)

.attr("height", function(d){

return d;

});

比例尺

比例尺: 将某一区域的值映射到另一区域，其大小关系不变。

线性比例尺

var linear = d3.scale.linear()
    .domain([0, 100]) // 定义域
    .range([0, 250]); // 值域

var linear = d3.scale.linear()

.domain([0, 100]) // 定义域

.range([0, 250]); // 值域

离散比例尺

var ordinal = d3.scale.ordinal()
    .domain([0, 1, 2, 3, 4, 5, 6])
    .range([0, 6, 12, 18, 24, 30, 36]);

var ordinal = d3.scale.ordinal()

.domain([0, 1, 2, 3, 4, 5, 6])

.range([0, 6, 12, 18, 24, 30, 36]);

坐标轴

var xAxis = d3.svg.axis()
    .scale(xScale)   // 比例尺 
    .orient("bottom"); // 刻度方向

var xAxis = d3.svg.axis()

.scale(xScale) // 比例尺

.orient("bottom"); // 刻度方向

d3.svg.axis()：D3 中坐标轴的组件，能够在 SVG 中生成组成坐标轴的元素。
scale()：指定比例尺。
orient()：指定刻度的朝向，bottom 表示在坐标轴的下方显示。
ticks()：指定刻度的数量。

在SVG中添加坐标轴

var gxAxis = svg.append("g")
    .call(xAxis);

var gxAxis = svg.append("g")

.call(xAxis);

添加图示

var texts = svg.selectAll(".MyText")
    .data(dataset)
    .enter()
    .append("text")
    .attr("class", "MyText")
    .attr("transform", "translate(30, 50)")
    .attr("x", function(d, i){
        return xScale(i);
    })
    .attr("y", function(d){
        return width - 150 - yScale(d);
    })
    .attr("dx", function(){
        return xScale.rangeBand()/2 - 2;
    })
    .attr("dy", function(d){
        return 20;
    })
    .text(function(d){
        return d;
    })

var texts = svg.selectAll(".MyText")

.data(dataset)

.enter()

.append("text")

.attr("class", "MyText")

.attr("transform", "translate(30, 50)")

.attr("x", function(d, i){

return xScale(i);

})

.attr("y", function(d){

return width - 150 - yScale(d);

})

.attr("dx", function(){

return xScale.rangeBand()/2 - 2;

})

.attr("dy", function(d){

return 20;

})

.text(function(d){

return d;

})

生成器

读取文件

d3.text 读取服务器文本
d3.json 读取服务器json数据

折线

线段的第一个点和最后一个会连接，需要使用css打断

.MyPath {
    fill: none;
    stroke: black;
    stroke-width: 3px;
}

.MyPath {

fill: none;

stroke: black;

stroke-width: 3px;

}

指定线段生成器

var line = d3.svg.line()
    .x(function(d) {return d.x;})
    .y(function(d) {return d.y;})
    .interpolate("cardinal"); // 指定线段样式

var line = d3.svg.line()

.x(function(d) {return d.x;})

.y(function(d) {return d.y;})

.interpolate("cardinal"); // 指定线段样式

绘制线段

svg.append("path")
    .attr("d", line(jsondata.data))

svg.append("path")

.attr("d", line(jsondata.data))

散点图

过渡效果

动作在初始状态到最终状态之间的变化

exit.attr("fill-opacity", 1.0) // 初始状态
    .transition() // 指示过渡效果
    .duration(1000) // 指定过渡时间
    .ease("bounce") // 指定过渡方式
    .attr("fill-opacity", 0.0) // 最终状态

exit.attr("fill-opacity", 1.0) // 初始状态

.transition() // 指示过渡效果

.duration(1000) // 指定过渡时间

.ease("bounce") // 指定过渡方式

.attr("fill-opacity", 0.0) // 最终状态

散点

points = svg.selectAll(".MyCircle")
    .data(dataset)
    .enter()
    .append("circle") // 指定为圆圈
    .attr("r", 10) // 半径
    .attr("cx", function(d){ return xScale(d.x); })
    .attr("cy", function(d){ return yScale(d.y); });

points = svg.selectAll(".MyCircle")

.data(dataset)

.enter()

.append("circle") // 指定为圆圈

.attr("r", 10) // 半径

.attr("cx", function(d){ return xScale(d.x); })

.attr("cy", function(d){ return yScale(d.y); });

布局

布局：计算出适合于作图的数据

var dataset = [10, 20, 30, 24, 12]; //原数据
var pie = d3.layout.pie() //定义布局
var piedata = pie(dataset); //转换后的数据

var dataset = [10, 20, 30, 24, 12]; //原数据

var pie = d3.layout.pie() //定义布局

var piedata = pie(dataset); //转换后的数据

弧生成器

var arc = d3.svg.arc()
    .innerRadius(innerRadius) // 指定弧的内径
    .outerRadius(outerRadius); // 指定弧的外径

var arc = d3.svg.arc()

.innerRadius(innerRadius) // 指定弧的内径

.outerRadius(outerRadius); // 指定弧的外径

添加作图所需分组

var arcs = svg.selectAll(".arcGroups")
    .data(piedata)
    .enter()
    .append("g")
    .attr("class", "arcGroups")

var arcs = svg.selectAll(".arcGroups")

.data(piedata)

.enter()

.append("g")

.attr("class", "arcGroups")

添加路径

arcs.append("path")
    .attr("fill", function(d, i){
        return color(i);
    })
    .attr("d", function(d){
        return arc(d);
    })

arcs.append("path")

.attr("fill", function(d, i){

return color(i);

})

.attr("d", function(d){

return arc(d);

})

Hbase 了解

By xugang
on 5月 11, 2016
in 后端

Hbase 2006年出现, 是bigtable的开源clone。是建立的hdfs之上实时读写的数据库系统。

介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，主要用来存储非结构化和半结构化的松散数据。

HBase 简介

特点

大：一个表可以有上亿行，上百万列
面向列:面向列(族)的存储和权限控制，列(族)独立检索。
稀疏:对于为空(null)的列，并不占用存储空间

逻辑视图

HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族(column family)

Row key：可以是任意字符，存储时数据按照 Row key 的字典序排序存储

列族：列归属某个列族，列名都以列族作为前缀，访问控制、磁盘和内存的使用统计都是在列族层面进行的。

cell：通过row和columns确定的为一个存贮单元称为cell，数据没有类型，以字节码形式存储。cell都保存着同一份数据的多个版本。版本通过时间戳来索引。

数据版本回收：一是保存数据的最后n个版本，二是保存最近一段时间内的版本

访问方式

单个row key
通过row key 和 range
全表扫描

MySQL 命令笔记

基础

登录到MySQL

DISTINCT

INSERT INTO

Update

DELETE

高级

limit

LIKE

IN

JOIN

UNION

CREATE

约束 Constraints

CREATE INDEX

DROP

TRUNCATE

ALTER

AUTO_INCREMENT

VIEW

NULL

数据类型

函数

GROUP BY

HAVING

创建用户

授权

修改密码

撤销权限

删除用户

刷新数据库

数据导出与导入

导出

导入

D3 学习笔记

选择集

数据绑定

元素操作

添加简单图表

比例尺

坐标轴

添加图示

生成器

读取文件

折线

散点图

过渡效果

散点

布局

弧生成器

Hbase 了解

HBase 简介

特点

逻辑视图

访问方式

关注或联系

近期文章

标签

分类目录

文章归档