数据库原理编程与性能（初学数据库应该从何学起）

本文目录

• 初学数据库应该从何学起
• SQL 2005 中的主键和外键怎么理解有没有使用的例子
• 数据库架构选型与落地，看这篇就够了
• 性能测试需要会编程语言么
• 计算机科学与技术主要学什么

初学数据库应该从何学起

初学数据库应该从以下几点进行学习：
一、编程语言基础
新手学大数据，首先要掌握基础的编程语言基础，比如Java、C++等，要初步掌握面向的对象、抽象类、接口及数据流及对象流等基础，如果有疑问，可以去网上搜索相关书籍，再结合自己的疑问去翻书，就能很快的熟悉了解数据库的基础技术原理。
二、Linux系统的基本操作
Linux系统的基本操作是大数据不可分割的一部分，企业的MySQL大数据的组件都是跑在linux环境下的，所以学会linux常用命令不能缺少，重点是要学习一下Linux环境的搭建，搭建平台，，能写shell程序就会更好了。
三、学习Hadoop架构设计
要学大数据，首先要了解的是如何在单台Windows系统上通过虚拟机搭建多台Linux虚拟机，从而构建Hadoop集群，再建立spark开发环境，环境搭建成功后在网上搜罗一些demo，sql脚本之类，直接动手敲进去一点一点体会。
四、采用机器学习模式
为了发挥出大数据的优势，提升你的办公效率，就需要实操并应用其中的内容，必然也会涉及大量机器学习及算法，这能最大化的发挥出计算机的性能，也是大数据的优势所在。
想了解更多有关数据库的相关信息，推荐咨询达内教育。作为国内IT培训的领导品牌，达内的每一名员工都以“帮助每一个学员成就梦想”为己任，也正因为达内人的执着与努力，达内已成功为社会输送了众多合格人才，为广大学子提供更多IT行业高薪机会，同时也为中国IT行业的发展做出了巨大的贡献。

SQL 2005 中的主键和外键怎么理解有没有使用的例子

这需要理清几个概念：
1）候选键：
关系中的一个属性组，其值能唯一标识一个元组，若从该属性组中去掉任何一个属性，它就不具有这一性质了，这样的属性组称作候选码。
2）主键：当有多个候选码时，可以选定一个作为主码，选定的候选码称主键
3）外键：
关系R中的一个属性组，它不是R的候选码，但它与另一个关系S的候选码相对应，则称这个属性组为R的外码或外键。
举个例子：有两个关系：
student(s#,sname,d#),即学生这个关系有三个属性：学号，姓名，所在系别
dep(d#,dname)，即院系有两个属性：系号、系名
则s＃、d＃是主键，也是各自所在关系的唯一候选键，d＃是student的外键。参考资料：数据库——原理、编程与性能

数据库架构选型与落地，看这篇就够了

随着时间和业务的发展，数据库中的数据量增长是不可控的，库和表中的数据会越来越大，随之带来的是更高的 磁盘 、 IO 、 系统开销 ，甚至 性能 上的瓶颈，而单台服务器的 资源终究是有限 的。

因此在面对业务扩张过程中，应用程序对数据库系统的 健壮性 ， 安全性 ， 扩展性 提出了更高的要求。

以下，我从数据库架构、选型与落地来让大家入门。

数据库会面临什么样的挑战呢？

业务刚开始我们只用单机数据库就够了，但随着业务增长，数据规模和用户规模上升，这个时候数据库会面临IO瓶颈、存储瓶颈、可用性、安全性问题。

为了解决上述的各种问题，数据库衍生了出不同的架构来解决不同的场景需求。

将数据库的写操作和读操作分离，主库接收写请求，使用多个从库副本负责读请求，从库和主库同步更新数据保持数据一致性，从库可以水平扩展，用于面对读请求的增加。

这个模式也就是常说的读写分离，针对的是小规模数据，而且存在大量读操作的场景。

因为主从的数据是相同的，一旦主库宕机的时候，从库可以 切换为主库提供写入 ，所以这个架构也可以提高数据库系统的 安全性 和 可用性 ；

优点：

缺点：

在数据库遇到 IO瓶颈 过程中，如果IO集中在某一块的业务中，这个时候可以考虑的就是垂直分库，将热点业务拆分出去，避免由 热点业务 的 密集IO请求 影响了其他正常业务，所以垂直分库也叫 业务分库 。

优点：

缺点：

在数据库遇到存储瓶颈的时候，由于数据量过大造成索引性能下降。

这个时候可以考虑将数据做水平拆分，针对数据量巨大的单张表，按照某种规则，切分到多张表里面去。

但是这些表还是在同一个库中，所以库级别的数据库操作还是有IO瓶颈（单个服务器的IO有上限）。

所以水平分表主要还是针对 数据量较大 ，整体业务 请求量较低 的场景。

优点：

缺点：

四、分库分表

在数据库遇到存储瓶颈和IO瓶颈的时候，数据量过大造成索引性能下降，加上同一时间需要处理大规模的业务请求，这个时候单库的IO上限会限制处理效率。

所以需要将单张表的数据切分到多个服务器上去，每个服务器具有相应的库与表，只是表中数据集合不同。

分库分表能够有效地缓解单机和单库的 性能瓶颈和压力 ，突破IO、连接数、硬件资源等的瓶颈。

优点：

缺点：

注：分库还是分表核心关键是有没有IO瓶颈 。

分片方式都有什么呢？

RANGE（范围分片）

将业务表中的某个 关键字段排序 后，按照顺序从0到10000一个表，10001到20000一个表。最常见的就是 按照时间切分 （月表、年表）。

比如将6个月前，甚至一年前的数据切出去放到另外的一张表，因为随着时间流逝，这些表的数据被查询的概率变小，银行的交易记录多数是采用这种方式。

优点：

缺点：

HASH（哈希分片）

将订单作为主表，然后将其相关的业务表作为附表，取用户id然后 hash取模 ，分配到不同的数据表或者数据库上。

优点：

缺点：

讲到这里，我们已经知道数据库有哪些架构，解决的是哪些问题，因此， 我们在日常设计中需要根据数据的特点，数据的倾向性，数据的安全性等来选择不同的架构 。

那么，我们应该如何选择数据库架构呢？

虽然把上面的架构全部组合在一起可以形成一个强大的高可用，高负载的数据库系统，但是架构选择合适才是最重要的。

混合架构虽然能够解决所有的场景的问题，但是也会面临更多的挑战，你以为的完美架构，背后其实有着更多的坑。

1、对事务支持

分库分表后（无论是垂直还是水平拆分），就成了分布式事务了，如果依赖数据库本身的分布式事务管理功能去执行事务，将付出高昂的性能代价（XA事务）；如果由应用程序去协助控制，形成程序逻辑上的事务，又会造成编程方面的负担（TCC、SAGA）。

2、多库结果集合并 （group by，order by）

由于数据分布于不同的数据库中，无法直接对其做分页、分组、排序等操作，一般应对这种多库结果集合并的查询业务都需要采用数据清洗、同步等其他手段处理（TIDB、KUDU等）。

3、数据延迟

主从架构下的多副本机制和水平分库后的聚合库都会存在主数据和副本数据之间的延迟问题。

4、跨库join

分库分表后表之间的关联操作将受到限制，我们无法join位于不同分库的表（垂直），也无法join分表粒度不同的表（水平）， 结果原本一次查询就能够完成的业务，可能需要多次查询才能完成。

5、分片扩容

水平分片之后，一旦需要做扩容时。需要将对应的数据做一次迁移，成本代价都极高的。

6、ID生成

分库分表后由于数据库独立，原有的基于数据库自增ID将无法再使用，这个时候需要采用其他外部的ID生成方案。

一、应用层依赖类（JDBC）

这类分库分表中间件的特点就是和应用强耦合，需要应用显示依赖相应的jar包（以Java为例），比如知名的TDDL、当当开源的 sharding-jdbc 、蘑菇街的TSharding等。

此类中间件的基本思路就是重新实现JDBC的API，通过重新实现 DataSource 、 PrepareStatement 等操作数据库的接口，让应用层在 基本 不改变业务代码的情况下透明地实现分库分表的能力。

中间件给上层应用提供熟悉的JDBC API，内部通过 sql解析 、 sql重写 、 sql路由 等一系列的准备工作获取真正可执行的sql，然后底层再按照传统的方法（比如数据库连接池）获取物理连接来执行sql，最后把数据 结果合并 处理成ResultSet返回给应用层。

优点

缺点

二、中间层代理类（Proxy）

这类分库分表中间件的核心原理是在应用和数据库的连接之间搭起一个 代理层 ，上层应用以 标准的MySQL协议 来连接代理层，然后代理层负责 转发请求 到底层的MySQL物理实例，这种方式对应用只有一个要求，就是只要用MySQL协议来通信即可。

所以用MySQL Navicat这种纯的客户端都可以直接连接你的分布式数据库，自然也天然 支持所有的编程语言 。

在技术实现上除了和应用层依赖类中间件基本相似外，代理类的分库分表产品必须实现标准的MySQL协议，某种意义上讲数据库代理层转发的就是MySQL协议请求，就像Nginx转发的是Http协议请求。

比较有代表性的产品有开创性质的Amoeba、阿里开源的Cobar、社区发展比较好的 Mycat （基于Cobar开发）等。

优点

缺点

JDBC方案 ：无中心化架构，兼容市面上大多数关系型数据库，适用于开发高性能的轻量级 OLTP 应用（面向前台）。

Proxy方案 ：提供静态入口以及异构语言的支持，适用于 OLAP 应用（面向后台）以及对分片数据库进行管理和运维的场景。

混合方案 ：在大型复杂系统中存在面向C端用户的前台应用，也有面向企业分析的后台应用，这个时候就可以采用混合模式。

JDBC 采用无中心化架构，适用于 Java 开发的高性能的轻量级 OLTP 应用；Proxy 提供静态入口以及异构语言的支持，适用于 OLAP 应用以及对分片数据库进行管理和运维的场景。

ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由 Sharding-JDBC 、 Sharding-Proxy 和 Sharding-Sidecar （计划中）这3款相互独立的产品组成，他们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。

ShardingSphere提供的核心功能：

Sharding-Proxy

定位为透明化的 数据库代理端 ，提供封装了 数据库二进制协议的服务端版本 ，用于完成对 异构语言的支持 。

目前已提供MySQL版本，它可以使用 任何兼容MySQL协议的访问客户端 (如：MySQL Command Client, MySQL Workbench, Navicat等)操作数据，对DBA更加友好。

向 应用程序完全透明 ，可直接当做MySQL使用。

适用于任何兼容MySQL协议的客户端。

Sharding-JDBC

定位为 轻量级Java框架 ，在Java的JDBC层提供的额外服务。 它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为 增强版的JDBC驱动，完全兼容JDBC和各种ORM框架 。

以电商SaaS系统为例，前台应用采用Sharding-JDBC，根据业务场景的差异主要分为三种方案。

分库（用户）

问题解析：头部企业日活高并发高，单独分库避免干扰其他企业用户，用户数据的增长缓慢可以不分表。

拆分维度：企业ID分库

拆分策略：头部企业单独库、非头部企业一个库

分库分表（订单）

问题解析：订单数据增长速度较快，在分库之余需要分表。

拆分维度：企业ID分库、用户ID分表

拆分策略：头部企业单独库、非头部企业一个库，分库之后用户ID取模拆分表

单库分表（附件）

问题解析：附件数据特点是并发量不大，只需要解决数据增长问题，所以单库IO足以支撑的情况下分表即可。

拆分维度：用户ID分表

拆分策略：用户ID取模分表

问题一：分布式事务

分布式事务过于复杂也是分布式系统最难处理的问题，由于篇幅有限，后续会开篇专讲这一块内容。

问题二：分布式ID

问题三：跨片查询

举个例子，以用户id分片之后，需要根据企业id查询企业所有用户信息。

sharding针对跨片查询也是能够支持的，本质上sharding的跨片查询是采用同时查询多个分片的数据，然后聚合结果返回，这个方式对资源耗费比较大，特别是对数据库连接资源的消耗。

假设分4个数据库，8个表，则sharding会同时发出32个SQL去查询。一下子消耗掉了32个连接；

特别是针对单库分表的情况要注意，假设单库分64个表，则要消耗64个连接。如果我们部署了2个节点，这个时候两个节点同时查询的话，就会遇到数据库连接数上限问题（mysql默认100连接数）

问题四：分片扩容

随着数据增长，每个片区的数据也会达到瓶颈，这个时候需要将原有的分片数量进行增加。由于增加了片区，原先的hash规则也跟着变化，造成了需要将旧数据做迁移。

假设原先1个亿的数据，hash分64个表，现在增长到50亿的数据，需要扩容到128个表，一旦扩容就需要将这50亿的数据做一次迁移，迁移成本是无法想象的。

问题五：一致性哈希

首先，求出每个 服务器的hash值 ，将其配置到一个 0~2^n 的圆环上 （n通常取32）

其次，用同样的方法求出待 存储对象的主键 hash值 ，也将其配置到这个圆环上。

然后，从数据映射到的位置开始顺时针查找，将数据分布到找到的第一个服务器节点上。

一致性hash的优点在于加入和删除节点时只会影响到在哈希环中相邻的节点，而对其他节点没有影响。

所以使用一致性哈希在集群扩容过程中可以减少数据的迁移。

好了，这次分享到这里，我们日常的实践可能只会用到其中一种方案，但它不是数据库架构的全貌，打开技术视野，才能更好地把存储工具利用起来。

老规矩，一键三连，日入两千，点赞在看，年薪百万！

本文作者：Jensen

7年Java老兵，小米主题设计师，手机输入法设计师，ProcessOn特邀讲师。

曾涉猎航空、电信、IoT、垂直电商产品研发，现就职于某知名电商企业。

技术公众号 【架构师修行录】 号主，专注于分享日常架构、技术、职场干货，Java Goals：架构师。

交个朋友，一起成长！

性能测试需要会编程语言么

性能测试是通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试。负载测试和压力测试都属于性能测试，两者可以结合进行。通过负载测试，确定在各种工作负载下系统的性能，目标是测试当负载逐渐增加时，系统各项性能指标的变化情况。压力测试是通过确定一个系统的瓶颈或者不能接收的性能点，来获得系统能提供的最大服务级别的测试。
　　性能测试类型包括负载测试，强度测试，容量测试等。
　　负载测试(Load Testing)：负载测试是一种性能测试指数据在超负荷环境中运行，程序是否能够承担。负载测试强调的是系统能够达到的峰值指标。
　　强度测试(Stress Testing)： 强度测试是一种性能测试，他在系统资源特别低的情况下软件系统运行情况。强度测试强调的是系统在高负载情况下能够稳定工作，即在极端情况下系统的稳定性。
　　容量测试(Volume Testing)：确定系统可处理同时在线的最大用户数。
　如果想真的做好性能测试，需要学习的东西还是比较多的。简单列一下吧。
　　1. 精通性能测试的基本概念，过程，方法论，了解性能工程;
　　2. 精通1个商业性能测试工具+1个开源性能测试工具，知道工具可以做什么，不可以做什么，以及工具使用中常见的问题和解决思路;
　　3. 扎实的计算机专业基础知识，包括计算机组成原理、操作系统、数据库原理、计算机网络原理;
　　4. 熟悉至少1个常用的数据库产品，例如SQL Server或者 Oracle，能进行一般的数据库管理操作，熟悉SQL脚本的使用，熟悉常用的数据调优工具和常用的counter;
　　5. 熟悉至少一个操作系统的原理，Windows或者Linux都可以，熟悉操作系统的体系架构、操作系统的重要基础概念，以及内存管理、存储/文件系统、驱动/硬件的管理、网络协议的实现及构成、性能的监控方法和原理，熟悉常用的counter;
　　6. 熟悉至少一个web server 产品，例如apache，了解一般的配置和常用的counter;
　　7. 熟悉至少一个应用服务器产品，例如tomcat，了解一般的配置，熟悉常用的服务器性能监控方法和原理，熟悉常用的counter;
　　8. 至少熟悉TCP/IP协议，熟悉HTTP协议，至少见过并了解三层、四层交换或者路由器的使用和配置。

计算机科学与技术主要学什么

计算机科学与技术主要学计算机数据库原理、Java语言、图形学、人工智能、多媒体技术、网络安全、人机交互、无线互联网技术、软件开发方法、高性能技术、系统仿真和虚拟现实等。计算机科学与技术也叫做CS专业，顾名思义，是学习计算机相关的科学原理和专业技术的一门学科。

计算机科学与技术是国家以及学科，下设信息安全、软件工程、计算机软件与理论、计算机系统结构、计算机应用技术、计算机技术等专业。

盘点一下计算机科学与技术专业的就业方向：

考研，出国留学：这个专业是计算机专业当中最多学生考研的专业，因为只要有计算机专业的学校，肯定有这个专业，考研中的专业课知识，基本在本科阶段都学习过，只要基础打得好，考研专业课轻轻松松。

出国留学深造也是不错的一个选择，国外很多名校有CS专业，但是记得把专业成绩学好，把英语学好，把学分拿到。

公务员和事业单位：体制内的单位特别喜欢招聘CS专业的计算机学生，特别是在大城市，大城市现代化、信息化程度比较高，很多业务都需要计算机来处理。而CS专业的学生各方面都比较综合，可以帮忙解决工作上的各种计算机问题，所以深受大家的喜爱。

另外建议你在大学期间去考国家软件资格水平考试（软考）证书，这个证书非常有用，可以评职称，去年深圳公务员的招聘中就有一些岗位要求软考中级证书。

软件开发：如果你想以后做一个程序员，年薪百万，那就好好把《数据结构和算法》这门课程学好，基本上每个大公司笔试，面试都会考算法，如果没学好只能去中小厂了。最好能选择一门自己喜欢的编程语言如JAVA或者C++等，去深入学习，如果老师没教，你就自学，看视频也好，看书也行，反正不要浪费了时间。

计算机专业最重要的能力不是什么数学天赋，而是动手实践的能力，有一个普遍的说法是，计算机专业的学生想要在毕业后找份程序员的工作，在大学4年一定要有一万行以上的代码量。如果没有，那你不是一个合格计算机专业毕业生。

同时也建议你在大学期间去考国家软件资格水平考试的《软件设计师》证书，这个证书非常有用，在国企可以评职称。

这个方向的人才差距还是挺大的，学得好的刚毕业年薪就可以上百万，学不好的月薪3千多也是很普遍的。不过这个方向的也有缺点，就是要加班，如阿里的996福报，但是有付出就有回报，如果你家庭条件不是很好，需要赚钱，建议你可以学好这个专业去大厂工作，绝对不会亏待你。

网络工程师：CS专业还可以从事网络工程方向的工作，比如做一个网络工程师，如果你想从事这个方向，建议把《计算机网络》这门课程学好，和网络相关的课程都要关注。

一个企业，一栋楼宇的网络建设，网络规划，IP地址的规划，局域网的组建等等，都是网络工程师的工作，如果你喜欢这样的工作，建议你在大学期间去考华为的证书或者思科公司的CCIE证书，以考促学，对你以后找工作非常有帮助。

这个方向也有对应的软考证书《网络工程师》和《网络规划师》证书，某些国企是可以评职称的。

游戏开发工程师：如果你很喜欢玩游戏，王者荣耀、LOL、鬼泣、战地等，你还可以去做一个游戏开发工程师。

每个男孩心中都有一个游戏梦，这是一个能为人类创造快乐的工作，如果你想亲自开发一款游戏，这个方向很适合你。同时游戏开发的工资也很让人羡慕，听说王者荣耀团队发了上百个月的奖金。瞬间就财务自由了。