有时,为了让应用程序运行得更快,所做的全部工作就是在这里或那里做一些很小调整。但关键在于确定如何进行调整!迟早您会遇到这种情况:应用程序中的SQL查询不能按照您想要的方式进行响应。它要么不返回数据,要么耗费的时间长得出奇。如果它降低了企业应用程序的速度,用户必须等待很长时间。用户希望应用程序响应迅速,他们的报告能够在瞬间之内返回分析数据。就我自己而言,如果在Web上冲浪时某个页面要耗费十多秒才能加载,我也会很不耐烦。
为了解决这些问题,重要的是找到问题的根源。那么,从哪里开始呢?根本原因通常在于数据库设计和访问它的查询。我将讲述五项技术,这些技术可用于提高基于SQL Server的应用程序的性能或改善其可伸缩性。我将仔细说明LEFT join、CROSS join的使用以及IDENTITY值的检索。请记住,根本没有神奇的解决方案。调整您的数据库及其查询需要占用时间、进行分析,还需要大量的测试。这些技术都已被证明行之有效,但对您的应用程序而言,可能其中一些技术比另一些技术更适用。
一、从insert返回IDENTITY
我决定从遇到许多问题的内容入手:如何在执行SQL insert后检索IDENTITY值。通常,问题不在于如何编写检索值的查询,而在于在哪里以及何时进行检索。在SQL Server中,下面的语句可用于检索由最新在活动数据库连接上运行的 SQL 语句所创建的IDENTITY 值:
select @@IDENTITY
这个SQL语句并不复杂,但需要记住的一点是:如果这个最新的SQL语句不是insert,或者您针对非insert SQL的其他连接运行了此SQL,则不会获得期望的值。您必须运行下列代码才能检索紧跟在 insert SQL 之后且位于同一连接上的 IDENTITY,如下所示:
insert INTO Products (ProductName) VALUES (’Chalk’)
select @@IDENTITY
在一个连接上针对Northwind数据库运行这些查询将返回一个名称为Chalk的新产品的IDENTITY值。所以,在使用ADOVisual Basic应用程序中,可以运行以下语句:
Set oRs = oCn.execute(“SET NOcount ON;insert INTO Products _
(ProductName) VALUES (’Chalk’);select @@IDENTITY”)
lProductID = oRs(0)
此代码告诉SQL Server不要返回查询的行计数,然后执行insert语句,并返回刚刚为这个新行创建的IDENTITY值。SET NOcount ON语句表示返回的记录集有一行和一列,其中包含了这个新的 IDENTITY 值。如果没有此语句,则会首先返回一个空的记录集(因为 insert语句不返回任何数据),然后会返回第二个记录集,第二个记录集中包含 IDENTITY 值。这可能有些令人困惑,尤其是因为您从来就没有希望过 insert 会返回记录集。之所以会发生此情况,是因为 SQL Server 看到了这个行计数(即一行受到影响)并将其解释为表示一个记录集。因此,真正的数据被推回到了第二个记录集。当然您可以使用 ADO 中的 NextRecordset 方法获取此第二个记录集,但如果总能够首先返回该记录集且只返回该记录集,则会更方便,也更有效率。
此方法虽然有效,但需要在SQL语句中额外添加一些代码。获得相同结果的另一方法是在insert之前使用SET NOcount ON语句,并将select @@IDENTITY语句放在表中的 FOR insert触发器中,如下面的代码片段所示。这样,任何进入该表的 insert 语句都将自动返回 IDENTITY 值。
create TRIGGER trProducts_insert ON Products FOR insert AS
select @@IDENTITY
GO
触发器只在Products表上发生insert时启动,所以它总是会在成功insert之后返回一个IDENTITY。使用此技术,您可以始终以相同的方式在应用程序中检索IDENTITY值。
二、内嵌视图与临时表
某些时候,查询需要将数据与其他一些可能只能通过执行GROUP BY然后执行标准查询才能收集的数据进行联接。例如,如果要查询最新五个定单的有关信息,您首先需要知道是哪些定单。这可以使用返回定单ID的SQL查询来检索。此数据就会存储在临时表(这是一个常用技术)中,然后与Products表进行联接,以返回这些定单售出的产品数量:
create TABLE #Temp1 (OrderID INT NOT NULL, _
OrderDate DATETIME NOT NULL)
insert INTO #Temp1 (OrderID, OrderDate)
select TOP 5 o.OrderID, o.OrderDate
FROM Orders o ORDER BY o.OrderDate DESC
select p.ProductName, SUM(od.Quantity) AS ProductQuantity
FROM #Temp1 t
INNER join [Order Details] od ON t.OrderID = od.OrderID
INNER join Products p ON od.ProductID = p.ProductID
GROUP BY p.ProductName
ORDER BY p.ProductName
drop TABLE #Temp1
这些SQL语句会创建一个临时表,将数据插入该表中,将其他数据与该表进行联接,然后除去该临时表。这会导致此查询进行大量I/O操作,因此,可以重新编写查询,使用内嵌视图取代临时表。内嵌视图只是一个可以联接到FROM子句中的查询。所以,您不用在tempdb中的临时表上耗费大量I/O和磁盘访问,而可以使用内嵌视图得到同样的结果:
select p.ProductName,
SUM(od.Quantity) AS ProductQuantity
FROM (
select TOP 5 o.OrderID, o.OrderDate
FROM Orders o
ORDER BY o.OrderDate DESC
) t
INNER join [Order Details] od ON t.OrderID = od.OrderID
INNER join Products p ON od.ProductID = p.ProductID
GROUP BY
p.ProductName
ORDER BY
p.ProductName
此查询不仅比前面的查询效率更高,而且长度更短。临时表会消耗大量资源。如果只需要将数据联接到其他查询,则可以试试使用内嵌视图,以节省资源。
三、避免 LEFT join 和 NULL
当然,有很多时候您需要执行LEFT join和使用NULL值。但是,它们并不适用于所有情况。改变SQL查询的构建方式可能会产生将一个花几分钟运行的报告缩短到只花几秒钟这样的天壤之别的效果。有时,必须在查询中调整数据的形态,使之适应应用程序所要求的显示方式。虽然TABLE数据类型会减少大量占用资源的情况,但在查询中还有许多区域可以进行优化。SQL 的一个有价值的常用功能是LEFT join。它可以用于检索第一个表中的所有行、第二个表中所有匹配的行、以及第二个表中与第一个表不匹配的所有行。例如,如果希望返回每个客户及其定单,使用LEFT join则可以显示有定单和没有定单的客户。
此工具可能会被过度使用。LEFT join消耗的资源非常之多,因为它们包含与 NULL(不存在)数据匹配的数据。在某些情况下,这是不可避免的,但是代价可能非常高。LEFT join比INNER join消耗资源更多,所以如果您可以重新编写查询以使得该查询不使用任何LEFT join,则会得到非常可观的回报。
加快使用LEFT join的查询速度的一项技术涉及创建一个 TABLE 数据类型,插入第一个表(LEFT join 左侧的表)中的所有行,然后使用第二个表中的值更新TABLE数据类型。此技术是一个两步的过程,但与标准的 LEFT join 相比,可以节省大量时间。一个很好的规则是尝试各种不同的技术并记录每种技术所需的时间,直到获得用于您的应用程序的执行性能最佳的查询。
测试查询的速度时,有必要多次运行此查询,然后取一个平均值。因为查询(或存储过程)可能会存储在SQL Server内存中的过程缓存中,因此第一次尝试耗费的时间好像稍长一些,而所有后续尝试耗费的时间都较短。另外,运行您的查询时,可能正在针对相同的表运行其他查询。当其他查询锁定和解锁这些表时,可能会导致您的查询要排队等待。例如,如果您进行查询时某人正在更新 此表中的数据,则在更新提交时您的查询可能需要耗费更长时间来执行。
避免使用LEFT join时速度降低的最简单方法是尽可能多地围绕它们设计数据库。例如,假设某一产品可能具有类别也可能没有类别。如果Products表存储了其类别的ID,而没有用于某个特定产品的类别,则您可以在字段中存储NULL值。然后您必须执行LEFT join来获取所有产品及其类别。您可以创建一个值为“No Category”的类别,从而指定外键关系不允许NULL值。通过执行上述操作,现在您就可以使用INNER join检索所有产品及其类别了。虽然这看起来好像是一个带有多余数据的变通方法,但可能是一个很有价值的技术,因为它可以消除SQL批处理语句中消耗资源较多的LEFT join。在数据库中全部使用此概念可以为您节省大量的处理时间。请记住,对于您的用户而言,即使几秒钟的时间也非常重要,因为当您有许多用户正在访问同一个联机数据库应用程序时,这几秒钟实际上的意义会非常重大。
四、灵活使用笛卡尔乘积
对于此技巧,我将进行非常详细的介绍,并提倡在某些情况下使用笛卡尔乘积。出于某些原因,笛卡尔乘积 (CROSS join) 遭到了很多谴责,开发人员通常会被警告根本就不要使用它们。在许多情况下,它们消耗的资源太多,从而无法高效使用。但是像 SQL 中的任何工具一样,如果正确使用,它们也会很有价值。例如,如果您想运行一个返回每月数据(即使某一特定月份客户没有定单也要返回)的查询,您就可以很方便地使用笛卡尔乘积。
虽然这看起来好像没什么神奇的,但是请考虑一下,如果您从客户到定单(这些定单按月份进行分组并对销售额进行小计)进行了标准的INNER join,则只会获得客户有定单的月份。因此,对于客户未订购任何产品的月份,您不会获得0值。如果您想为每个客户都绘制一个图,以显示每个月和该月销售额,则可能希望此图包括月销售额为 0 的月份,以便直观标识出这些月份。如果使用Figure 2(最后一页) 中的SQL,数据则会跳过销售额为 0 美元的月份,因为在定单表中对于零销售额不会包含任何行(假设您只存储发生的事件)。
Figure 3(最后一页)中的代码虽然较长,但是可以达到获取所有销售数据(甚至包括没有销售额的月份)的目标。首先,它会提取去年所有月份的列表,然后将它们放入第一个 TABLE 数据类型表 (@tblMonths) 中。下一步,此代码会获取在该时间段内有销售额的所有客户公司的名称列表,然后将它们放入另一个TABLE数据类型表 (@tblCus-tomers) 中。这两个表存储了创建结果集所必需的所有基本数据,但实际销售数量除外。 第一个表中列出了所有月份(12行),第二个表中列出了这个时间段内有销售额的所有客户(对于我是81个)。并非每个客户在过去12个月中的每个月都购买了产品,所以,执行INNER join或LEFT join不会返回每个月的每个客户。这些操作只会返回购买产品的客户和月份。
笛卡尔乘积则可以返回所有月份的所有客户。笛卡尔乘积基本上是将第一个表与第二个表相乘,生成一个行集合,其中包含第一个表中的行数与第二个表中的行数相乘的结果。因此,笛卡尔乘积会向表@tblFinal返回972行。最后的步骤是使用此日期范围内每个客户的月销售额总计更新@tblFinal表,以及选择最终的行集。
如果由于笛卡尔乘积占用的资源可能会很多,而不需要真正的笛卡尔乘积,则可以谨慎地使用CROSS join。例如,如果对产品和类别执行了CROSS join,然后使用where子句、DISTINCT或GROUP BY来筛选出大多数行,那么使用INNER join会获得同样的结果,而且效率高得多。如果需要为所有的可能性都返回数据(例如在您希望使用每月销售日期填充一个图表时),则笛卡尔乘积可能会非常有帮助。但是,您不应该将它们用于其他用途,因为在大多数方案中INNER join的效率要高得多。
五、拾遗补零
这里介绍其他一些可帮助提高SQL查询效率的常用技术。假设您将按区域对所有销售人员进行分组并将他们的销售额进行小计,但是您只想要那些数据库中标记为处于活动状态的销售人员。您可以按区域对销售人员分组,并使用HAVING子句消除那些未处于活动状态的销售人员,也可以在where子句中执行此操作。在where子句中执行此操作会减少需要分组的行数,所以比在HAVING子句中执行此操作效率更高。HAVING 子句中基于行的条件的筛选会强制查询对那些在 where 子句中会被去除的数据进行分组。
另一个提高效率的技巧是使用DISTINCT关键字查找数据行的单独报表,来代替使用GROUP BY子句。在这种情况下,使用DISTINCT关键字的SQL效率更高。请在需要计算聚合函数(SUM、count、MAX 等)的情况下再使用GROUP BY。另外,如果您的查询总是自己返回一个唯一的行,则不要使用DISTINCT关键字。在这种情况下,DISTINCT关键字只会增加系统开销。
您已经看到了,有大量技术都可用于优化查询和实现特定的业务规则,技巧就是进行一些尝试,然后比较它们的性能。最重要的是要测试、测试、再测试。
Figure 2 Returning All Customers and Their Sales
set nocount on
DECLARE @dtStartDate DATETIME,
@dtEndDate DATETIME,
@dtDate DATETIME
SET @dtEndDate = ’5/5/1997’
SET @dtEndDate = DATEADD(DD, -1, cast(cast((MONTH(@dtEndDate) + 1)
AS VARchar(2)) + ’/01/’ + cast(YEAR(@dtEndDate) AS VARchar(4)) + ’
23:59:59’ AS DATETIME))
SET @dtStartDate = DATEADD(MM, -1 * 12, @dtEndDate)
select cast(YEAR(o.OrderDate) AS VARchar(4)) + ’-’ +
CASE
WHEN MONTH(o.OrderDate) < 10
THEN ’0’ + cast(MONTH(o.OrderDate) AS VARchar(2))
ELSE cast(MONTH(o.OrderDate) AS VARchar(2))
END AS sMonth,
c.CustomerID,
c.CompanyName,
c.ContactName,
SUM(od.Quantity * od.UnitPrice) AS mSales
FROM Customers c
INNER join Orders o ON c.CustomerID = o.CustomerID
INNER join [Order Details] od ON o.OrderID = od.OrderID
where o.OrderDate BETWEEN @dtStartDate AND @dtEndDate
GROUP BY
cast(YEAR(o.OrderDate) AS VARchar(4)) + ’-’ +
CASE
WHEN MONTH(o.OrderDate) < 10
THEN ’0’ + cast(MONTH(o.OrderDate) AS VARchar(2))
ELSE cast(MONTH(o.OrderDate) AS VARchar(2))
END,
c.CustomerID,
c.CompanyName,
c.ContactName
ORDER BY
c.CompanyName,
sMonth
Figure 3 Cartesian Product at Work
DECLARE @tblMonths TABLE (sMonth VARchar(7))
DECLARE @tblCustomers TABLE ( CustomerID char(10),
CompanyName VARchar(50),
ContactName VARchar(50))
DECLARE @tblFinal TABLE ( sMonth VARchar(7),
CustomerID char(10),
CompanyName VARchar(50),
ContactName VARchar(50),
mSales MONEY)
DECLARE @dtStartDate DATETIME,
@dtEndDate DATETIME,
@dtDate DATETIME,
@i INTEGER
SET @dtEndDate = ’5/5/1997’
SET @dtEndDate = DATEADD(DD, -1, cast(cast((MONTH(@dtEndDate) + 1) AS
VARchar(2)) + ’/01/’ + cast(YEAR(@dtEndDate) AS VARchar(4)) + ’
23:59:59’ AS DATETIME))
SET @dtStartDate = DATEADD(MM, -1 * 12, @dtEndDate)
— Get all months into the first table
SET @i = 0
WHILE (@i < 12)
BEGIN
SET @dtDate = DATEADD(mm, -1 * @i, @dtEndDate)
insert INTO @tblMonths select cast(YEAR(@dtDate) AS VARchar(4)) + ’-’ +
CASE
WHEN MONTH(@dtDate) < 10
THEN ’0’ + cast(MONTH(@dtDate) AS VARchar(2))
ELSE cast(MONTH(@dtDate) AS VARchar(2))
END AS sMonth
SET @i = @i + 1
END
— Get all clients who had sales during that period into the “y” table
insert INTO @tblCustomers
select DISTINCT
c.CustomerID,
c.CompanyName,
c.ContactName
FROM Customers c
INNER join Orders o ON c.CustomerID = o.CustomerID
where o.OrderDate BETWEEN @dtStartDate AND @dtEndDate
insert INTO @tblFinal
select m.sMonth,
c.CustomerID,
c.CompanyName,
c.ContactName,
0
FROM @tblMonths m CROSS join @tblCustomers c
update @tblFinal SET
mSales = mydata.mSales
FROM @tblFinal f INNER join
(
select c.CustomerID,
cast(YEAR(o.OrderDate) AS VARchar(4)) + ’-’ +
CASE WHEN MONTH(o.OrderDate) < 10
THEN ’0’ + cast(MONTH(o.OrderDate) AS VARchar(2))
ELSE cast(MONTH(o.OrderDate) AS VARchar(2))
END AS sMonth,
SUM(od.Quantity * od.UnitPrice) AS mSales
FROM Customers c
INNER join Orders o ON c.CustomerID = o.CustomerID
INNER join [Order Details] od ON o.OrderID = od.OrderID
where o.OrderDate BETWEEN @dtStartDate AND @dtEndDate
GROUP BY
c.CustomerID,
cast(YEAR(o.OrderDate) AS VARchar(4)) + ’-’ +
CASE WHEN MONTH(o.OrderDate) < 10
THEN ’0’ + cast(MONTH(o.OrderDate) AS VARchar(2))
ELSE cast(MONTH(o.OrderDate) AS VARchar(2))
END
) mydata on f.CustomerID = mydata.CustomerID AND f.sMonth =
mydata.sMonth
select f.sMonth,
f.CustomerID,
f.CompanyName,
f.ContactName,
f.mSales
FROM @tblFinal f
ORDER BY
f.CompanyName,
f.sMonth
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
相关推荐
-
云端SQL Server高可用性最佳做法
与内部部署相比,在云端运行SQL Server可为数据库软件用户提供更多的灵活性和可扩展性,也可能更省钱。但云 […]
-
绘制数据关系图的利器:SQL Server 图像数据库工具
SQL Server 2017新增了图形数据库功能,你可以使用图结构来表示不同数据元素之间的关系。
-
如何在Azure部署时选择合适的SQL Server?
想要在Azure上运行SQL Server,企业一般会面临两种选择:在Azure虚拟机上安装SQL Server或使用Azure SQL Database。
-
Linux支持的引入 推动了SQL Server 2016集成服务的发展
随着SQL Server的不断发展,集成服务也在发生相应的变化。在最新的SSIS更新中,增加Linux支持和SQL Server 2016升级向导。