|
|
本實(shí)驗(yàn)中所用到工具為VS2008和SQL SERVER 2000、SQL SERVER 2008，分別使用5中方法將100萬條數(shù)據(jù)導(dǎo)入SQL 2000與SQL 2008中，實(shí)驗(yàn)環(huán)境是DELL 2850雙2.0GCPU，2G內(nèi)存的服務(wù)器。感興趣的朋友可以下載源代碼自己驗(yàn)證一下所用時(shí)間。
還要有一點(diǎn)需要進(jìn)行說明，本實(shí)驗(yàn)中執(zhí)行SQL語句的地方使用了IsLine FrameWork框架中的DataProvider模塊，這個(gè)模塊只是對(duì)SQL配置的讀取和封裝，并不會(huì)對(duì)最終結(jié)果有本質(zhì)性的影響，關(guān)于IsLine FrameWork框架方面的知識(shí)，請(qǐng)參考“IsLine FrameWork”框架系列文章。
下面進(jìn)入正題，分別使用基本的Insert 語句、使用BULK INSERT語句、在多線程中使用BULK INSERT、使用SqlBulkCopy類、在多線程中使用SqlBulkCopy類五種方法，挑戰(zhàn)4秒極限。
數(shù)據(jù)庫方面使用SQL 2000與SQL 2008，表名TableB，字段名稱為Value1，數(shù)據(jù)庫名可以在App.config中修改，默認(rèn)為test。
圖 1 試驗(yàn)中的5種方法
方法一.使用基本的Insert 語句
這種方法是最基本的方法，大多數(shù)人一開始都會(huì)想到這種方法。但是Insert語句似乎并不適合大批量的操作，是不是這樣呢？
本方法中將100萬數(shù)據(jù)分為10個(gè)批次，每個(gè)批次10萬條，每10萬條1個(gè)事務(wù)，分10次導(dǎo)入數(shù)據(jù)庫。
基本語句：Insert Into TableB (Value1) values (‘”+i+”’);
說明：語句中的i是宿主程序中的一個(gè)累加變量，用于填充數(shù)據(jù)庫字段中的值。
SQL 2000 耗時(shí)：901599
SQL 2008耗時(shí)：497638
方法二.使用BULK INSERT語句
這個(gè)類的效果，在本實(shí)驗(yàn)中可以說是最令人滿意的了，它的使用最簡(jiǎn)便、靈活，速度很快。
“BULK INSERT”語句似乎不是很常用， Aicken聽說Oracle中有一種可以將外部文件映射為Oracle臨時(shí)表，然后直接將臨時(shí)表中的數(shù)據(jù)導(dǎo)入Oracle其他表中的方法，這種方法的速度非常令人滿意，SQL SERVER的BULK INSERT是不是同樣令人滿意呢？
基本語句：BULK INSERT TableB FROM 'c://sql.txt' WITH (FIELDTERMINATOR = ',',ROWTER /.,mbMINATOR='|',BATCHSIZE = 100000)
說明：“c://sql.txt”是一個(gè)預(yù)先生成的包含100條數(shù)據(jù)的文件，這些數(shù)據(jù)以“|”符號(hào)分隔，每10萬條數(shù)據(jù)一個(gè)事務(wù)。
SQL 2000耗時(shí)：4009
SQL 2008耗時(shí)：10722
方法三.在多線程中使用BULK INSERT
在方法二的基礎(chǔ)上，將100萬條數(shù)據(jù)分五個(gè)線程，每個(gè)線程負(fù)責(zé)20萬條數(shù)據(jù)，每5萬條一個(gè)事物，五個(gè)線程同時(shí)啟動(dòng)，看看這樣的效果吧。
SQL 2000耗時(shí)：21099
SQL 2008耗時(shí)：10997
方法四.使用SqlBulkCopy類
這種方法速度也很快，但是要依賴內(nèi)存，對(duì)于幾千萬條、多字段的復(fù)雜數(shù)據(jù)，可能在內(nèi)存方面會(huì)有較大的消耗，不過可以使用64位解決方案處理這個(gè)問題。
幾千萬條、多字段的數(shù)據(jù)的情況一般在一些業(yè)務(wù)場(chǎng)景中會(huì)遇到，比如計(jì)算全球消費(fèi)者某個(gè)業(yè)務(wù)周期消費(fèi)額時(shí)，要先獲得主數(shù)據(jù)庫表中的會(huì)員消費(fèi)記錄快照，并將快照儲(chǔ)存至臨時(shí)表中，然后供計(jì)算程序使用這些數(shù)據(jù)。并且有些時(shí)候消費(fèi)者的消費(fèi)數(shù)據(jù)并不在一臺(tái)數(shù)據(jù)庫服務(wù)器中，而是來自多個(gè)國家的多臺(tái)服務(wù)器，這樣我們就必須借助內(nèi)存或外存設(shè)備中轉(zhuǎn)這些數(shù)據(jù)，然后清洗、合并、檢測(cè)，最后導(dǎo)入專用表供計(jì)算程序使用。
基本語句：
using (System.Data.SqlClient.SqlBulkCopy sqlBC = new System.Data.SqlClient.SqlBulkCopy(conn))
{
sqlBC.BatchSize = 100000;
sqlBC.BulkCopyTimeout = 60;
sqlBC.DestinationTableName = "dbo.TableB";
sqlBC.ColumnMappings.Add("valueA", "Value1");
sqlBC.WriteToServer(dt);
}
it知識(shí)庫：C#100萬條數(shù)據(jù)導(dǎo)入SQL SERVER數(shù)據(jù)庫僅用4秒 (附源碼)，轉(zhuǎn)載需保留來源！
鄭重聲明：本文版權(quán)歸原作者所有，轉(zhuǎn)載文章僅為傳播更多信息之目的，如作者信息標(biāo)記有誤，請(qǐng)第一時(shí)間聯(lián)系我們修改或刪除，多謝。
