1. 程式人生 > 實用技巧 >每日踩坑 2020-11-04 PostgreSQL 批量插入資料

每日踩坑 2020-11-04 PostgreSQL 批量插入資料

一看居然兩三個月沒寫博文了。湊。最近去考了個試,老天保佑吧。

今天有個同事跑來問我,我之前寫的資料同步工具支不支援 PostgreSQL。

然後跟我講了他的需求。感覺我隨手寫的小東西開始變成整個部門的標準方案了。。。這讓我有點惶恐。君要臣死,臣不得不死啊。

那麼換驅動,相容不同的sqlsever,mysql 這些都是老生常談了。無非就是再加上 PostgreSQL 的驅動而已。

但是所有事情要是那麼簡單就好了。

首先,我們來百度 PostgreSQL 的批量插入。因為是資料同步,所以對效能還是又一定要求的。

當我們在百度上搜索批量插入 自然應該都會找到這篇。

Npgsql使用入門(三)【批量匯入資料】_極客神殿-CSDN部落格

你會發現同樣的文章有很多的人轉載(抄襲)甚至連個轉載宣告都沒有。唉。很多人創作的心態就是被這些抄襲的人搞炸的。

按照文中的程式碼段思路,是將泛型List 轉換為 DataTable 然後直接使用二進位制匯入的API匯入。

此時我按文中程式碼實現卻丟擲了異常。我想該不會是因為文章是2016年的太老了吧。

22021: invalid byte sequence for encoding "UTF8": 0x00

這個百度一下看起來是因為字元的編碼問題。我花了一上午來嘗試從這個角度解決這個問題,全部無果而終。

這裡的心酸和彎路就不提了。

然後我仔細的看了看我 mysql 源庫的資料型別和 pgsql 的型別,發現 pgsql 大部分用的是 varcher。也就是我把大部分 mysql bigint 的值寫入了 pgsql 的varchar。

結合我在 stackoverflow上看到的零星解釋,我覺得和這個也許有些關係。然後我對照 mysql 調整了 pgsql 的欄位型別。

本來我都以為要成功了。然後錯誤變成了:

 22P03: incorrect binary data format

我心態要崩了。你說這個誰懂啊!!!我在考慮要不要開一下 pgsql 的日誌。

然後我看了看NpgsqlBinaryImporter 其他的 api。發現註釋裡寫的WriteRow 方法相當於迴圈呼叫Write 方法。(???這也太

然後看 Write 方法有些過載:

        public void Write<[NullableAttribute(2
)]T([AllowNullAttribute] T value); public void Write<[NullableAttribute(2)]T>([AllowNullAttribute] T value, NpgsqlDbType npgsqlDbType); public void Write<[NullableAttribute(2)]T>([AllowNullAttribute] T value, string dataTypeName);

NpgsqlDbType 這個引數引起了我的注意。合著 WriteRow 寫一組object。那對應的型別它肯定是取不對的 = =。

此時我的心底燃起了希望之火,那麼。我們就換這個api來插入資料,程式碼如下:

                var commandFormat = string.Format(CultureInfo.InvariantCulture, "COPY {0} FROM STDIN (FORMAT BINARY)", TableName);
                using (var writer = (db.Connection as NpgsqlConnection).BeginBinaryImport(commandFormat))
                {
                    foreach (DataRow row in dt.Rows)
                    {
                        writer.StartRow();
                        foreach (DataColumn coll in row.Table.Columns)
                        {
                            var colldbtype = coll.DataType.Name.ToString();
                            NpgsqlTypes.NpgsqlDbType pgtype = NpgsqlTypes.NpgsqlDbType.Bigint;if (colldbtype.ToLower().Contains("int64")) { pgtype = NpgsqlTypes.NpgsqlDbType.Bigint; }
                            if (colldbtype.ToLower().Contains("string")) { pgtype = NpgsqlTypes.NpgsqlDbType.Varchar; }
                            if (colldbtype.ToLower().Contains("datetime")) { pgtype = NpgsqlTypes.NpgsqlDbType.Date; }
                            writer.Write(item[coll.ColumnName], pgtype);
                        }
                    }
                    writer.Complete();

ok,成功。

這種方法的重點是 這裡計算的 pgtype 與庫中的欄位格式必須對應。