Migracija podataka uz mapiranje upotrebom MERGE komande

Objavljeno: 28-09-2015 | Autor: Nenad Živković | Kategorija: T-SQL, Trikovi

Ознаке:

0

Prebacivanje podataka iz jedne tabele u drugu je nešto što svaki DB developer radi manje-više redovno. Povremeno se, kod tog procesa, može pojaviti i dodatna komplikacija da svi preneti redovi moraju dobiti nove PK u novoj tabeli. Razlozi za to mogu biti različiti: da u ciljnoj tabeli već postoje redovi koji imaju iste ID-eve kao i u izvornoj, da se razlikuje IDENTITY SEED dve tabele, da se razlikuju tipovi podataka PK-a ili čak da se razlikuje i broj PK kolona. U svakom slučaju, najčešće je potrebno usput sačuvati i vezu između novih i starih ID-eva u nekoj tabeli za mapiranje.

Ovaj članak će opisati rešenje za tu situaciju: Prebacivanje redova iz jedne tabele u drugu, gde se u destinacionoj tabeli dodeljuju novi ID-evi, a pritom čuvamo vezu u trećoj tabeli.

Kao primer uzećemo tabelu dbo.CrtaniFilmovi iz naše baze koja kao primarni ključ ima kolonu CrtacID i pored nje još dve kolone sa opisom i nazivom.

MergeMapiranje - CrtaniFilmovi

Zadatak bi nam bio da prebacimo podatke o crtanim filmovima u neku tabelu dbo.Cartoons koja generiše svoje ID-eve u CartoonID koloni (po drugačijem seed-u). Usput bi trebalo sačuvati i vezu između postojećih slogova i novih u tabeli dbo.CartoonsCrtaciMapping

CREATE TABLE dbo.Cartoons 
   (CartoonID INT IDENTITY(100,10)
   , CartoonName NVARCHAR(100));

CREATE TABLE dbo.CartoonsCrtaciMapping 
	(CartoonID INT, CrtacID INT);

Postoji nekoliko načina da se ovo uradi i njih nećemo detaljno opisivati u ovom članku, ali ćemo pomenuti i skrenuti pažnju na njihove nedostatke:

1. While petlja ili kursor koji bi prebacivao red po red, uz pomoć SCOPE_IDENTITY() funkcije čitati novokreirane ID-eve i upisivati ih. Možda naizgled najjednostavnije rešenje, ali već na par hiljada redova postaje neprihvatljivo neperformantno.

2. Dodati privremeno kolonu CrtacID u Cartoons tabelu, popuniti je prilikom inserta i ukloniti nakon prebacivanja podataka u Mapping tabelu. Ovo je relativno OK varijanta, ali samo ukoliko postoji mogućnost altera destinacione tabele, što, usled nedostatka prava ili zbog opasnosti da bi ometalo druge upite, neće uvek biti slučaj.

3. Prebaciti podatke prostim INSERT..SELECT bez razmišljanja o mapiranju, a nakon toga uraditi JOIN između destinacione i izvorne tabele po unique kolonama. Prošlo bi u našem primeru sa kolonama CartoonName i Naziv, ali šta ako nemamo unique kolone? Šta ako u već postojećim podacima postoje podaci identični onim koji se ubacuju? Dosta upitnika i dosta rizična varijanta.

4. Aktivirati IDENTITY_INSERT nad ciljnom tabelom i voditi ručno računa o ključevima ili uz pomoć nekih privremenih tabela. Još jedna riskanta varijanta, a koja usput zahteva i da se tabela zaključa i spreči bilo kakav upis sa strane dok traje migracija.

Jedina logična i bezbedna opcija bila bi korišćenje OUTPUT klauzule prilikom inserta, nešto kao u sledećem primeru:

INSERT INTO dbo.Cartoons
OUTPUT INSERTED.CartoonID, CrtaniFilmovi.CrtacID
INTO dbo.CartoonsCrtaciMapping
SELECT Naziv 
FROM dbo.CrtaniFilmovi;

Međutim navedeni upit će vratiti grešku, s obzirom da u OUTPUT-u nije moguće koristiti kolone iz SELECT dela već samo one koje su insertovane.

Msg 4104, Level 16, State 1, Line 2
The multi-part identifier „CrtaniFilmovi.CrtacID“ could not be bound.

Problem se prevazilazi tako što se umesto INSERT naredbe može upotrebiti MERGE naredba koja dozvoljava OUTPUT i izvornih podataka. Iako originalna namena MERGE-a nije za prost INSERT, ništa nas ne sprečava da je upotrebimo tako. Samo ćemo za spajanje staviti neki nemogući uslov i u svakom slučaju će se desiti INSERT:

MERGE dbo.Cartoons
USING dbo.CrtaniFilmovi 
	ON 1=2
WHEN NOT MATCHED THEN
	INSERT (CartoonName)
	VALUES (Naziv)
	OUTPUT INSERTED.CartoonID, CrtaniFilmovi.CrtacID
	INTO CartoonsCrtaciMapping;

Izvršavanjem ove naredbe svi crtaći iz naše tabele će biti prebačeni u novu dbo.Cartoons, a usput će i mapping tabela biti popunjena novim i starim ID-evima.

MergeMapiranje - CartoonsMapping

Naravno, ovo je moguće samo ukoliko koristite SQL Server 2008 ili noviji gde postoji komanda MERGE. Ukoliko ste i dalje na 2005 moraćete da primenite neku od gore pomenutih varijanti (2 ili 3 ukoliko je moguće).

Keyboard Query Shortcuts – Prečice za izvršavanje upita

Objavljeno: 20-03-2015 | Autor: Nenad Živković | Kategorija: Management Studio, Trikovi

0

Kao skoro svaki program danas, i SQL Server Managment Studio nudi opciju da se razne operacije mogu pozivati prečicama sa tastature. Mnoge od njih verovatno i koristite svakodnevno, ali ono što ćemo opisati u ovom članku je posebna vrsta prečica koje nisu toliko poznate, a zovu se Query Shortcuts. U pitanju su prečice koje umesto okidanja definisanih komandi, izvršavaju unapred pripremljene upite. Ako dodate prave upite i malo se naviknete, ove prečice mogu značajno da vam olakšaju svakodnevni rad.

Za podešavanje, otvorite iz menija Tools -> Options, a zatim, u otvorenom prozoru sa leve strane Environment -> Keyboard -> Query Shortcuts.

Keyboard Query Shortcuts Options

Neke od ovih prečica su već predefinisane u SSMS, ali možete i sami da ih promenite ili

Pretraga procedura, viewova i funkcija bez komentara

Objavljeno: 29-12-2014 | Autor: Nenad Živković | Kategorija: Funkcije, Stored procedure, T-SQL, View-ovi

0

Bliži se kraj godine i jedno pitanje sa kojim se kao developer možda sretnete u to vreme, a pogotovu ako radite sa bazama koje niste samo vi održavali, je „Da li je negde u nekoj proceduri ostala zakucana godina?“

Alata i programa za pretragu procedura, viewova i funkcija ima dosta na tržištu, uglavnom svi funkcionišu dobro, a mnogi su čak i besplatni. Međutim, problem koji se javlja kod svih tih programa je, što u rezultate pretrage uvek ulaze i komentari unutar procedura, odnosno vraćaju među rezultate i procedure gde se termin koji tražite nalazi unutar komentara. To najčešće nije problem, ali kada se traži godina ili datum može biti. Ukoliko redovno vodite u zaglavlju procedura evidenciju izmena, ili imate primere poziva koji u sebi uključuju datum, verovatno da ćete za pretragu termina „2014“ dobiti sve procedure koje ste menjali u toku 2014. godine.

Naravno, postoji i opcija da sami pretražujete sistemske viewove, ali problem ostaje isti.

Da bismo prevazišli problem, mi smo vam pripremili jedan upit – proceduru koja radi pretragu, ali pre toga uklanja sve komentare i pretražuje samo kod.

Funkcije za splitovanje stringova

Objavljeno: 27-11-2014 | Autor: Nenad Živković | Kategorija: Funkcije, T-SQL

Ознаке: , , , ,

0

Pre nekog vremena smo u dva članka (1, 2) opisali proces konkatenacije, odnosno spajanja vrednosti iz kolone u jedan string. Ovog puta prikazaćemo obrnut proces – kako iz jednog csv stringa dobiti sve pojedinačne vrednosti. Kako je ovaj proces malo složeniji i za pojedinačni string treba da vrati tabelu, obično se u te svrhe koriste table-valued funkcije, tzv. splitting funkcije.

Odmah da napomenemo da je najispravnija varijanta za splitting funkciju korišćenje CLR. Međutim, to ćemo ostaviti za neki naredni članak, a u ovom ćemo opisati nekoliko T-SQL rešenja. Njih postoji dosta, a mi smo izabrali pet koje smo prilagodili i adaptirali tako da sve funkcije imaju iste ulazne parametre i vraćaju iste rezultate:

  • Prvi ulazni parametar je string koji se splituje, u NVARCHAR(MAX) formatu
  • Drugi ulazni parametar je delimiter, koji i sam može imati do 255 znakova
  • Ukoliko delimiter nije prosleđen koristi se zarez (,)
  • Rezultat funkcije je tabela sa dve kolone: RedniBroj i Element
  • Povratni elementi su tipa NVARCHAR(4000)
  • Blanko znakovi na početku svakog elementa se uklanjaju

While petlja

Prvo rešenje koje ćemo opisati je ujedno i ono koje se najčešće koristi. Odseca se prvi element, a zatim u while petlji ponavlja proces nad ostatkom stringa.

Provera JMBG

Objavljeno: 29-09-2014 | Autor: Nenad Živković | Kategorija: Funkcije

0

Jedinstveni matični broj građana ili skraćeno JMBG uveden je sedamdesetih godina prošlog veka u tadašnjoj Jugoslaviji i, kako mu i ime kaže, predstavlja jedinstveni identifikacioni broj koji je dodeljivan svakom građaninu. Osim u Hrvatskoj, gde je u procesu zamene, JMBG je, i danas, u upotrebi u svim novonastalim državama od bivših republika SFRJ. Kao takav, JMBG se danas nalazi u gotovo svakoj bazi koja čuva podatke o fizičkim licima, makar kao opisno polje, a zbog svoje jedinstvenosti često je i primarni ključ takvih tabela.

Sam JMBG sastoji se od 13 cifara koje sa sobom nose određene informacije, kao što su datum i mesto rođenja ili pol osobe. Više detalja o samom JMBG-u možete pročitati na Wikipedia članku, a mi smo vam pripremili par SQL skriptova pomoću kojih možete izvući te podatke i proveriti validnost samog broja.

Agregirani bitovi

Objavljeno: 19-06-2014 | Autor: Nenad Živković | Kategorija: Funkcije, T-SQL, Trikovi

Ознаке: , , ,

0

Ukoliko dobijete ideju da proverite da li u nekoj BIT koloni postoji makar jedna vrednost true ili makar jedna vrednost false, možda će vam prvo pasti na pamet ideja da iskoristite agregatne funkcije MAX() ili MIN() i lako proverite da li su sve vrednosti iste, s obzirom da postoje samo dve moguće vrednosti.

Međutim, ako pokušate da izvršite komandu:

SELECT MAX(UBoji) FROM dbo.CrtaneEpizode;

ubrzo ćete udariti u zid pošto se javlja sledeća greška:

Msg 8117, Level 16, State 1, Line 1
Operand data type bit is invalid for max operator.

Kreiranje XML-a za svaki red u tabeli

Objavljeno: 01-04-2014 | Autor: Nenad Živković | Kategorija: T-SQL, Trikovi, XML

0

Nedavno smo objasnili kako se tabela ili rezultat nekog upita mogu pretvoriti u XML. Kao mala dopuna tog članka, danas ćemo prikazati i trik kako se svaki red tabele može pretvoriti u zaseban XML.

Već objašnjena sintaksa FOR XML sada se koristi unutar podupita, a kao uslov se dodaje JOIN tabele sa samom sobom:

SELECT 
	CrtacID
  , Naziv
  , Opis
  , (
		SELECT cfx.*
		FROM dbo.CrtaniFilmovi cfx
		WHERE cfx.CrtacID = cf.CrtacID
		FOR XML PATH ('')
	) AS CrtacXML
FROM dbo.CrtaniFilmovi cf;

XML za svaki red u tabeli

Rekurzivni CTE za kreiranje datuma

Objavljeno: 05-03-2014 | Autor: Nenad Živković | Kategorija: T-SQL, Trikovi

Ознаке: , ,

0

Ukoliko vam je potrebno da izvučete sve datume u nekom periodu, to možete učiniti uz pomoć rekurzivnog CTE kome zadate početni i krajnji datum. U baznom delu se selektuje početni datum, a u rekurzivnom dodaje po jedan dan dok ne stigne do krajnjeg. Primer je u sledećem upitu:

DECLARE @pocetni DATE;
DECLARE @krajnji DATE;

SET @pocetni = '20131226';
SET @krajnji = '20140304';

WITH datumi AS 
(
	SELECT @pocetni AS DT
	UNION ALL
	SELECT DATEADD(DD, 1, DT)
	FROM datumi
	WHERE DATEADD(DD, 1, DT) <= @krajnji
)
SELECT * FROM datumi
OPTION (MAXRECURSION 0);

Višestruko izvršavanje istog upita – GO n

Objavljeno: 15-02-2014 | Autor: Nenad Živković | Kategorija: Management Studio

0

Jedna od manje poznatih funkcionalnosti SQL Server Management Studia, a koja zna da bude korisna povrеmeno, je mogućnost da izvršite istu komadnu (ili grupu komandi) više puta. Naime jednostavno navođenje broja (n) iza reči GO na kraju upita, izvršiće taj upit n puta.

Nenamerni korelacioni podupiti

Objavljeno: 02-02-2014 | Autor: Nenad Živković | Kategorija: T-SQL

0

Neki od vas znaju šta su korelacioni podupiti (correlated subqueries) i možda ih i koristite. Neki ne znaju i mogu da žive i bez njih. Problem, i to veliki, i jednim i drugim, može da nastane kada upotrebe takve podupite, a da toga nisu ni svesni.

Za primer uzećemo tabelu CrtaniFilmovi iz Kefalo baze, koja kao primarni ključ ima kolonu CrtacID i kao drugu pomoćnu tabelu kreiraćemo temp tabelu #OdabraniCrtaci koja će imati samo jednu kolonu ID.

CREATE TABLE #OdabraniCrtaci (ID INT);
INSERT INTO #OdabraniCrtaci (ID) VALUES (1),(3);

Dodaćemo vrednosti 1 i 3 u tabelu #OdabraniCrtaci, i sadržaj obe tabele će izgledati ovako: