Prípadová štúdia: 250 TB SQL data warehouse pre Archív výrobnej linky, časť I.

Táto technická štúdia sa zaoberá implementáciou partitioning-u databáz pomocou partitioned views v Microsoft SQL Serveri s cieľom zlepšiť škálovateľnosť, výkon a efektívnosť správy rozsiahlych dátových súborov. Rozdelením dát do viacerých tabuliek, pričom sú prezentované ako jediná logická tabuľka, partitioned views ponúkajú efektívny prístup na zvládanie rastúcich transakčných záťaží a optimalizáciu vykonávania dotazov. Štúdia skúma architektúru, návrhové aspekty, proces implementácie a dopad na výkon takejto implementácie v prostredí SQL Serveru, pričom zdôrazňuje praktické výhody a bežné výzvy, s ktorými sa stretávam v podnikových databázových systémoch.

Cieľ

Výrobná prevádzka využívajúca SMT (Surface Mount Technology) zvažuje možnosti uchovávania histórie o vyrobených položkách pre účely kontroly kvality.

Výrobná linka SMT je automatizovaný výrobný proces, ktorý sa používa na montáž elektronických súčiastok priamo na dosky plošných spojov (PCB). Linka sa zvyčajne skladá z niekoľkých integrovaných strojov, ktoré spolupracujú na zabezpečení rýchlej, presnej a spoľahlivej montáže dosky plošného spoja.

Proces začína s tlačiarňou spájkovacej pasty, ktorá nanáša spájkovaciu pastu na špecifické miesta na doske plošného spoja pomocou šablóny. Doska sa následne presúva do stroja na umiestňovanie súčiastok, kde sú elektronické súčiastky, ako sú odpory, kondenzátory a integrované obvody, presne umiestnené na spájkované miesta s vysokou rýchlosťou.

Po umiestnení súčiastok doska prechádza cez reflow pec, kde kontrolované ohrievanie roztaví spájkovaciu pastu a trvalo spojí súčiastky s doskou. Po dokončení spájkovania overujú automatizované optické inšpekčné (AOI) systémy a niekedy aj stroje na RTG kontrolu umiestnenie súčiastok, kvalitu spájky a odhalenie potenciálnych defektov. V modernej výrobe elektroniky je schopnosť sledovať a vystopovať každú dosku plošného spoja, ktorá prejde výrobnou linkou SMT, nevyhnutná pre zabezpečenie kvality výrobku, dodržiavanie predpisov a efektívne riadenie výroby. Každá doska plošného spoja prechádza viacerými fázami montáže, kontroly a testovania, čo je kritické pre udržanie úplnej výrobnej histórie pre každú jednotlivú dosku.

Každá doska plošného spoja (PCB) vyrobená na linke SMT vytvára komplexnú digitálnu stopu, ktorá reprezentuje úplnú výrobnú históriu dosky. Táto jediná stopa sa skladá z približne 162 000 jednotlivých parametrov, ktoré sú automaticky zbierané zo strojov, inšpekčných systémov, senzorov a výrobného softvéru počas celého výrobného procesu.

Zachytávané dáta obsahujú detailné informácie z každého štádia výroby, ako napríklad merania tlače spájkovacej pasty, hodnoty zarovnania šablóny, súradnice umiestňovania súčiastok, informácie o podávačoch súčiastok, presnosť umiestňovania, časy cyklov strojov, použitie trysiek, teplotné profily reflow pece, rýchlosti dopravníkov, vlhkosť a okolitné podmienky, výsledky inšpekcie AOI, testovacie merania, interakcie operátorov, alarmy a záznamy o prepracovaní. Spoločne tieto parametre tvoria vysoko detailnú digitálnu reprezentáciu toho, ako bola doska plošného spoja vyrobená. Táto úroveň sledovateľnosti umožňuje výrobcom rekonštruovať presné výrobné podmienky pre akúkoľvek jednotlivú dosku v akomkoľvek časovom okamžiku. Výsledný súbor dát podporuje pokročilú analýzu kvality, vyšetrovanie defektov, optimalizáciu procesu, prediktívnu údržbu a reportovanie v súlade s predpismi.

Kvôli objemu a komplexnosti zhromaždených informácií si správa tejto digitálnej stopy vyžaduje škálovateľné databázové architektúry a riešenia na spracovanie dát s vysokým výkonom. Vo veľkokapacitných prostrediach SMT, ktoré denne vyrábajú tisíce dosiek, sa systém sledovateľnosti rýchlo mení na obrovský súbor dát, ktorý musí zostať vyhľadávateľný, spoľahlivý a prístupný v takmer reálnom čase.

Úskalia

Očakáva sa, že výrobná linka SMT vyrobí 150 000 kusov týždenne. Rovnaký počet digitálnych stôp musí byť uložený v systéme, ktorý umožní plynulý rast dát a zároveň ich zachová prístupné a efektívne spravovateľné vo veľkom rozsahu. Jednotlivá digitálna stopa je XML súbor vo veľkosti 18 megabajtov so 162 000 záznamami reprezentujúcimi všetky merania.

Výzvou je, že do dátového skladu musí byť importovaných približne 24 miliárd riadkov a zhruba 950 GB dát počas jediného týždňa. Uloženie 5-ročnej histórie digitálnych stôp si vyžaduje uloženie 250 TB dát alebo 6 300 miliárd riadkov. Dáta sú prístupné pre personál kontrolujúci kvalitu náhodne. Na kontrolu alebo dôslednú kontrolu je vybraný náhodný súbor, alebo niekoľko súborov zvyčajne za časový úsek. Okrem toho musí byť súbor dát chránený pred hardvérovými poruchami, stratou dát v dôsledku ľudskej chyby, ransomware alebo iných krízových situácií. Vzhľadom na povahu systému ako archív pre ex-post kontrolu, dostupnosť riešenia by nemala presiahnuť obnovenie nasledujúci pracovný deň. Aby mohla SMT zostať plne funkčná bez straty vzorky, musí byť vytvorená dostatočná odkladacia oblasť na uchovanie dát pred ich vstupom do dátového skladu (cache).

Riešenie

Partition Views SQL Serveru boli zvolené ako technológia na zvládnutie tejto úlohy. Riadky sú extrahované z XML súboru a uložené v konkrétnej tabuľke obsahujúcej jeden mesiac vzoriek. Presná tabuľka, do ktorej sú dáta vkladané, je určená v čase importu na základe dátumu výroby vzorky. Dátum výroby slúži teda ako rozdeľovací kľúč. Extrakcia riadkov redukuje množstvo metadát obsiahnutých v XML súbore a len informácie typu „kľúč a hodnota“ sú uložené v tabuľke.

Proces dekódovania XML a rozdeľovanie medzi tabuľkami prebieha v čase importu. Šetrí výpočtový výkon potrebný v procese neskôr, keď sa vzorky čítajú. Keď personál kontrolujúci kvalitu požaduje dáta, tieto sú už usporiadané do relačnej štruktúry a nie je potrebné analyzovať tisíce XML súborov. Podrobnejšiu technickú implementáciu si rozoberieme v druhej časti.