Cześć,

Szukam porady/rozwiązania problemu dotyczącego bardzo powolnego importu dokumentów do księgi handlowej i rejestrów VAT. Czas dodania jednego dokumentu to ok. 5 sekund. Do zaimportowania miesięcznie mam tak od 20.000 do 40.000 dokumentów (faktury sprzedaży+korekty).

Z początku taki import szedł całkiem nieźle, tzn. dodawał od 3 do 5 dokumentów na 1 sekundę. Z czasem baza urosła (obecnie 2.5 GB), posiada ok 430 tys. zadekretowanych pozycji. Czy ktoś z was miał do czynienia z większymi bazami danych pracujących na oprogramowaniu InsertGT? Przetestowałem tę bazę na serwerach SQL Express 2008 R2, SQL Express 2012, SQL Express 2014 SP1 oraz na SQL 2017 Developer - na wszystkich jest ten sam problem, czyli powolna dekretacja. Szukając przyczyny domniemam, że to nie jest już kwestia serwera SQL, sprzętu komputerowego tylko słabej optymalizacji względem takich ilości danych - czy ktoś to może potwierdzić?

Schemat importu dokonuje zapisu na konta niekartotekowe, dodatkowo uzupełniany o dane dla VAT. Podczas importu na komputerze można spokojnie wydajnie pracować, nawet na innych aplikacjach rodziny InsertGt oraz na innych podmiotach w kolejnych uruchomieniach RewizorGt. Także sprzęt wydaje się dawać radę. SQL serwer również przetwarza zapytania z całej sieci i innych aplikacji bez zbędnej zwłoki... więc zostaje sama aplikacja RewizorGt...

Sprzęt do przetwarzania danych:
Core2 Quad Q8200 @ 2.33 GHz
8 GB RAM, 240 SSD
Windows 10 Pro x64

Temat poruszałem na forum wielokrotnie, można poszukać, poczytać... Mam do czynienia bazami danych z większą ilością danych, ale (rozmiarowo) są to ciągle małe bazy danych... Porada/rozwiązanie przy problemach wydajnościowych jest prawie zawsze takie samo - należy je przeanalizować na danych, na których występuje problem lub usunąć dane, kolejny raz potwierdzasz, że dyski SSD, wersja serwera SQL, czy edycja serwera SQL (pełny SQL) niczego nie zmienia przy takich problemach... Niewiele osób decyduje się na prace optymalizacyjne, gdyż nie traktuje takich problemów jako krytyczne, no chyba że już zaczyna brakować dnia, aby dekretować dokumenty (miałem taki przypadek)... Ze znanych i powtarzalnych problemów przypomina mi się nadawanie analityk dla kontrahentów z uzupełnianiem luk (nawet bez luk nie jest to optymalne - nie ma indeksów po analitykach kontrahentów), więc również dużo zależy od wdrożenia, w tym od sposobu prowadzenia rozrachunków, większość niestety generuje niepotrzebnie analityki dla każdego kontrahenta i taka ilość dokumentów to sugeruje tym przypadku... Każdym systemem (nie tylko Insertu) z większą ilością dokumentów powinien ktoś się opiekować, problemy wydajnościowe to kwestia czasu...

Wymiana sprzętu powinna odczuwalnie pomóc - procesor ma już przecież ponad 10 lat i niski zegar !

...Ze znanych i powtarzalnych problemów przypomina mi się nadawanie analityk dla kontrahentów z uzupełnianiem luk (nawet bez luk nie jest to optymalne - nie ma indeksów po analitykach kontrahentów), [...]
Wymiana sprzętu powinna odczuwalnie pomóc - procesor ma już przecież ponad 10 lat i niski zegar !

Z informacji od Insert S.A. dowiedziałem się, co potwierdza Twoją sugestię, że proces importu jest jednowątkowy, także faktycznie lepszy zegar będzie oznaczać szybsze działanie.

W moim przypadku parametry dekretacji seryjnej są ustawione tak, aby nie nadawać numerów analityk oraz nie uzupełniać luk. Tak samo schemat importu nie wymaga korzystania z kartoteki kontrahentów. Jednak dzięki tej wskazówce postanowiłem jeszcze raz sprawdzić cały proces i okazuje się, że mimo tak ustawionych parametrów RewizorGt dalej nadaje analityki u kontrahentów. Ręce opadają, ponieważ dawno temu zorientowałem się to wydłuża proces importu i po prostu to wyłączyłem, ale okazuje się, że import to ignoruje, a tak nie było.

Nie potwierdzam niczego co opisałeś - jeśli jest wyłączone nadawanie analityk to się nie nadają i jeśli wymaga tego schemat importu to dokument nie jest importowany, jeśli schemat importu nie tworzy zapisu na konto kartotekowe to dla kontrahenta z dokumentu nie jest nadawana analityka, program działa poprawnie w tym obszarze.
...
Jak się niby zorientowałeś bo jak napisałem nie powtarzam opisywanego zachowania programu.

Sprawdziłem to w najprostszy możliwy sposób - podczas importu, na drugiej aplikacji na tej samej bazie odświeżałem konta rozrachunkowe oraz samą kartotekę. Co parę sekund wchodził nowy kontrahent z nadaną analityką, także i liczba kont rosła. Taka sytuacja nie występowała wcześniej. W moim schemacie importu 200 jest zwykłym kontem bilansowym bez podpiętej kartoteki. Kartoteki są podpięte pod konta 201 i 202, które nie są używane w schemacie importu. Temat zgłosiłem do Insert, bo niestety wygląda to na błędne działanie aplikacji.

Jaki niby błąd zgłosiłeś i na co liczyłeś ? :o Oczywistym powinno być, że bez sensu jest zgłaszać błędy, których nie można powtórzyć, zwłaszcza, że wyraźnie napisałem, że mi się to nie udało, więc nie wiadomo czy to błąd programu, jego konfiguracja (chociaż nic takiego mi nie przychodzi do głowy), czy jednak Twoje błędne wnioski ? Zrób jak należy, załóż podmiot demo, potwórz problem i opisz/pokaż wszystkie kroki niezbędne do tego, zamiast cedzić informacje, z których nic nie wynika.

Zgłosiłem błąd, który wg mnie ignoruje ustawienia programu.

Temat jest dla mnie bardzo ważny, zatem zgodnie z Twoją sugestią zrobiłem tak:
1) założyłem pusty podmiot testowy z domyślnym planem kont, bez żadnych kontrahentów
2) dodałem dwa konta bilansowe niekartotekowe 201 oraz 220
3) skopiowałem schematy importu dla faktury sprzedaży
4) ustawiłem parametry dekretacji seryjnej na takie by nadawał analitykę dla kontrahentów (Parametry->Dekretacja seryjna)
4) uruchomiłem import z tego samego pliku EPP, wybierając 200 dokumentów
5) po paru minutach dekretacja była zakończona pomyślnie, 200 wpisów i 196 wpisów w kartotece kontrahentów, którzy mają nadane analityki.
6) zmieniłem parametry dekretacji seryjnej by teraz program nie nadawał analityk dla kontrahentów (Parametry->Dekretacja seryjna)
7) uruchomiłem import z tego samego pliku EPP, wybierając następne datą 50 dokumentów
8) po zakończeniu 50 pomyślnych dekretacji w kartotece kontrahentów pojawili się nowi z nadanymi analitykami

Wersja oprogramowania: RewizorGT 1.58 SP1 HF1, SQL Express 2017, Windows 10 Pro x64

Już wiem, gdzie tkwi problem To jest kwestia pliku EPP. Wcześniej danych niestety nie mogłem udostępnić, gdyż zawierają tzw. dane wrażliwe, ale dzięki dociekaniu skłoniłeś mnie do dalszego analizowania tego procesu. Skoro u Ciebie jest ok, a u mnie nie, to tylko różni nas tylko plik EPP - i tu zacząłem kombinować. Bez względu na źródło pochodzenia (przekonwertwany czy wygenerowany w Subiekcie) efekt był tożsamy.

Ścieżka uzyskania danych u mnie jest następująca:
1) Dane eksportowane są z systemu Wapro WF-Mag, za pomocą modułu Magik
2) Dane następnie są konwertowane programem KT Konwerter Księgowy z systemu Wapro WF-Mag do Insert EPP
3) Plik EPP zostawał poddany edycji. Usuwałem wszystko po nagłówku KONTRAHENCI, tak by kartoteka nie rosła co miesiąc o dziesiątki tysięcy zbędnych wpisów.
4) Plik EPP jest wgrywany do systemu Insert RewizorGT i dekretowany

Dotychczas nie było z tym problemów. Wszystko działało jak trzeba. Co ciekawego się okazało, to że jeżeli po nagłówku KONTRAHENCI nie ma żadnego wpisu, to program zaczyna nadawać analityki pomimo ustawień w parametrach. Jeżeli jednak zostawię chociażby tylko jeden wpis jednego kontrahenta to wszystko działa jak trzeba - program nie nadaje analityk i księgowanie odbywa się dużo szybciej. Dziwne jest tylko to, że przy wcześniejszych wersjach nie było potrzeby zostawiania wpisu, bo nawet przy pustym nagłówku wszystko działało zgodnie z parametrami.

Aby mieć pewność co do pliku EPP, wygenerowałem plik z Subiekta i wykonałem testy:
a) wgranie EPP bez edycji (brak nadawania analityk)
b) wgranie EPP po usunięci kontrahentów (nadawanie analityk)
c) wgranie EPP z jednym kontrahentem (brak nadawania analityk).

Takie same testy przeprowadziłem z plikiem EPP pochodzącym z WAPRO po przekonwertowaniu. Rezultat był ten sam. Polecam przetestować temat u siebie. W pliku EPP należy usunąć wpisy po nagłówku:

[NAGLOWEK]
"KONTRAHENCI"

[ZAWARTOSC]
<tu wszystko usuwamy>

^ w takiej wersji EPP program zacznie nadawać analitykę bez względu na ustawienia, jednak gdy zostawimy tylko 1 wpis (lub więcej) wszystko pójdzie zgodnie z parametrami dekretacji seryjnej.