« poprzedni następny »
Strony: 1 2 [3]

Autor Wątek: Powolna konwersja baz Biuro GT  (Przeczytany 15007 razy)

0 użytkowników i 1 Gość przegląda ten wątek.

Offline Aldo

  • Ekspert
  • *****
  • Wiadomości: 10695
  • Reputacja +433/-13
  • Wersja programu: najnowsza
Odp: Powolna konwersja baz Biuro GT
« Odpowiedź #30 dnia: Luty 06, 2017, 15:57:59 »
Cytat: qxx w Luty 06, 2017, 15:39:26
Witam, mam również identyczny problem z długim czasem konwersji bazy.
Proszę o informację jak można uruchomić konwersję równoległą ?
pozdrawiam
Jeśli robisz to przez program serwisowym, to odpalasz go kilka razy i w każdym wskazujesz inna bazę do konewrsji.
Zapisane

Offline birds22

  • Ekspert
  • *****
  • Wiadomości: 9210
  • Reputacja +1304/-21
  • Wersja programu: Najnowsza
Odp: Powolna konwersja baz Biuro GT
« Odpowiedź #31 dnia: Luty 06, 2017, 16:06:25 »
Cytat: qxx w Luty 06, 2017, 15:39:26
Witam, mam również identyczny problem z długim czasem konwersji bazy.
Proszę o informację jak można uruchomić konwersję równoległą ?
pozdrawiam
Chodzi o długi czas konwersji pojedynczej bazy czy długi czas konwersji wielu baz?
Jaki sprzęt?
Zapisane
Sławek, Zduńska Wola

Offline qxx

  • Nowy użytkownik
  • *
  • Wiadomości: 4
  • Reputacja +0/-0
  • Wersja programu: subiekt 1,44
Odp: Powolna konwersja baz Biuro GT
« Odpowiedź #32 dnia: Luty 08, 2017, 08:35:27 »
chodzi o dlugi czas konwersji bazy . konwersja jednej bazy trwa ok 10 minut
jest ich 400
konwertowanie programem Biuro GT
parametry serwera
Xeon E1
Ram 16GB
Dysk 1000GB RAID
Zapisane

Offline dkozlowski

  • Ekspert
  • *****
  • Wiadomości: 17059
  • Reputacja +798/-27
  • Wersja programu: GT/Navireo/nexo
Odp: Powolna konwersja baz Biuro GT
« Odpowiedź #33 dnia: Luty 08, 2017, 09:00:31 »
Cytat: qxx w Luty 08, 2017, 08:35:27
chodzi o dlugi czas konwersji bazy . konwersja jednej bazy trwa ok 10 minut

Wygląda po prostu na bardzo słaby sprzęt, a przynajmniej do pracy z programami Insertu i tyloma bazami SQL, zalecenia wielokrotnie były opisywane na forum. Ale tak dokładniej...

Cytat: qxx w Luty 08, 2017, 08:35:27
Xeon E1

Jaki model ?

Cytat: qxx w Luty 08, 2017, 08:35:27
Ram 16GB

Jaka edycja SQL'a, ile instancji ?

Cytat: qxx w Luty 08, 2017, 08:35:27
Dysk 1000GB RAID

HDD, SSD, ile dysków jakie poziomy RAID ?
Zapisane
Daniel, Białystok.

Offline qxx

  • Nowy użytkownik
  • *
  • Wiadomości: 4
  • Reputacja +0/-0
  • Wersja programu: subiekt 1,44
Odp: Powolna konwersja baz Biuro GT
« Odpowiedź #34 dnia: Luty 10, 2017, 13:06:38 »
Cytat: dkozlowski w Luty 08, 2017, 09:00:31
Cytat: qxx w Luty 08, 2017, 08:35:27
chodzi o dlugi czas konwersji bazy . konwersja jednej bazy trwa ok 10 minut

Wygląda po prostu na bardzo słaby sprzęt, a przynajmniej do pracy z programami Insertu i tyloma bazami SQL, zalecenia wielokrotnie były opisywane na forum. Ale tak dokładniej...

Cytat: qxx w Luty 08, 2017, 08:35:27
Xeon E1

Jaki model ?
E3-1220
4 Rdzenie po 3,4GHz

Jaka edycja SQL'a, ile instancji ?
SQL 2008

Cytat: qxx w Luty 08, 2017, 08:35:27
Dysk 1000GB RAID

HDD, SSD, ile dysków jakie poziomy RAID ?
2x dysk HDD RAID1 1TB

W czasie aktualizacji obciążenie procesora do 8% MAX
Obiciążenie dysków podczas aktualizacji odczyt 20MB
Zapisane

Offline dkozlowski

  • Ekspert
  • *****
  • Wiadomości: 17059
  • Reputacja +798/-27
  • Wersja programu: GT/Navireo/nexo
Odp: Powolna konwersja baz Biuro GT
« Odpowiedź #35 dnia: Luty 11, 2017, 09:40:41 »
Procesor ma dokładnie 4x3.1, a dopiero w Tubo osiąga 3.4, ale ogólnie jest w porządku. Nie wiem po co tyle niewykorzystywanego RAM'u ? Nie odpowiedziałeś na pytanie o serwer SQL ? Dyski wyglądają na zdecydowanie za wolne, nie zamieściłeś też informacji czy włączony jest cache, zrób i zamieść wynik testu z ATTO... Dyski mogą ograniczać wykorzystanie procesora (jak procesor czekana dysk to nic nie robi). Niezalenie od tego należy skorzystać z porad, które regularnie zamieszczany i wykonywać konwersję równolegle na kilku podmiotach do pełnego wykorzystania sprzętu.
Zapisane
Daniel, Białystok.

Offline qxx

  • Nowy użytkownik
  • *
  • Wiadomości: 4
  • Reputacja +0/-0
  • Wersja programu: subiekt 1,44
Odp: Powolna konwersja baz Biuro GT
« Odpowiedź #36 dnia: Luty 11, 2017, 12:17:16 »
Cytat: dkozlowski w Luty 11, 2017, 09:40:41
Procesor ma dokładnie 4x3.1, a dopiero w Tubo osiąga 3.4, ale ogólnie jest w porządku. Nie wiem po co tyle niewykorzystywanego RAM'u ? Nie odpowiedziałeś na pytanie o serwer SQL ? Dyski wyglądają na zdecydowanie za wolne, nie zamieściłeś też informacji czy włączony jest cache, zrób i zamieść wynik testu z ATTO... Dyski mogą ograniczać wykorzystanie procesora (jak procesor czekana dysk to nic nie robi). Niezalenie od tego należy skorzystać z porad, które regularnie zamieszczany i wykonywać konwersję równolegle na kilku podmiotach do pełnego wykorzystania sprzętu.

Dyski nie są za wolne gdyż ich wykorzystanie podczas konwersji jest 20MB  a podczas testów programem np HD Tune odczyt z pełną prędkością wynosi ok 200MB wykorzystywanie dysku podczas konwersji 10%. Więc proces nie jest ograniczany przez procesor, dysk, ani ram.
Konwersja w chwili obecnej trwa ok 4 dni. Posiadam ok 400 podmiotów ( włączenie w piątek po 15. koniec konwersji poniedziałek ok 12)
Jak dla mnie tragedia. Posiadam BiuroGT jak w tym programie uruchomić kilka konwersji na raz ?
dziękuję i pozdrawiam

Zapisane

Offline dkozlowski

  • Ekspert
  • *****
  • Wiadomości: 17059
  • Reputacja +798/-27
  • Wersja programu: GT/Navireo/nexo
Odp: Powolna konwersja baz Biuro GT
« Odpowiedź #37 dnia: Luty 11, 2017, 13:56:19 »
Cytat: qxx w Luty 11, 2017, 12:17:16
Dyski nie są za wolne gdyż ich wykorzystanie podczas konwersji jest 20MB  a podczas testów programem np HD Tune odczyt z pełną prędkością wynosi ok 200MB wykorzystywanie dysku podczas konwersji 10%. Więc proces nie jest ograniczany przez procesor, dysk, ani ram.

No cóż, opieram się na informacjach jakie podajesz, dobrze i za darmo radzę, ale skoro wiesz lepiej (być może tak jest bo masz dostęp do sprzętu) to szukaj rozwiązania dalej.

Cytat: qxx w Luty 11, 2017, 12:17:16

Konwersja w chwili obecnej trwa ok 4 dni. Posiadam ok 400 podmiotów ( włączenie w piątek po 15. koniec konwersji poniedziałek ok 12)
Jak dla mnie tragedia. Posiadam BiuroGT jak w tym programie uruchomić kilka konwersji na raz ?

To zależy tylko i wyłącznie od wybranych rozwiązań, czas ten powinno udać się skrócić do kilku, kilkunastu godzin.

Cytat: qxx w Luty 11, 2017, 12:17:16
Posiadam BiuroGT jak w tym programie uruchomić kilka konwersji na raz ?

No wystarczy kilka razy uruchomić program.
Zapisane
Daniel, Białystok.

Online candy

  • Zaawansowany użytkownik
  • ****
  • Wiadomości: 4876
  • Reputacja +172/-11
Odp: Powolna konwersja baz Biuro GT
« Odpowiedź #38 dnia: Luty 11, 2017, 14:04:28 »
A tak konkretniej o tym serwerze SQL?
Na pewno to 2008, a nie 2008R2 przypadkiem?
A jeśli nawet to jaka edycja?
Znam 6 podstawowych od Express do Datacenter i śmiem twierdzić że nie jest to całkiem wszystko jedno.
Zapisane
Nie pytaj co rząd może zrobić dla Ciebie. Spytaj czy mógłby tego nie robić.

Offline Chris

  • Zaawansowany użytkownik
  • ****
  • Wiadomości: 2850
  • Reputacja +275/-0
  • Wersja programu: GT, Nexo - aktualne
Odp: Powolna konwersja baz Biuro GT
« Odpowiedź #39 dnia: Luty 11, 2017, 21:43:16 »
Cytat: qxx w Luty 11, 2017, 12:17:16
...
Dyski nie są za wolne gdyż ich wykorzystanie podczas konwersji jest 20MB  a podczas testów programem np HD Tune odczyt z pełną prędkością wynosi ok 200MB wykorzystywanie dysku podczas konwersji 10%. Więc proces nie jest ograniczany przez procesor, dysk, ani ram. ...
Proszę zwrócić uwagę, że HD Tune sprawdza prędkość maksymalną dysku, przy ciągłym odczycie dużego pliku. Taki test to może być adekwatny do kopiowania baz z dysku na dysk, a nie podczas dokonywania konwersji.
Proszę sprawdzić wydajność dysku w ATTO Disc Benchmark lub CrystalDiscMark, wyciągnąć średnią dla paczki między 4, a 32KB, to będzie odpowiadało bardziej rzeczywistości.
Zapisane
Krzysztof, Radom

Offline Artwi

  • Aktywny użytkownik
  • ***
  • Wiadomości: 187
  • Reputacja +3/-0
  • Wersja programu: Insert GT aktualny
Odp: Powolna konwersja baz Biuro GT
« Odpowiedź #40 dnia: Luty 23, 2017, 10:41:36 »
Wszyscy się skupiają na sprzęcie, ale niestety od bazy to też zależy. Na tym samym sprzęcie mam różne podmioty i jednych konwersja trwa minutę a innych 26 minut i ostatnio to już chciałem zabijać proces, bo myślałem, że się zawiesiło (InsERT GT w najdłuższym i najwolniejszym etapie konwersji nie sygnalizuje w żaden sposób postępu procesu, który wygląda jakby się zawiesił...). I chyba nie zależy to nawet tak bardzo od wielkości baz tych podmiotów, bo nie są jakieś specjalnie duże, co od wielkości logów tych baz - te najgorsze to mają nawet 18GB logi do bazy...  :(
Zapisane
Mając na uwadze, że ewentualna krytyka może być, tak musimy zrobić, żeby tej krytyki nie było, tylko aplauz i zaakceptowanie.

Offline Aldo

  • Ekspert
  • *****
  • Wiadomości: 10695
  • Reputacja +433/-13
  • Wersja programu: najnowsza
Odp: Powolna konwersja baz Biuro GT
« Odpowiedź #41 dnia: Luty 23, 2017, 11:12:38 »
Cytat: Artwi w Luty 23, 2017, 10:41:36
Wszyscy się skupiają na sprzęcie, ale niestety od bazy to też zależy. Na tym samym sprzęcie mam różne podmioty i jednych konwersja trwa minutę a innych 26 minut i ostatnio to już chciałem zabijać proces, bo myślałem, że się zawiesiło (InsERT GT w najdłuższym i najwolniejszym etapie konwersji nie sygnalizuje w żaden sposób postępu procesu, który wygląda jakby się zawiesił...). I chyba nie zależy to nawet tak bardzo od wielkości baz tych podmiotów, bo nie są jakieś specjalnie duże, co od wielkości logów tych baz - te najgorsze to mają nawet 18GB logi do bazy...  :(
Piszą o logach masz na mysli pliki .ldf z bazy?
Jesli tak, to bardzo ciekawe odkrycie, bo domyslnie wielkość pliku .ldf jest ustawiona na 10% bazy.
Chyba, ze chodzi Ci o inne logi, ale zazwyczaj one nie biorą udziału w konwersji, są tylko zapisem raportu o przebiegu konwersji.
Zapisane

Offline Artwi

  • Aktywny użytkownik
  • ***
  • Wiadomości: 187
  • Reputacja +3/-0
  • Wersja programu: Insert GT aktualny
Odp: Powolna konwersja baz Biuro GT
« Odpowiedź #42 dnia: Luty 23, 2017, 12:41:48 »
Cytat: Aldo w Luty 23, 2017, 11:12:38
Jesli tak, to bardzo ciekawe odkrycie, bo domyslnie wielkość pliku .ldf jest ustawiona na 10% bazy.
Domyślnie do czego? Przecież wielkość tego logu zależy od modelu recovery i częstotliwości backupu logu. Przy full i bez backupu logu (domyślne ustawienie na płatnych wersjach MS SQL) log będzie rósł aż braknie miejsca na dysku.
Zapisane
Mając na uwadze, że ewentualna krytyka może być, tak musimy zrobić, żeby tej krytyki nie było, tylko aplauz i zaakceptowanie.

Offline Aldo

  • Ekspert
  • *****
  • Wiadomości: 10695
  • Reputacja +433/-13
  • Wersja programu: najnowsza
Odp: Powolna konwersja baz Biuro GT
« Odpowiedź #43 dnia: Luty 23, 2017, 18:24:12 »
Cytat: Artwi w Luty 23, 2017, 12:41:48
Cytat: Aldo w Luty 23, 2017, 11:12:38
Jesli tak, to bardzo ciekawe odkrycie, bo domyslnie wielkość pliku .ldf jest ustawiona na 10% bazy.
Domyślnie do czego? Przecież wielkość tego logu zależy od modelu recovery i częstotliwości backupu logu. Przy full i bez backupu logu (domyślne ustawienie na płatnych wersjach MS SQL) log będzie rósł aż braknie miejsca na dysku.
Tacy użytkownicy raczej nie pojawiają się na tym forum.
A jeśli jesteś taki, to co tu robisz w gronie maluczkich?  ;)
Zapisane

Offline dkozlowski

  • Ekspert
  • *****
  • Wiadomości: 17059
  • Reputacja +798/-27
  • Wersja programu: GT/Navireo/nexo
Odp: Powolna konwersja baz Biuro GT
« Odpowiedź #44 dnia: Luty 23, 2017, 18:25:34 »
Cytat: Artwi w Luty 23, 2017, 10:41:36
Wszyscy się skupiają na sprzęcie, ale niestety od bazy to też zależy. Na tym samym sprzęcie mam różne podmioty i jednych konwersja trwa minutę a innych 26 minut i ostatnio to już chciałem zabijać proces, bo myślałem, że się zawiesiło (InsERT GT w najdłuższym i najwolniejszym etapie konwersji nie sygnalizuje w żaden sposób postępu procesu, który wygląda jakby się zawiesił...). I chyba nie zależy to nawet tak bardzo od wielkości baz tych podmiotów, bo nie są jakieś specjalnie duże, co od wielkości logów tych baz - te najgorsze to mają nawet 18GB logi do bazy...  :(

Kto ustawia i po co taki recovery model ? Jak ktoś ustawia to dlaczego nimi nie zarządza i doprowadza do takiego rozrostu ?

Nie widzę potrzeby stosowania pełnych serwerów SQL dla programów Insertu, ale niektórzy wolą wydać kilka tys. na SQL'a zamiast kilkaset zł na usługi dobrego serwisanta - każdy "oszczędza" jak uważa. Na powszechnie stosowanych darmowych silnikach nie ma problemu z logami, więc w żaden sposób nie wpływają na czas konwersji i pozostaje "tylko" sprzęt oraz właściwa strategia.

Ponadto zamiast "zgadywać" i opisywać swoje domysły należałby po prostu sprawdzić z czego wynikają takie różnice w czasie konwersji.
Zapisane
Daniel, Białystok.

Forum Użytkownikow Subiekt GT

Odp: Powolna konwersja baz Biuro GT
« Odpowiedź #44 dnia: Luty 23, 2017, 18:25:34 »

Strony: 1 2 [3]
« poprzedni następny »