Modelowanie dla biznesu. regresja logistyczna, regresja poissona, survival data mining, crm, credit scoring, AZ#EE43C2BFEB/DL-ebwm/pdf

Przedmowa Czytelnikowi na rynku polskim została udostępniona publikacja Czwarta rewo­lucja przemysłowa autorstwa prof. Klausa Schwaba, założyciela i prezesa Świato­wego Forum Ekonomicznego We wstępie do publikacji, w rekomendacjach, znani ludzie biznesu i innych środowisk, w tym naukowych, zamieścili swoje wypowie­dzi.

Dalej zostały przedstawione wybrane dwie z nich. "Ludzkość stoi na progu największej w dziejach rewolucji, która zmiecie większość obo­wiązujących zasad naszego życia i pracy. Toczący się wykładniczo technologiczny rozwój świata jest już nie do zatrzymania" (Sebastian Kulczyk, CEO Kulczyk Investment).

"Najnowsze technologie, łączące świat cyfrowy, fizyczny i biologiczny, radykalnie zmie­niają naszą cywilizację. Świeże możliwości w medycynie, edukacji czy biznesie popra­wiają bytowanie człowieka na Ziemi i przyczyniają się do mądrzejszego korzystania z jej naturalnych zasobów.

Zarazem okazują się potencjalnie niezwykle niebezpieczne, otwierając ogromne przestrzenie do cyberprzestępczości czy przyczyniając się do dal­szej polaryzacji społeczeństw. Z tego powodu jednym z najpoważniejszych wyzwań dzisiejszego świata jest to,poprawnie i mądrze przeprowadzić czwartą rewolucję prze­mysłową" (Aleksandra Przegalińska, Akademia Leona Koźmińskiego).

We wstępie do swej książki Czwarta rewolucja przemysłowa profesor Klaus Schwab pisze m.in.: "Znajdujemy się na początku przewrotu, który w sposób fundamentalny zmienia sposób, w jaki żyjemy, pracujemy i utrzymujemy kontakty.

spośród różnorakich i fascynują­cych wyzwań, które w związku z tym stoją dzisiaj przed nami, największym i naj­ważniejszym zadaniem jest zrozumieć nową rewolucję techniczną i trafnie ukierunkować jej przebieg.

(...) Jesteśmy świadkami ogromnych zmian we wszelkich branżach; wyłaniają się nowe technologie biznesowe, pojawiają się przełomowe zakłócenia w istniejącym porządku, które rewolucjonizują systemy produkcji, konsumpcji, transportu i dostaw.

Na froncie społecznym zachodzi zmiana paradygmatu określającego, jak pracujemy i komunikujemy się i jak się wyrażamy, jak przekazujemy informacje i jakich szukamy rozrywek. Przekształceniom ulegają równocześnie rządy i instytucje, jak i systemy edukacji, opieki zdrowotnej, transportu, a także niemało innych.

świeże sposoby posługiwania się technolo­gią wpływają na nasze zachowania i systemy produkcji i konsumpcji, stwarzają także możliwości wspierania, regeneracji i ochrony środowiska naturalnego, zamiast tworzenia ukrytych kosztów w formie efektów zewnętrznych.

Zmiany te pod względem wymiaru, tempa i zakresu, nie mają sobie równych w historii". Zmiany te charakteryzują się dużą prędkością, szerokością i głębią, a także wpły­wem na transformację wszystkich systemów.

Przed tym procesem stoją uczelnie wyższe, uniwersytety i środowiska akademickie, żeby w porę podjąć optymalne dzia­łania i włączyć się w solidną zmianę systemową. Obecnie modele są podstawą większości, jeśli nie wszelkich, decyzji bizne­sowych.

Coraz częściej marki poszukują analityki jako kluczowego, strategicznego wyróżnika, który umożliwia kierowanie ogromną liczbą decyzji operacyjnych każ­dego dnia. Jednocześnie producenta identyfikują zagrożenia.

Według SAS White Paper 2018 jednym z wyjątkowojszych czynników hamujących sukces analizy jest opóź­nienie między tworzeniem a wdrażaniem modeli. Głównym powodem opóźnień we wdrożeniu modeli jest to,firmy produkują i wdrażają je w dwóch oddziel­nych środowiskach: biznesowym i informatycznym (IT).

Analitycy z zróżnicowanych jed­nostek biznesowych budują modele, a działy IT je wdrażają. Obie grupy polegają innym zestawom procesów, kodów programowania i języków, które utrudniają szybką reakcję na zmieniające się warunki biznesowe.

Jeśli firmy chcą usprawnić produkcję modeli, lepszym pomysłem jest automatyzacja powtarzalnych aspek­tów pracy i migracja modeli do procesu ciągłego podejmowania decyzji. Odpo­wiedzią jest fabryka analityczna, czyli połączone dwa środowiska i automatyzacja procesów, a także decyzji.

znaczącą część analityki dla biznesu stanowią modele predykcyjne. Ocena dokładności predykcyjnej jest ważnym aspektem oceny i porównywania modeli, algorytmów albo technice, które generują prognozy. Prognozy i projekcje stały się znaczną częścią każdego przedsięwzięcia biznesowego i naukowego.

Monografia Modelowanie dla biznesu ukazuje istotę i modelowanie z zakresu analityki biznesowej w wybranych obszarach zastosowań. Autorami lub współ­autorami kolejnych rozdziałów są pracownicy Zakładu Analizy Historii Zdarzeń i Analiz Wielopoziomowych, nasi magistranci albo absolwenci Podyplomowych Studiów "Analizy Statystyczne i Data Mining w Biznesie", za które merytorycznie odpowiada Zakład.

Monografia inicjuje proces publikacji Modelowanie dla biz­nesu, kolekcji, która będzie prezentować różnorodne przykłady modelowania bizne­sowego z wykorzystaniem zróżnicowanych metod analizy, włączając zawsze modelowanie predykcyjne.

Rozdział pierwszy jest rozdziałem o regresji logistycznej, modelowaniu, które jest użytkowane w sześciu rozdziałach niniejszej monografii. Odpowiedziano w nim na następujące pytania: 1. Jaka była geneza regresji logistycznej i opartego na niej modelowania$5 2.

Jakie są podstawowe różnice pomiędzy regresją liniową a regresją logistyczną$6 3. Jak przebiega estymacja modelu regresji logistycznej (na przykładzie regre­sji binarnej)$7 4. Jak interpretuje się wyniki estymacji parametrów regresji liniowej i regresji logistycznej, a także jakie są różnice$8 5.

Jakie są inne typy modelowania regresji logistycznej poza modelem binarnym$9 6. Jakie znaczenie w modelowaniu regresji logistycznej ma kodowanie zmien­nych jakościowych$10 7. Co składa się na cykl wnioskowania w modelach regresji logistycznej$11 8.

Co oznacza predykcja i model predykcyjny z wykorzystaniem regresji logi­stycznej$12 9. Jakie mierniki i testy wykorzystuje się do oceny zdolności predykcyjnej modelu opartego na regresji logistycznej$13 W rozdziale drugim zamieszczono przegląd podstawowych testów i miar do oceny zależności zmiennych jakościowych, których informacje empiryczne można zestawić w postaci tablic kontyngencji.

Analiza tablic kontyngencji stanowi czę­sto wstępny etap wielu bardziej progresywnych analiz, w tym modeli regresji logistycznej. Przegląd testów i miar obejmuje: testy służące do weryfikacji hipotez o niezależności dwóch cech jakościowych (testy asymptotyczne i skrupulatne) oraz test Cochrana-Mantela-Haenszela i jego różnorodne postacie, w zależności od celu ana­lizy.

Kolejno omówiono podstawowe miary asocjacji między cechami jakościo­wymi. Kompozycja tych miar zależy od typu skal pomiarowych, stąd opis miar zależności dotyczy: zmiennych dychotomicznych, nominalnych i porządkowych.Ostatnia część rozdziału ma charakter aplikacyjny, zamieszczono przykłady obliczeń i interpretacji wcześniej opisanych testów i miar na przykładach tablic kontyngencji z użyciem oprogramowania SAS.

cykl budowy modelu regresji logistycznej z binarną zmienną objaśnianą jest tematem rozdziału trzeciego. W pierwszej jego części zaprezentowano model deskryptywny, którego celem jest zrozumienie i poznanie zależności w badanej próbie.

Następnie opisano model predykcyjny, który ma na celu realnie najlepsze różnicowanie obserwacji spoza zakresu danych wykorzystanych do budowy modelu. Omówiono zbiór i wykorzystane procedury i autorskie makra SAS.

Przeprowadzono jednowymiarową analizę zmiennych objaśniających, w tym analizę braków i sprawdzono moc dyskryminacyjną poszczególnych zmiennych. Przedstawiono algorytm podziału zbioru informacji na próbę uczącą i walidacyjną.

Przeprowadzono analizy korelacji i współliniowości. Opisano algo­rytm doboru predyktorów do każdego modelu w celu zmniejszenia rozmiarowości. Zaprezentowano analizę obserwacji wpływowych i odstających. Finalne modele zostały poddane interpretacji ekonomicznej i gruntownej weryfikacji staty­stycznej.

Przeprowadzone testy statystyczne uzupełniono o przedstawienie gra­ficzne w trafnych przypadkach. Rozdział czwarty dotyczy modelowania z wykorzystaniem modelu regresji binarnej i uporządkowanej. Celem analizy było określenie czynników pozwala­jących przewidzieć końcowy wynik meczu piłkarskiego na przykładzie danych z dwóch pełnych sezonów lig angielskiej.

Wykorzystując SAS Enterprise Guide 7.1, zbudowano modele regresji binarnej i uporządkowanej zbioru danych liczącego 760 obserwacji. Zaprezentowano kody stwarzające modele, a także najważniejsze kody etapu przetwarzania danych.

W modelowaniu wykorzystano 119 zmiennych zawierających statystyki meczowe drużyn gospodarzy i gości, statystyki zagrego­wane z całego sezonu poprzedzającego daną obserwację, statystyki zagregowane z meczów u siebie dla gospodarza i z meczów wyjazdowych dla gości, a także atrybuty finansowe i geograficzne.

Zaprezentowano statystyki dostosowania i jakości predykcyjnej modeli. W modelu binarnym ilość goli strzelonych poprzez gospo­darzy u siebie w ubiegłym sezonie i przewidywania bukmacherów dotyczące danego meczu okazały się najsilniejszymi predyktorami.

W modelu uporządko­wanym stracone bramki przez gości w meczach wyjazdowych w ubiegłym sezo­nie oraz typy bukmacherów miały największy wpływ na zmienną odpowiedzi. W rozdziale piątym do modelowania wykorzystano model regresji Poissona.

Pierwszą część rozdziału stanowi wstęp teoretyczny do rozkładu i regresji Poissona i opis podstawowej składni procedury GENMOD wykorzystanej do estyma­cji modelu. W kolejnych podrozdziałach są zaprezentowane przykłady estymacji i analizy liczby infekcji.

Rozdział zawiera jeszcze informacje dotyczące problemu nadmiernej dyspersji nieraz występujących w rzeczywistych zastosowaniach, a także dwa sposoby rozwiązania tego problemu: korekcja wariancji przy pomocy parame­tru skali oraz model ujemny dwumianowy.

Dokonano porównania obu metod modelowania, wskazując podobieństwa i różnice w estymacji. Uzupełnieniem rozdziału jest analiza obserwacji wpływowych i odstających oraz ich znaczenia w procesie estymacji.

Tematykę zastosowania modeli predykcyjnych j ako narzędzia umożliwiającego zwiększenie sprawności kampanii marketingu bezpośredniego podjęto w roz­dziale szóstym. Pierwsza jego część to wprowadzenie do dziedziny marketingu, w którym zawarto opis podstawowych pojęć i definicji dotyczących podejmowa­nej tematyki.

Następnie opisano rolę modeli predykcyjnych w marketingu, a także znaczenie wskaźnika otwarcia dla sukcesu kampanii marketingowych. Przedsta­wiono również podstawy teoretyczne zastosowanych metod - regresji logistycz­nej, nienaturalnej sieci neuronowej oraz drzewa decyzyjnego.

Opisano wykorzystany do modelowania zbiór informacji, jak na dodatek całościowy proces budowy poszcze­gólnych modeli predykcyjnych, ich porównania, a także wyboru najkorzystniejszego pod względem zdolności predykcyjnych.

Rozdział zakończono prezentacją praktycz­nego zastosowania finalnego modelu. W rozdziale siódmym skupiono się na analizie churnu, czyli zjawiska odej­ścia klienta, które jest związane z zakończeniem korzystania ze świadczonej przez firmę usługi, oraz na przykładowych dwóch podejściach używanych do jego badania.

W części teoretycznej przedstawiono charakterystykę zjawiska churnu i możliwe do użycia podejścia analityczne, ze szczególnym uwzględnieniem modelu regresji logistycznej, a także modelu survival data mining.

W ramach części funkcjonalnej utworzone zostały, na podstawie informacji dotyczą­cych churnu w firmie telekomunikacyjnej, dwa modele: model regresji logistycz­nej oraz model survival data mining z perspektywą roczną.

Na podstawie części aplikacyjnej dokonano podsumowania uwzględniającego możliwości i ogra­niczenia dwóch utworzonych modeli. Rozdział ósmym mieści opis procesu implementacji metod credit scoringu w obszarach związanych z zarządzaniem relacjami biznesowymi z klientem kor­poracyjnym oraz motywowaniem pośrednich struktur sprzedaży.

Business case, opisany w rozdziale, dotyczy polskiej branży farmaceutycznej, a środowisko dla niego stanowią czasy czwartej rewolucji technologicznej. Konwencjonalny credit scoring opiera się na mechanizmie transformacji szacowanego prawdopodobieństwa zaj­ścia zdarzenia sukcesu albo porażki do postaci prosto interpretowalnych punktów scoringowych.

ponadto algorytm umożliwia jednoznaczne wyszczególnionie najszczególniej­szych, a przez to najszczególniej predyktywnych atrybutów modelowanego zjawiska i podzielnie ich na kategorie określające stopień ryzyka wystąpienia prognozo­wanego zdarzenia.

Suma punktów otrzymanych w ramach każdej zmiennej sta­nowi o przynależności podmiotów do określonej grupy ryzyka. Podejście to od dawna używane jest z sukcesem w bankowości dla procesów kredytowych, w instytucjach ubezpieczeniowych do wykrywania oszustów oraz w ocenie efek­tywności kampanii marketingowych.

Rozdział ósmy składa się trzech głównych części. Pierwsza stanowi repozytorium wiedzy na temat podstaw teoretycznych i mechanizmów credit scoringu. Wyjaśnione są w nim między innymi pojęcia default, punkt obserwacji, wskaźnik Giniego i tabelka ABT.

Część druga dedyko­wana jest problematyce segmentacji i optymalizacji strategii biznesowych dla sieci aptecznych. Przedstawiono w niej klasyczne i ogólnodostępne metody segmen­tacji klientów sieciowych, proponowane poprzez firmy analityczne zajmujące się rynkiem farmaceutycznym, oraz podejście postępowe.

innowacyjność alterna­tywnego sposobu profilowania sieci aptecznych umożliwia wielowymiarowe usze­regowanie klientów według skłonności do zajęcia określonej pozycji w rankingu skuteczności dochodowej per apteka.

Równolegle w tej części poruszone zostały kwestie związane z jakością i mocą predykcyjną modelu scoringowego w warun­kach skąpej liczby rekordów w modelowanej populacji. Część trzecia poświę­cona została modelowaniu szansy na osiągniecie co najmniej 100% realizacji celu sprzedażowego poprzez przedstawiciela handlowego, w szczególności przedstawi­ciela medycznego.

Opisano w niej aspekt wykorzystania wiedzy o przyszłym roz­kładzie wyników sprzedażowych do celów budowania strategii i ustalania celów taktycznych dla zespołów sprzedażowych na kolejny okres rozliczeniowy.

w dodatku wyrózniono na rolę narzędzi credit scoringu w motywowaniu pracowników. Auto­rzy podkreślili niełatwą rolę kierownika regionalnego w wyjaśnieniu przypadków, w których model się myli. W rozważanym zastosowaniu konieczność przedysku­towania każdego aspektu uzyskanych ocen cząstkowych stanowi wyzwanie w pra­widłowej interpretacji i aplikacji wyników modelowania zjawiska.