8 years, 6 months ago
Drugi projekt zaliczeniowy SUS 2015/2016
opis
Obowiązują następujące zasady:
- Uczestnicy mogą przesyłać tylko rozwiązania uzyskane samodzielnie.
- Liczba dostępnych przesłań rozwiązań częściowych została ograniczona do 100.
- Każdy uczestnik jest zobligowany do przesłaniana na koniec projektu, wraz z rozwiązaniem końcowym, krótkiego raportu opisującego rozwiązanie.
- Raport musi zawierać informacje takie jak: Imię, nazwisko, i id uczestnika; ostatni wynik częściowy (z Leaderboard); krótki opis zastosowanych metod i narzędzi.
- Raporty nie powinny przekraczać 2000 słów i powinny zostać załadowane do systemu (jako plik PDF) przed zakończeniem projektu (przed północą 3 maja 2016).
- Ocena (liczba punktów w skali 0-20) będzie zależna od jakości rozwiązania oraz terminowości i czytelności raportu.
Zadanie polega na zbudowaniu (nauczeniu) modelu pozwalającego na wytypowanie grupy klientów banku, dla których prawdopodobieństwo skorzystania z oferty w bieżącej kampanii marketingowej jest największe.
Dane zawierają informacje o klientach pewnego banku w strefie Euro. Bank ten prowadził długofalową, trwającą ponad trzy lata kampanię marketingu bezpośredniego (telefoniczną) mającą na celu sprzedaż produktu finansowego (lokaty terminowej). Ze względów prawnych i ochrony prywatności dane zostały zanonimizowane i ograniczone.
W toku kampanii bank zbierał dane o jej wynikach częściowych. Aby ograniczyć koszty i zwiększyć skuteczność kampanii marketingowej chcielibyśmy umieć wyróżnić tych klientów, którzy na podstawie posiadanej przez nas informacji są potencjalnie zainteresowani sprzedawanym produktem (lokatą). Dlatego chcemy nauczyć się (zbudować model predykcyjny) identyfikacji klientów, do których powinniśmy się zwrócić w pierwszej kolejności.
Zbiór treningowy zawiera dane o klientach, którzy wzięli udział w kampanii, łącznie z informacją o tym czy zdecydowali się skorzystać z oferty czy nie. Zbiór testowy zawiera klientów, z którymi dopiero zamierzamy się skontaktować. Zależy nam na wyróżnieniu tych, do których warto zadzwonić najpierw.
Przebieg projektu
Projekt jest zorganizowany w formie konkursowej. Każdy uczestnik może zgłosić wiele rozwiązań częściowych i jedno końcowe. Termin zakończenia to 3 maja 2016. Szczegółowe warunki znajdują się w Warunkach Projektu.
Format rozwiązań
Rozwiązanie stanowi lista dokładnie tysiąca (=1000) wartości identyfikatorów klientów (atrybut ID_klienta) wybranych ze zbioru testowego. Każda wartość (liczba odpowiadająca ID) powinna stanowić osobny wiersz w pliku tekstowym zawierającym rozwiązanie. Pliki należy przesyłać przez załadowanie ich do systemu konkursowego. Przesłaniu ostatecznego rozwiązania powinno towarzyszyć załadowanie raportu (patrz Warunki Projektu).
Ocena rozwiązań
Ocena rozwiązań, zarówno częściowych jak i końcowego będzie wyliczana za pomocą miary F1-score, przy czym:
- Dla wyników częściowych miara będzie wyliczana na części zbioru testowego.
- Dla wyniku ostatecznego miara będzie wyliczana na pozostałych, nie wykorzystywanych przy ocenie wyników częściowych przykładach testowych.
Niezależnie od uzyskanego wyniku wstępnego (F1-score), rozwiązania, którym nie towarzyszy raport nie będą ostatecznie oceniane.
Aby wziąć udział w projekcie (konkursie) należy przeczytać i zaakceptować Warunki Projektu. Rozwiązania można nadsyłać do 3 maja 2016 do 23:59:59. Spóźnione nadesłanie rozwiązania skutkuje odjęciem 2 pkt. od wyniku za każdy dzień spóźnienia przez pierwsze 10 dni. Po 13 maja rozwiązania nie będą akceptowane.
Leaderboard prezentuje częściowe wyniki (partial score) dla rozwiązań nadsyłanych przez uczestników. Własne wyniki (i ich ewolucja) na Leaderboard mogą posłużyć do oceny, czy nasze rozwiązania podążają we właściwym kierunku. Porównywanie się z innymi uczestnikami może przynieść pewne korzyści, ale powinno być traktowane jako bardzo zgrubna miara jakości własnych rozwiązań. Ostateczna ewaluacja wyników końcowych będzie prowadzona za pomocą miary wyliczanej na innym podzbiorze danych testowych, niż ten stosowany dla wyników częściowych.
Rank | Team Name | Score | Submission Date |
---|---|---|---|
1 | fj346919 |
0.8315 | |
2 | aj337023 |
0.7538 | |
3 | mb336912 |
0.7510 | |
4 | pk346962 |
0.5109 | |
5 | ms321288 |
0.5000 | |
6 | ps347232 |
0.4889 | |
7 | js335769 |
0.4878 | |
8 | sb346854 |
0.4794 | |
9 | bm347088 |
0.4776 | |
10 | mw336071 |
0.4758 | |
11 | mc346871 |
0.4745 | |
12 | jl346997 |
0.4741 | |
13 | bm347174 |
0.4701 | |
14 | mp345782 |
0.4693 | |
15 | lk346959 |
0.4659 | |
16 | mr335453 |
0.4655 | |
17 | pw347276 |
0.4649 | |
18 | franekp |
0.4644 | |
19 | mb346851 |
0.4639 | |
20 | mz336088 |
0.4638 | |
21 | mb346862 |
0.4638 | |
22 | ek346965 |
0.4638 | |
23 | kz |
0.4632 | |
24 | ds320335 |
0.4632 | |
25 | kz292659 |
0.4632 | |
26 | bt337703 |
0.4627 | |
27 | bartoszb |
0.4621 | |
28 | wp334977 |
0.4621 | |
29 | zj334563 |
0.4621 | |
30 | mk346989 |
0.4604 | |
31 | kh359525 |
0.4599 | |
32 | ks357720 |
0.4586 | |
33 | pz347291 |
0.4582 | |
34 | pk334579 |
0.4582 | |
35 | ws321245 |
0.4580 | |
36 | kl346994 |
0.4576 | |
37 | jw332659 |
0.4559 | |
38 | voodoo11 |
0.4552 | |
39 | jk334674 |
0.4552 | |
40 | pk320774 |
0.4535 | |
41 | pg346895 |
0.4511 | |
42 | ms347247 |
0.4509 | |
43 | ak346969 |
0.4494 | |
44 | dh334554 |
0.4487 | |
45 | hm347154 |
0.4478 | |
46 | karek |
0.4461 | |
47 | mk334668 |
0.4419 | |
48 | as339398 |
0.4412 | |
49 | kb346840 |
0.4411 | |
50 | mm332321 |
0.4403 | |
51 | wr347219 |
0.4377 | |
52 | ab346870 |
0.4370 | |
53 | mm347184 |
0.4345 | |
54 | ms332521 |
0.4341 | |
55 | koz4k |
0.4338 | |
56 | js332522 |
0.4254 | |
57 | mb346859 |
0.4254 | |
58 | as320426 |
0.4238 | |
59 | ms335814 |
0.4234 | |
60 | mi291188 |
0.4234 | |
61 | baseline_solution |
0.4226 | |
62 | dc346879 |
0.4218 | |
63 | bs321292a |
0.4176 | |
64 | fc346868 |
0.4173 | |
65 | ar262928 |
0.4167 | |
66 | pm334695 |
0.4145 | |
67 | mo347210 |
0.4030 | |
68 | tl334691 |
0.3878 | |
69 | mm319369-2 |
0.3835 | |
70 | 346905 |
0.3704 | |
71 | ah267184 |
0.3690 | |
72 | ks345457 |
0.3623 | |
73 | km347187 |
0.3106 | |
74 | jh310754 |
0.2741 |
Ostateczne wyniki i informacja o rezultatach. Niedostępne aż do zakończenia projektu i nadesłania wyników ostatecznych wraz z raportem.
Rank | Team Name | Is Report | Preliminary Score | Final Score | Submissions | |
---|---|---|---|---|---|---|
1 | mb336912 |
True | True | 0.7510 | 0.742986 | 2 |
2 | ms321288 |
True | True | 0.5000 | 0.463005 | 2 |
3 | wr347219 |
True | True | 0.4377 | 0.435177 | 2 |
4 | ak346969 |
True | True | 0.4494 | 0.431034 | 2 |
5 | karek |
True | True | 0.4461 | 0.430518 | 2 |
6 | pg346895 |
True | True | 0.4511 | 0.429025 | 2 |
7 | jk334674 |
True | True | 0.4552 | 0.428507 | 2 |
8 | kl346994 |
True | True | 0.4576 | 0.428182 | 2 |
9 | mb346851 |
True | True | 0.4639 | 0.425725 | 2 |
10 | pw347276 |
True | True | 0.4649 | 0.425455 | 2 |
11 | pk346962 |
True | True | 0.5109 | 0.425068 | 2 |
12 | ks357720 |
True | True | 0.4586 | 0.420862 | 2 |
13 | pz347291 |
True | True | 0.4582 | 0.420765 | 2 |
14 | as320426 |
True | True | 0.4238 | 0.420527 | 2 |
15 | jw332659 |
True | True | 0.4559 | 0.420191 | 2 |
16 | bm347088 |
True | True | 0.4776 | 0.419428 | 2 |
17 | kz292659 |
True | True | 0.4632 | 0.419281 | 2 |
18 | franekp |
True | True | 0.4644 | 0.418330 | 2 |
19 | ws321245 |
True | True | 0.4580 | 0.418289 | 2 |
20 | mw336071 |
True | True | 0.4758 | 0.415985 | 2 |
21 | mk346989 |
True | True | 0.4604 | 0.411309 | 2 |
22 | dh334554 |
True | True | 0.4487 | 0.410326 | 2 |
23 | ek346965 |
True | True | 0.4638 | 0.410023 | 2 |
24 | jl346997 |
True | True | 0.4741 | 0.408905 | 2 |
25 | sb346854 |
True | True | 0.4794 | 0.408348 | 2 |
26 | fj346919 |
True | True | 0.8315 | 0.406764 | 2 |
27 | bm347174 |
True | True | 0.4701 | 0.404902 | 2 |
28 | as339398 |
True | True | 0.4412 | 0.404729 | 2 |
29 | pm334695 |
True | True | 0.4145 | 0.404372 | 2 |
30 | kh359525 |
True | True | 0.4599 | 0.403995 | 2 |
31 | mm347184 |
True | True | 0.4345 | 0.403811 | 2 |
32 | kb346840 |
True | True | 0.4411 | 0.403080 | 2 |
33 | ds320335 |
True | True | 0.4632 | 0.402910 | 2 |
34 | mi291188 |
True | True | 0.4234 | 0.402367 | 2 |
35 | dc346879 |
True | True | 0.4218 | 0.401639 | 2 |
36 | mm332321 |
True | True | 0.4403 | 0.401271 | 2 |
37 | 346905 |
True | True | 0.3704 | 0.400727 | 2 |
38 | bt337703 |
True | True | 0.4627 | 0.400363 | 2 |
39 | hm347154 |
True | True | 0.4478 | 0.399455 | 2 |
40 | js335769 |
True | True | 0.4878 | 0.399267 | 2 |
41 | ab346870 |
True | True | 0.4370 | 0.398910 | 2 |
42 | ps347232 |
True | True | 0.4889 | 0.398907 | 2 |
43 | ms335814 |
True | True | 0.4234 | 0.398726 | 2 |
44 | ms347247 |
True | True | 0.4509 | 0.397996 | 2 |
45 | tl334691 |
True | True | 0.3878 | 0.397645 | 2 |
46 | mo347210 |
True | True | 0.4030 | 0.397640 | 2 |
47 | mb346859 |
True | True | 0.4254 | 0.395824 | 2 |
48 | mc346871 |
True | True | 0.4745 | 0.395084 | 2 |
49 | mr335453 |
True | True | 0.4655 | 0.394353 | 2 |
50 | lk346959 |
True | True | 0.4659 | 0.393248 | 2 |
51 | pk320774 |
True | True | 0.4535 | 0.387829 | 2 |
52 | mp345782 |
True | True | 0.4693 | 0.387420 | 2 |
53 | wp334977 |
True | True | 0.4621 | 0.384686 | 2 |
54 | zj334563 |
True | True | 0.4621 | 0.384686 | 2 |
55 | bartoszb |
True | True | 0.4621 | 0.384686 | 2 |
56 | mb346862 |
True | True | 0.4638 | 0.384510 | 2 |
57 | mz336088 |
True | True | 0.4638 | 0.381777 | 2 |
58 | ms332521 |
True | True | 0.4341 | 0.381383 | 2 |
59 | js332522 |
True | True | 0.4254 | 0.381298 | 2 |
60 | bs321292a |
True | True | 0.4176 | 0.380346 | 2 |
61 | pk334579 |
True | True | 0.4582 | 0.379781 | 2 |
62 | ah267184 |
True | True | 0.3690 | 0.378182 | 2 |
63 | mk334668 |
True | True | 0.4419 | 0.373866 | 2 |
64 | fc346868 |
True | True | 0.4173 | 0.372093 | 2 |
65 | ks345457 |
True | True | 0.3623 | 0.366274 | 2 |
66 | mm319369-2 |
True | True | 0.3835 | 0.360091 | 2 |
67 | jh310754 |
True | True | 0.2741 | 0.276238 | 2 |
68 | aj337023 |
False | True | 0.7538 | No report file found or report rejected. | 2 |
69 | kz |
False | True | 0.4632 | No report file found or report rejected. | 2 |
70 | voodoo11 |
False | True | 0.4552 | No report file found or report rejected. | 2 |
71 | koz4k |
False | True | 0.4338 | No report file found or report rejected. | 2 |
72 | baseline_solution |
False | True | 0.4226 | No report file found or report rejected. | 2 |
73 | ar262928 |
False | True | 0.4167 | No report file found or report rejected. | 2 |
74 | km347187 |
False | True | 0.3106 | No report file found or report rejected. | 2 |