8 years, 4 months ago
Drugi projekt zaliczeniowy DM 2016
None
Opis zadania
Zadanie polega na zbudowaniu modelu predykcyjnego pozwalającego przewidywać klasyfikację ACM artykułów naukowych na podstawie treści ich abstraktów oraz słów kluczowych. Więcej informacji na temat udostępnionych danych można znaleźć w sekcji Opis danych.
Przebieg projektu
Projekt jest zorganizowany w formie konkursowej. Każdy uczestnik może zgłosić wiele rozwiązań. Termin zakończenia to 22 maja 2016, godz. 23:59:59. Szczegółowe warunki znajdują się w Warunkach Projektu.
Format rozwiązań
Rozwiązanie powinno mieć format pliku tekstowego zawierającego dokładnie 100000 wierszy zakończonych znakiem końca linii. Każdy wiersz powinien zawierać listę identyfikatorów etykiet oddzielonych od siebie przecinkami. Pliki należy przesyłać przez załadowanie ich do systemu konkursowego. Przesłaniu ostatecznego rozwiązania powinno towarzyszyć załadowanie raportu (patrz Warunki Projektu).
Ocena rozwiązań
Ocena rozwiązań, zarówno częściowych jak i końcowego będzie wyliczana za pomocą miary F1-score, przy czym:
- Dla wyników częściowych miara będzie wyliczana na części zbioru testowego.
- Dla wyniku ostatecznego miara będzie wyliczana na pozostałych, nie wykorzystywanych przy ocenie częściowej przykładach testowych.
Niezależnie od uzyskanego wyniku wstępnego (F1-score), rozwiązania, którym nie towarzyszy raport nie będą ostatecznie oceniane.
Obowiązują następujące zasady:
- Uczestnicy mogą przesyłać tylko rozwiązania uzyskane samodzielnie.
- Liczba dostępnych przesłań rozwiązań częściowych została ograniczona do 100.
- Do stworzenia rozwiązania można wykorzystywać jedynie dane udostępnione w konkursie (zakaz wykorzystywania narzędzi do automatycznego wyszukiwania dokumentów testowych w Internecie).
- Każdy uczestnik jest zobligowany do przesłaniana na koniec projektu, wraz z rozwiązaniem końcowym, krótkiego raportu opisującego rozwiązanie.
- Raport musi zawierać informacje takie jak: Imię, nazwisko, i id uczestnika; ostatni wynik częściowy (z Leaderboard); krótki opis zastosowanych metod i narzędzi.
- Raporty nie powinny przekraczać 2000 słów i powinny zostać załadowane do systemu (jako plik PDF) przed zakończeniem projektu (przed północą 15 maja 22 maja 2016).
- Ocena (liczba punktów) będzie zależna od jakości rozwiązania oraz terminowości i czytelności raportu.
Aby wziąć udział w projekcie (konkursie) należy przeczytać i zaakceptować Warunki Projektu. Rozwiązania można nadsyłać do 22 maja 2016 do 23:59:59.
Leaderboard prezentuje częściowe wyniki (partial score) dla rozwiązań nadsyłanych przez uczestników. Mogą one posłużyć do oceny, czy nasze rozwiązania podążają we właściwym kierunku. Porównywanie się z innymi uczestnikami może przynieść pewne korzyści, ale powinno być traktowane jako bardzo zgrubna miara jakości własnych rozwiązań. Ostateczna ewaluacja wyników końcowych będzie prowadzona za pomocą miary wyliczanej na innym podzbiorze danych testowych, niż ten stosowany dla wyników częściowych.
Rank | Team Name | Score | Submission Date |
---|---|---|---|
1 | hm306317 |
0.4321 | |
2 | s13557 |
0.4004 | |
3 | kc320722 |
0.3783 | |
4 | mnme |
0.3645 | |
5 | ws321245 |
0.3410 | |
6 | mk334668 |
0.3277 | |
7 | ot318998 |
0.2736 | |
8 | mg |
0.2667 | |
9 | wd319357 |
0.2641 | |
10 | ds320335 |
0.2526 | |
11 | mw336071 |
0.2471 | |
12 | dokato |
0.2378 | |
13 | fj346919 |
0.2243 | |
14 | bart113 |
0.2108 | |
15 | pathes |
0.2021 | |
16 | kk320728 |
0.1580 | |
17 | kp332534 |
0.1566 | |
18 | wz320501 |
0.0241 | |
19 | s6158 |
0.0114 | |
20 | s9653 |
0.0000 |
Ostateczne wyniki i informacja o rezultatach. Niedostępne aż do zakończenia projektu i nadesłania wyników ostatecznych wraz z raportem.
Rank | Team Name | Is Report | Preliminary Score | Final Score | Submissions | |
---|---|---|---|---|---|---|
1 | hm306317 |
True | True | 0.4321 | 0.434868 | 2 |
2 | s13557 |
True | True | 0.4004 | 0.398941 | 2 |
3 | kc320722 |
True | True | 0.3783 | 0.379920 | 2 |
4 | mnme |
True | True | 0.3645 | 0.361790 | 2 |
5 | mk334668 |
True | True | 0.3277 | 0.327777 | 2 |
6 | ot318998 |
True | True | 0.2736 | 0.275705 | 2 |
7 | wd319357 |
True | True | 0.2641 | 0.268263 | 2 |
8 | mg |
True | True | 0.2667 | 0.265464 | 2 |
9 | ds320335 |
True | True | 0.2526 | 0.254728 | 2 |
10 | dokato |
True | True | 0.2378 | 0.237138 | 2 |
11 | fj346919 |
True | True | 0.2243 | 0.220199 | 2 |
12 | bart113 |
True | True | 0.2108 | 0.212131 | 2 |
13 | pathes |
True | True | 0.2021 | 0.203172 | 2 |
14 | kk320728 |
True | True | 0.1580 | 0.157429 | 2 |
15 | wz320501 |
True | True | 0.0241 | 0.022781 | 2 |
16 | s6158 |
True | True | 0.0114 | 0.011527 | 2 |
17 | ws321245 |
False | True | 0.3410 | No report file found or report rejected. | 2 |
18 | mw336071 |
False | True | 0.2471 | No report file found or report rejected. | 2 |
19 | kp332534 |
False | True | 0.1566 | No report file found or report rejected. | 2 |
20 | s9653 |
False | True | 0.0000 | No report file found or report rejected. | 2 |
Discussion | Author | Replies | Last post | |
---|---|---|---|---|
Projekt został przedłużony do końca 22 maja | Andrzej | 0 | by Andrzej Monday, May 16, 2016, 07:05:07 |