7 years, 10 months ago

Trzeci projekt zaliczeniowy DM 2016

None

Overview

Opis zadania

Zadanie polega na opracowaniu sposobu reprezentacji w systemie informacyjnym obrazków w formacie png przedstawiających pojedyncze znaki polskiego alfabetu, tak by otrzymana reprezentacja pozwalała jak najdokładniej dzielić obrazki na grupy zawierające takie same znaki.

Przebieg projektu

Projekt jest zorganizowany w formie konkursowej. Każdy uczestnik może zgłosić wiele rozwiązań (maksymalnie 100). Termin zakończenia to 12 czerwca 2016, godz. 23:59:59 (według czasu GMT). Spóźnione raporty można dosyłać do północy 15 czerwca. Szczegółowe warunki udziału w konkursie znajdują się w Warunkach Projektu.

Format rozwiązań

Rozwiązanie powinno mieć format pliku tekstowego zawierającego dokładnie 6168 wierszy zakończonych znakiem końca linii. Każdy wiersz powinien zawierać w pierwszej kolumnie nazwę pliku z obrazkiem a następnie maksymalnie 100 liczb rzeczywistych odpowiadających proponowanym wartościom atrybutów opisujących dany obrazek. Kolejne wartości w wierszu powinny być rozdzielone przecinkami. Ważnej jest, by każdy wiersz zawierał taką samą liczbę wartości.  Pliki należy przesyłać przez załadowanie ich do systemu konkursowego. Przesłaniu ostatecznego rozwiązania powinno towarzyszyć załadowanie raportu opisującego przyjętą metodę (patrz Warunki Projektu).

Ocena rozwiązań

Ocena rozwiązań, zarówno częściowych jak i końcowego będzie wyliczana za pomocą uśrednionej miary F1-score wyliczonej na podstawie grupowania hierarchicznego, przy czym:

  • Dla wyników częściowych miara będzie wyliczana na części zbioru testowego.
  • Dla wyniku ostatecznego miara będzie wyliczana na pozostałych, nie wykorzystywanych przy ocenie częściowej przykładach testowych.

Procedura obliczania wyniku będzie wyglądała następująco:

  1. Na podstawie przesłanego systemu informacyjnego zostanie wyliczone grupowanie obiektów z podziałem na 59 grup (jest to faktyczna liczba różnych znaków występujących w danych). Do grupowania zostanie wykorzystana metoda aglomeracyjna typu 'single linkage' zaimplementowana w pakiecie 'flashClust' systemu R.
  2. Otrzymany wektor grupujący dane zostanie porównany z prawdziwymi etykietami obrazków. Dla każdej z prawdziwych grup wybrany zostanie najczęstszy identyfikator z wektora grupującego występujący w danej grupie.
  3. Dla każdej z prawdziwych grup, na podstawie zbiorów obiektów z wybranym identyfiatorem oraz obiektów faktycznie należących do danej grupy zostanie obliczona wartość miary F1-score.
  4. Ostateczny wynik odpowiadał będzie średniej arytmetycznej z uzyskanych wartości F1-score, pomniejszonej o 'karę' za używanie dużej liczby atrybutów. Kara obliczana będzie zgodnie z wzorem: (k/500)^2, gdzie k to liczba wykorzystanych atrybutów.

Niezależnie od uzyskanego wyniku wstępnego (średniego F1-score), rozwiązania, którym nie towarzyszy raport nie będą ostatecznie oceniane.

Terms & Conditions
 
 
Sponsors
Warunki Projektu

Obowiązują następujące zasady:

  • Uczestnicy mogą przesyłać tylko rozwiązania uzyskane samodzielnie.
  • Liczba dostępnych przesłań rozwiązań częściowych została ograniczona do 100.
  • Do ewaluacji można przesyłać jedno rozwiązanie na 60 minut.
  • Do stworzenia rozwiązania można wykorzystywać jedynie dane udostępnione w konkursie.
  • Każdy uczestnik jest zobligowany do przesłaniana na koniec projektu, wraz z rozwiązaniem końcowym, krótkiego raportu opisującego rozwiązanie.
  • Raport musi zawierać informacje takie jak: Imię, nazwisko, i id uczestnika; ostatni wynik częściowy (z Leaderboard); krótki opis zastosowanych metod i narzędzi. Jakść raportu będzie miała wpływ na liczbę uzyskanych punktów.
  • Raporty nie powinny przekraczać 2000 słów i powinny zostać załadowane do systemu (jako plik PDF) przed północą 15 czerwca 2016.
  • Ocena (liczba punktów) będzie zależna od jakości rozwiązania oraz terminowości i czytelności raportu.
Please log in to the system!

Aby wziąć udział w projekcie (konkursie) należy przeczytać i zaakceptować Warunki Projektu. Rozwiązania można nadsyłać do 12 czerwca 2016 do 23:59:59 a raport do 15 czerwca 2016. 

In order to download competition files you need to be enrolled.

Leaderboard prezentuje częściowe wyniki (partial score) dla rozwiązań nadsyłanych przez uczestników. Mogą one posłużyć do oceny, czy nasze rozwiązania podążają we właściwym kierunku. Porównywanie się z innymi uczestnikami może przynieść pewne korzyści, ale powinno być traktowane jako bardzo zgrubna miara jakości własnych rozwiązań. Ostateczna ewaluacja wyników końcowych będzie prowadzona za pomocą  miary wyliczanej na innym podzbiorze danych testowych, niż ten stosowany dla wyników częściowych.

Rank Team Name Score Submission Date
1
s9653
 0.9993
2
mw336071
 0.9977
3
s13557
 0.9931
4
pathes
 0.9928
5
fj346919
 0.9918
6
hm306317
 0.9766
7
bart113
 0.9692
8
mnme
 0.9554
9
ds320335
 0.8578
10
kk320728
 0.8552
11
kc320722
 0.8397
12
ws321245
 0.8311
13
dr319377
 0.7962
14
mk334668
 0.7463
15
dokato
 0.6872
16
wz320501
 0.6099
17
ot318998
 0.5842
18
wd319357
 0.5195
19
mg
 0.4731
20
s9520
 0.4359
21
s6158
 0.3422
22
baseline_solution
 0.0348

Ostateczne wyniki i informacja o rezultatach. Niedostępne aż do zakończenia projektu i nadesłania wyników ostatecznych wraz  z raportem.

Rank Team Name Is Report Preliminary Score Final Score Submissions
1
mw336071
True 0.9977 0.965745 2
2
fj346919
True 0.9918 0.952494 2
3
pathes
True 0.9928 0.946492 2
4
mnme
True 0.9554 0.937663 2
5
bart113
True 0.9692 0.895645 2
6
dr319377
True 0.7962 0.783992 2
7
mk334668
True 0.7463 0.738466 2
8
kk320728
True 0.8552 0.726799 2
9
dokato
True 0.6872 0.647891 2
10
ds320335
True 0.8578 0.616818 2
11
ot318998
True 0.5842 0.610634 2
12
wz320501
True 0.6099 0.603520 2
13
s13557
True 0.9931 0.580811 2
14
hm306317
True 0.9766 0.470573 2
15
mg
True 0.4731 0.461717 2
16
s9653
True 0.9993 0.432162 2
17
wd319357
True 0.5195 0.428061 2
18
s9520
True 0.4359 0.274369 2
19
kc320722
False 0.8397 No report file found or report rejected. 2
20
ws321245
False 0.8311 No report file found or report rejected. 2
21
s6158
False 0.3422 No report file found or report rejected. 2
22
baseline_solution
False 0.0348 No report file found or report rejected. 2
There is no topics in this competition.