3 years, 2 months ago

Trzeci projekt zaliczeniowy DM 2016

None

Overview

Opis zadania

Zadanie polega na opracowaniu sposobu reprezentacji w systemie informacyjnym obrazków w formacie png przedstawiających pojedyncze znaki polskiego alfabetu, tak by otrzymana reprezentacja pozwalała jak najdokładniej dzielić obrazki na grupy zawierające takie same znaki.

Przebieg projektu

Projekt jest zorganizowany w formie konkursowej. Każdy uczestnik może zgłosić wiele rozwiązań (maksymalnie 100). Termin zakończenia to 12 czerwca 2016, godz. 23:59:59 (według czasu GMT). Spóźnione raporty można dosyłać do północy 15 czerwca. Szczegółowe warunki udziału w konkursie znajdują się w Warunkach Projektu.

Format rozwiązań

Rozwiązanie powinno mieć format pliku tekstowego zawierającego dokładnie 6168 wierszy zakończonych znakiem końca linii. Każdy wiersz powinien zawierać w pierwszej kolumnie nazwę pliku z obrazkiem a następnie maksymalnie 100 liczb rzeczywistych odpowiadających proponowanym wartościom atrybutów opisujących dany obrazek. Kolejne wartości w wierszu powinny być rozdzielone przecinkami. Ważnej jest, by każdy wiersz zawierał taką samą liczbę wartości.  Pliki należy przesyłać przez załadowanie ich do systemu konkursowego. Przesłaniu ostatecznego rozwiązania powinno towarzyszyć załadowanie raportu opisującego przyjętą metodę (patrz Warunki Projektu).

Ocena rozwiązań

Ocena rozwiązań, zarówno częściowych jak i końcowego będzie wyliczana za pomocą uśrednionej miary F1-score wyliczonej na podstawie grupowania hierarchicznego, przy czym:

  • Dla wyników częściowych miara będzie wyliczana na części zbioru testowego.
  • Dla wyniku ostatecznego miara będzie wyliczana na pozostałych, nie wykorzystywanych przy ocenie częściowej przykładach testowych.

Procedura obliczania wyniku będzie wyglądała następująco:

  1. Na podstawie przesłanego systemu informacyjnego zostanie wyliczone grupowanie obiektów z podziałem na 59 grup (jest to faktyczna liczba różnych znaków występujących w danych). Do grupowania zostanie wykorzystana metoda aglomeracyjna typu 'single linkage' zaimplementowana w pakiecie 'flashClust' systemu R.
  2. Otrzymany wektor grupujący dane zostanie porównany z prawdziwymi etykietami obrazków. Dla każdej z prawdziwych grup wybrany zostanie najczęstszy identyfikator z wektora grupującego występujący w danej grupie.
  3. Dla każdej z prawdziwych grup, na podstawie zbiorów obiektów z wybranym identyfiatorem oraz obiektów faktycznie należących do danej grupy zostanie obliczona wartość miary F1-score.
  4. Ostateczny wynik odpowiadał będzie średniej arytmetycznej z uzyskanych wartości F1-score, pomniejszonej o 'karę' za używanie dużej liczby atrybutów. Kara obliczana będzie zgodnie z wzorem: (k/500)^2, gdzie k to liczba wykorzystanych atrybutów.

Niezależnie od uzyskanego wyniku wstępnego (średniego F1-score), rozwiązania, którym nie towarzyszy raport nie będą ostatecznie oceniane.

Terms & Conditions
 
 

Obowiązują następujące zasady:

  • Uczestnicy mogą przesyłać tylko rozwiązania uzyskane samodzielnie.
  • Liczba dostępnych przesłań rozwiązań częściowych została ograniczona do 100.
  • Do ewaluacji można przesyłać jedno rozwiązanie na 60 minut.
  • Do stworzenia rozwiązania można wykorzystywać jedynie dane udostępnione w konkursie.
  • Każdy uczestnik jest zobligowany do przesłaniana na koniec projektu, wraz z rozwiązaniem końcowym, krótkiego raportu opisującego rozwiązanie.
  • Raport musi zawierać informacje takie jak: Imię, nazwisko, i id uczestnika; ostatni wynik częściowy (z Leaderboard); krótki opis zastosowanych metod i narzędzi. Jakść raportu będzie miała wpływ na liczbę uzyskanych punktów.
  • Raporty nie powinny przekraczać 2000 słów i powinny zostać załadowane do systemu (jako plik PDF) przed północą 15 czerwca 2016.
  • Ocena (liczba punktów) będzie zależna od jakości rozwiązania oraz terminowości i czytelności raportu.
Please logIn to the system!

Aby wziąć udział w projekcie (konkursie) należy przeczytać i zaakceptować Warunki Projektu. Rozwiązania można nadsyłać do 12 czerwca 2016 do 23:59:59 a raport do 15 czerwca 2016. 

In order to download competition files you need to be enrolled.

Leaderboard prezentuje częściowe wyniki (partial score) dla rozwiązań nadsyłanych przez uczestników. Mogą one posłużyć do oceny, czy nasze rozwiązania podążają we właściwym kierunku. Porównywanie się z innymi uczestnikami może przynieść pewne korzyści, ale powinno być traktowane jako bardzo zgrubna miara jakości własnych rozwiązań. Ostateczna ewaluacja wyników końcowych będzie prowadzona za pomocą  miary wyliczanej na innym podzbiorze danych testowych, niż ten stosowany dla wyników częściowych.

Rank Team Name Score Submission Date

Ostateczne wyniki i informacja o rezultatach. Niedostępne aż do zakończenia projektu i nadesłania wyników ostatecznych wraz  z raportem.

Rank Team Name Score Submission Date
1
mw336071
0.965745 2016-06-8 12:13:04
2
fj346919
0.952494 2016-06-12 23:45:56
3
pathes
0.946492 2016-06-4 13:06:36
4
mnme
0.937663 2016-06-5 10:10:10
5
bart113
0.895645 2016-06-12 10:07:39
6
dr319377
0.783992 2016-06-13 00:43:43
7
mk334668
0.738466 2016-06-5 01:02:05
8
kk320728
0.726799 2016-06-11 16:18:25
9
dokato
0.647891 2016-06-8 18:27:07
10
ds320335
0.616818 2016-06-12 23:09:52
11
ot318998
0.610634 2016-06-12 17:11:16
12
wz320501
0.603520 2016-06-12 22:46:05
13
s13557
0.580811 2016-06-12 14:45:43
14
hm306317
0.470573 2016-06-7 23:14:49
15
mg
0.461717 2016-06-11 17:33:54
16
s9653
0.432162 2016-06-12 22:59:44
17
wd319357
0.428061 2016-06-9 21:17:07
18
s9520
0.274369 2016-06-12 21:48:31
19
ws321245
No report file found or report rejected. 2016-06-12 22:50:51
20
kc320722
No report file found or report rejected. 2016-06-10 12:32:39
21
s6158
No report file found or report rejected. 2016-06-12 19:35:24
22
baseline_solution
No report file found or report rejected. 2016-05-16 13:24:00
There is no topics in this competition.