Jak ocenić czy mam wystarczającą ilość danych?

Ten wpis, podobnie jak cała zawartość bloga, odzwierciedla moje zainteresowania rozwojem w dziedzinie informatyki. Główne cele tego przedsięwzięcia to dzielenie się wiedzą, demonstracja moich umiejętności oraz chęć poznawania nowych zagadnień, co może zainteresować potencjalnych współpracowników zarówno w sferze zawodowej, jak i poza nią. Blog ten jest również okazją do samodzielnego przetwarzania zdobytej wiedzy i tworzenia osobistych notatek. Jako że sam jestem w trakcie nauki, zachęcam do niezależnego myślenia i, jeśli tematyka wpisów wpisuje się w zakres Twoich zainteresowań, do dalszej eksploracji i weryfikacji podanych przeze mnie informacji.

W poniższym wpisie zastanowimy się co to znaczy mieć wystarczającą ilość danych, aby skutecznie wytrenować model. Jest kilka przesłanek ku temu, aby sądzić, że należy tych danych mieć więcej lub mniej. Pozwolę sobie nawiązać do części z nich i omówić.

1. W zadaniach takich jak klasyfikacja i regresja, szczególnie gdy model zawiera wiele cech lub gdy celem jest odkrycie złożonych zależności w danych, niezbędna jest większa ilość danych. Gdy danych jest niewiele, a cech wiele, może pojawić się problem tzw. szumu. Oznacza to, że poszczególne dane, choć mogą wydawać się ważne, gdy są rozpatrywane oddzielnie, w szerszym kontekście całościowym mogą nie mieć dużego wpływu na ostateczne wyniki modelu, a niekiedy okazać się całkowicie nieistotne. Kiedy model jest trenowany na takich danych, jest wysoce prawdopodobne, że dojdzie do jego przeuczenia. Model przestanie generalizować na nowych danych, stając się bardzo wrażliwy na wspomniany szum, który błędnie może uznać za sygnał, zamiast go zignorować. Można też powiedzieć, że jeśli dane są bardzo zróżnicowane i obejmują wiele wyjątków lub nieregularności, potrzebna będzie większa ilość danych, większa ilość danych pozwoli modelowi lepiej uogólniać na nowe przypadki.
2. Kolejnym czynnikiem, który może sprawić, że będziemy potrzebować większej ilości danych, jest ich jakość. Jeśli dane są niskiej jakości, czyli niekompletne, mylące, błędne lub mało reprezentatywne dla stawianego przed nami problemu, musimy dysponować ich większą ilością. Dzięki temu wśród zanieczyszczonych danych (szumu) możemy znaleźć więcej wartościowych informacji (złotych kamyków). Te sygnały (złote kamyki) mogą pomóc w odkryciu istotnych zależności między danymi, co jest kluczowe z punktu widzenia zadań postawionych przed modelem. Uczciwie dodam, że są sytuacje, w których zwiększenie ilości danych nie rozwiąże problemu szumu danych. Niemniej jednak, ten wpis odnosi się do kwestii wystarczającej ilości danych, a nie skupiania się na eliminacji szumu. Te kwestie z pewnością zostaną przeze mnie poruszone w przyszłości.
3. Decyzję o tym, czy dysponujemy wystarczającą ilością danych, mogą wesprzeć istniejące prace i literatura naukowa, która często jasno i precyzyjnie określa, kiedy pewne metody działają, a kiedy nie. Możemy także odnieść się do przypadków podobnych do naszego, analizując modele, które okazały się skuteczne i przyniosły oczekiwane rezultaty, a cały proces ich trenowania został udokumentowany. Mówiąc inaczej, zawsze możemy czerpać z dostępnej wiedzy i doświadczeń innych, którzy stanęli przed podobnymi wyzwaniami i znaleźli rozwiązania dotyczące wymaganej ilości danych.
4. Eksperymentowanie to dobry sposób na ocenę ilości potrzebnych danych. Można stopniowo dodawać dane i obserwować, jak model reaguje na te zmiany.
5. Większa ilość danych wiąże się z dłuższym czasem trenowania modelu i większym zapotrzebowaniem na moc obliczeniową. Należy przemyśleć, czy dysponujemy wystarczającym czasem i odpowiednią mocą obliczeniową, aby umożliwić trenowanie modelu na dużych zbiorach danych. Jeśli okaże się, że przy dostępnych zasobach zabraknie nam czasu, warto rozważyć zmniejszenie ilości danych.