Pracowałem przez dwa lata w startupie jako produktowiec.

Firma ma sześć etapów oceny: inicjacja, projektowanie, prototyp, rozwój, testowanie, wdrożenie. Nowi myślą, że najtrudniejsze jest rozwijanie. Po dłuższym czasie uświadamiasz sobie, że to nie rozwój zabija projekty, a inicjacja. To, czy projekt przetrwa, często decyduje się w pierwszym tygodniu.

@OpenLedger Czwarty rozdział białej księgi opisuje sześć etapów modelu od propozycji do wdrożenia. Po przeczytaniu pomyślałem o tym samym problemie.

Najpierw wypisz sześć etapów.

Pierwszy etap, propozycja modelu. Deweloperzy przedstawiają kierunek, mogą potrzebować stakować $OPEN na ochronę przed spamem.

Druga faza, audyt zarządzania. Gubernatorzy protokołu głosują za pomocą gOPEN, aby przejść do kolejnej fazy, muszą osiągnąć próg wsparcia.

Trzecia faza, zbieranie danych. Datanets agregują dane z obszaru, a uczestnicy otrzymują nagrody za atrybucję.

Czwarta faza, fine-tuning modelu. Używamy ModelFactory do nadzorowanego fine-tuningu.

Piąta faza, optymalizacja RLHF. Walidatorzy oceniają wyniki modelu. Wysokiej jakości feedback przynosi zarobki ze stakowania, niskiej jakości jest slashowany.

Szósta faza, integracja API. Wdrożenie modelu, połączenie z ramami agenta, zaczynamy generować przychody z wywołań.

Każdy etap może zakończyć się porażką, ale prawdopodobieństwo śmierci jest bardzo różne.

Najłatwiej zginąć nie na audycie, ale podczas zbierania danych.

Wiele osób myśli, że audyt zarządzania jest najtrudniejszy. Bez wystarczającej liczby głosów nie przejdzie.

Nie zgadzam się z tym. Logika audytu zarządzania jest bardzo jasna. Mechanizm głosowania jest dobrze zaprojektowany, wystarczy osiągnąć próg, aby przejść. To kwestia inżynieryjna.

Prawdziwym zabójcą jest trzecia faza.

Przyczyną jest to, że zbieranie danych opiera się na zewnętrznych dostawcach. Nawet najlepsze propozycje modelu, nawet najszybsze audyty zarządzania, gdy przychodzi do zbierania danych, potrzebujemy prawdziwych ekspertów w danej dziedzinie, którzy są gotowi przesłać swoje dane do Datanets.

Obrazowanie medyczne, orzecznictwo prawne, analiza rynków finansowych. Ci, którzy mają prawdziwą wartość tych danych, dlaczego mieliby je oddać nowemu protokołowi?

Zyski z atrybucji to jeden z powodów. Ale zyski z atrybucji można uzyskać dopiero po wywołaniu modelu. W fazie zimnego startu model jeszcze nie jest wdrożony, wywołanie się jeszcze nie odbyło, a wkładane dane są prawdziwe, lecz przyniosą opóźnione, niepewne oczekiwania na zyski.

Typowa sytuacja: kura i jajko.

Części, które nie zostały jasno opisane w białej księdze.

Jak przejść przez okres zimnego startu w trzeciej fazie? Biała księga nie rozwinęła tego tematu.

Na poziomie mechanizmu wszystko jest jasno napisane. Datanets to zbiór danych wspólnych dla społeczności, uczestnicy otrzymują nagrody za atrybucję w zależności od swojego wpływu, a ModelFactory czyni proces fine-tuningu przejrzystym i weryfikowalnym. Ale konkretnie, jak pozyskać pierwszą grupę wysokiej jakości uczestników danych, biała księga nie odpowiada.

Drugim najbardziej narażonym na śmierć etapem jest RLHF.

To nie jest błąd w projektowaniu mechanizmu. RLHF wymaga ciągłej wysokiej jakości ludzkiej informacji zwrotnej. Mechanizm slash może karać tych, którzy przyznają złe oceny, ale nie rozwiązuje innego problemu. Jeśli nie ma wystarczającej liczby kwalifikowanych walidatorów, pętla informacji zwrotnej nie może się uruchomić. Jakość RLHF równa się liczbie uczestników pomnożonej przez ich profesjonalizm. W fazie zimnego startu obie liczby są niskie.

Trzecią rzeczą wartą uwagi jest integracja API.

Wdrożenie modelu nie oznacza, że ktoś go używa. Biała księga opisuje mechanizmy wdrożenia, ale nie mówi nic o ekspansji biznesowej. Skąd wezmą się pierwsze przedsiębiorstwa? Jak zweryfikować rzeczywistą wartość modelu? Problem zimnego startu po stronie popytu również jest istotny.

Trzy etapy należy analizować razem.

Zbieranie danych polega na uczestnikach, RLHF na walidatorach, a integracja API na użytkownikach biznesowych. Wszystkie trzy to problemy zimnego startu podaży i popytu. Doskonałe zaprojektowanie mechanizmu nie oznacza, że te trzy grupy ludzi pojawią się same.

Typowe rozwiązania używane w przeszłości w projektach kryptograficznych to airdropy, wydobywanie płynności, wczesne listy białe. Te metody sprawdziły się w DeFi, ale w scenariuszach związanych z wkładem danych AI i weryfikacją modeli nie zostały jeszcze potwierdzone.

Po uruchomieniu mainnetu, śledź trzy cyfry.

Po pierwsze, liczba aktywnych uczestników Datanets. Jeśli Datanet ma tylko kilku uczestników przez dłuższy czas, różnorodność danych jest ograniczona, co wpływa na jakość modelu.

Po drugie, proporcja walidatorów slashowanych w fazie RLHF. Zbyt wysoka proporcja wskazuje na problemy z jakością danych, zbyt niska oznacza, że mechanizm kar jest fikcyjny.

Po trzecie, ile modeli naprawdę weszło w fazę integracji API. Duża liczba modeli utknęła w piątej fazie i nie może przejść do szóstej, co pokazuje, że bariera komercjalizacji jest prawdziwa.

Szósta faza zarządzania modelem nie jest równo podzielona na etapy. Pierwsze trzy są znacznie trudniejsze niż ostatnie trzy.

W mojej byłej startupowej firmie, 60% projektów zginęło na etapie inicjacji. Pozostałe 40% pochodzi z pięciu kolejnych etapów.

#OpenLedger W szóstej fazie, modele zabite podczas zbierania danych będą stanowiły największy odsetek. Następnie jest RLHF. Potem integracja API i komercjalizacja.