Od czerwca 2025 roku buduję własny detektor tekstów AI, Genuino, a na nim narzędzia do humanizacji. 5 Pierwsza zapisana walidacja, wersji 4.6, dała 72,5% trafności na 40 tekstach.
Najwięcej pracy poszło w dane. Starszy zbiór to 18 320 par tekstów ludzkich i AI. 5 Do tego napisałem system, który z 940 słów kluczowych pobrał 4961 artykułów z The Guardian, a 4499 z nich przepisał przez modele OpenAI, Anthropic i Google, w wariancie neutralnym i udającym człowieka. Osobno generowałem trudne przypadki: tekst AI trafiał do bazy tylko wtedy, gdy oszukał detektor.
Na tych danych powstało 58 cech stylometrycznych: słownictwo, składnia, rytm, spójność, własna przewidywalność liczona względem korpusu około 6 mln słów z tekstów ludzkich oraz słownik 1443 fraz typowych dla AI, wybranych z ponad 8 mln. 5 Nowe cechy testowałem na 2500 parach. Najsilniejsza, gęstość kolokacji AI, osiągnęła AUC 0,91, a cztery inne odrzuciłem jako szum.
Model to LightGBM uczony w pętli: błędy wracały do treningu, a część danych nigdy go nie dotykała. Na takim czystym zbiorze 632 rekordów wersja 9.3 osiągnęła F1 0,965. 5 Na danych treningowych modele pokazywały nawet 0,9989, dlatego liczy się tylko wynik na czystym zbiorze. Testowałem też odporność na ataki: od 94 do 98% wykrytych tekstów w czterech profilach.
Wyniki sprawdzałem na Originality.ai. W jednej serii 1770 skanów, na próbie tekstów wybranych jako podejrzane, uznał 14,1% tekstów ludzkich za AI i przepuścił 10,4% tekstów AI. 5 To lekcja dla całej branży: nawet dobry detektor się myli, więc "100% human" to zły cel.
Z humanizacją poszło trudniej niż z detekcją. Na zapisanych próbach teksty potoczne po przepisaniu przez modele zostawały na 94-100% AI w Genuino. 5 Tekst medyczny zszedł do 31,9%, ale w jednym przebiegu. 29 prób fine-tuningu na różnych modelach OpenAI nie dało modelu, który dobrze przepisuje. Ten etap wciąż jest otwarty.