machine learning

Понеже стана дума, кой от вас цъка ML? В БГ има ли фирми който разработват такива продукти?

Сега като се замисля, имах познат дето работеше при някакви дето правеха спам филтри. Говедаря също беше пуснал една обява на някакви украинци, но Гуру рязко ги пресече че stocks price forecasting e невъзможен. Някакви други сещате ли се?

чак да цъкам не, но преглеждам отгоре-отгоре.

Колко акции шортна през празния си животец, на колко командировки отиде?

Аха, аз в свободното си време тренирам една мрежа за класифициране на определени изображения.

EOF

Някакъв сървис ли интегрираш(за гугъл се сещам че имат апи) или имплементираш/файнтюнваш нещо собствено?

Хората се учат от загубите си, аз - само от пропуснатите ползи

Не, ползвам caffe върху една относително стара видеокарта, която трябва да сменя скоро. Но не тренирам мрежата от scratch, това е безумно усилие с предопределено лош краен резултат, използвам тренирана такава за различен dataset (imagenet), съвсем леко модифицирана и я finetune-вам итеративно с моите картинки (следвайки "изчистването" на dataset-а от боклучави примеси, първото finetune-ване беше като имах 30 "изчистени" класа изображения, след това 60, 120, 240, 480 и т.н). В крайния си вид предвиждам да имам малко под 1000 класа и най-голямата ми драма в момента е "изчистването" на dataset-а от вредни примеси, щото съм ги дърпал автоматизирано с разни питонски скриптчета дето крадат картинки оттук-оттам.

Що се отнася до мрежата - леко променен googlenet, не ползвам гъзарии от сорта на resnet-ите и подобни щото са много лакоми и с моя хардуер ще отекат седмици да топля стаята, а целта не си оправдава средствата.

EOF

А каква е целта - ще си правиш порно сайт?

Остави това ама тая идея вече я измислиха некакви хаховци, тренираха някаква GAN мрежа да им генерира порно картинки, някои даже им се получаваха съвсем истински, което много ме натъжава - някъде скоро в бъдещето дори порното ще е тотално менте, скапано ГМО.

EOF

Изчистване имаш предвид, триенето на картинки от категории на които не принадлежат преди тренирането или какво е accuracy-тo? Всъщност как тестваш accuracy-то? Интересно също колко голям трябва да е трейнинг сета за да постигнеш да кажем 90% accuracy(за кола да кажем)?

Хората се учат от загубите си, аз - само от пропуснатите ползи

фейсбук нямат 90% за лица, за коли няма причина да е различно.




NE SUTOR ULTRA CREPIDAM

Не съм сигурен че е така. Има обекти които се разпознават по-лесно от други. За пример - ОCR там аccuracyto e изключително високо. Предполагам че с много голям файн-тюнинг на самата мрежа(лейъри/нодове, а не само трениране) за определени обекти може да се изкара висока прецизност.

Хората се учат от загубите си, аз - само от пропуснатите ползи

Такива които не принадлежат или такива, които принадлежат, но са с лошо качество (малък обект на фона на всичко останало или такъв където е частично закрит от друг обект и т.н.).

caffe-то си прави теста който мери accuracy-то, трябва единствено да заделиш част от dataset-а за валидация (при мен 10%).

90% test accuracy е много оптимистично, дори само с няколкостотин класа и голям и "нешумен" dataset, при мен мрежата обикновено converge-ва докъм около 80 и нещо, последно 84-85% някъде. Като top-5 accuracy-то е над 90, всъщност над 95-96%

За да го вдигна над 90% правя други фокуси, най-лесния е с ансамбъл от мрежи, това ако го свършиш като хората може да докараш примерно 4-5% отгоре, но аз правя и препроцесинг на изображенията дето ги класифицирам, за да разкарам ненужни неща за които съм сигурен че нямат нищо общо с обектите за класификация.

EOF

като е толкова високо разпознаването на букви, защо всички капчи ползват точно букви за да отсвирват ботове :)




NE SUTOR ULTRA CREPIDAM

аха, ти разказа за тоя препроцесинг в другия форум, той твоя препроцесинг прави истинското разпознаване, а невронната ти мрежа е само "защото така се прави"




NE SUTOR ULTRA CREPIDAM

Тия капчи предпазват само от хакери без големи количества ИП-та, дето и да пожелаят не могат да хакнат дира. Щом за Рабин не са проблем капчите, защо да са проблем за невронната мрежа?

Не, там беше за съвсем различно нещо. Далеч съм от мисълта че не може да се подходи по същия начин и тук - обаче ще е грандиозно усилие все по-противно с добавянето на нови класове за разпознаване според мен, съвсем друго е да му нахвърляш емнайсе хиляди картинки и да му кажеш "оправяй се".

EOF

Ама си говедо, добре че има говедари. Не украинци, а евреи: [линк]

Аз едно време разсъждавах по въпроса дали да не започна бизнес с автоматизирана тролска фабрика, където не бачкат празноглави копипействащи на тръстиката - да направя революция на пазара един вид. Та специално въпроса с капчите по родните новинарски сайтове съм го проучвал. Положението е много зле, достатъчно е да позачистиш малко изображението и да го засилиш към tesseract да ти го OCR-ва и се познават с доста приемлив успех (най-голям беше при дарикнюз май, някъде малко над 45%, най-зле при соросоидните сайтове на икономедия, щото там яко серат отгоре на капчата, но и там беше приемливо висок).

Ма те всичките ползват малоумни имплементации, разни готови такива решения са къде по-добре направени, при тях ще е доста по-голям зор.

EOF

нали знаеш че любимата ми история да кова демито и останалите зубрачи е за оня зидаромазача, дето му обясних за два часа как се пуска визуалното студио, какво е функция, и му показах няколко апита за обща употреба, след 6 месеца направи цъкалка за реклами дето разбива капчата и надои няколко стотин долара преди да го баннат от всички цъкащи сайтове.




NE SUTOR ULTRA CREPIDAM

това бях аз

Хората се учат от загубите си, аз - само от пропуснатите ползи

не ми приличаш




NE SUTOR ULTRA CREPIDAM