stemming dictionary

Вероятно сте чували за стеминга, ако не сте - ще обясня: Стеминг е програмно извличане на корена от дадена дума. Например:
compiter
computing
computation
имат общ корен - compute

Съществуват общо взето два стеминг метода: чрез някакви сложни алгоритми без речник и чрез прости алгоритми с речник. Тъй като алгоритмите без речник не обработват изключения т.е. нямат 100% валидност на резултата, те не ме интересуват. Остава използването на речника, но не мога да намеря такъв :(
Става дума за английски речник в който думите са записани чрез корен + всичките му възможни окончания.
Помогнете, ако можете...

МиГ-31,

:) Страшно ме заинтересува.

И аз искам такъв речник, ако има някъде. Искам и за Български, Руски, Немски, ...

Мислиш ли, че някои хора вече не притежават такова нещо?

Дали може да се генерира автоматично, от наличен речник? Мисля, че 100% е невъзможно. Но една компютърна хитроумна програма, чрез сортиране, организация, ..., може да помогне за това, че чрез допълнителна човешка дообработка, да направим такъв речник, какъвто искаш ти (и аз).

Но това е огромна работа (печеливша, де) и не зная кой би си я позволил, и кой би ти я дал безплатно.

Интересувам се много от мненията по този въпрос.
Един прост речник, и една проста сбирка от TXT файлове, също може да е ценна.
Мисля, че някои сървери, само чрез натрупване на достатъчно TXT файлове, ще са ценни за компютърна обработка, статистика, изследвания, ... .

/b3

ami moga da namerq edin, primerno Oxford Advanced Learner's dictionary (Jubilee Edition), ama ne znam dali ste ti swyrshi rabota, pri polojenie, che rechnika mu e sys special format i e zastiteno ot CD Cops (ako gi znaesh)

AcidMemory, какво е "CD Cops"? Не зная.

Иначе благодаря много за речника, но нищо не ми трябва - само си говоря, понеже ме интересува темата. Имтересува ме какво иска да прави МиГ-31.
Иначе, в MS Word трябва също да има информация за английския, понеже Word прави дори граматичен анализ на текста и се опитва да подсказва. Само, че май здраво е кодирано всичко :)
Някой гледал ли го е?

/b3

Първоначално бяхме решили сами да си направим стеминг речник, използвайки за база англо-български такъв. В трансезичните речници думите обикновено са записани във всичките им форми, но без разделение root-suffix. Просто сортираш думичките и с просто алгоритъмче извършваш разделянето. Да, но както сам спомена, не е възможно разделянето да се извърши автоматично със 100% валидност на резлутата. Например, думите digest и digger нямат общ корен, но е просто невъзможно да се създаде алгоритъм, който да "разбере" това.
Единствения начин да се създаде валиден стеминг-речник е ръчно :((

Ами ако си сигурен, че има разделяне корен-окончание, дай го насам.
Извличали сме данни от най-невероятни места, предполагам ще се справим и този път ;)

ami kaji kak da stane dalawerkata

moje bi ste se naloji da hackwate i zashtitata
( na kolegata da obqsnq, che CD Cops e nekwa si zashtita tam, dosta typa pri towa, za CD-ta )

Софиянец ли си?

Май ще трябва ръчна работа, ако искаме качество. Много работа е, но проектът е деобър, и дай боже да спечелите :)

Разбрах, че за английски правите, но е хубаво да имаш едновременно и за български (че и за други езици). Ако се върши (ръчно) тази работа, мисля се, че ще е ефективно да се направи за няколко езика едновременно. И да се кодира повече информация касаеща езика вътре.

Лично на мен много ми харесва да имам такова файлче. Хората, които се занимават с AI или с SR/TTS и обработка на звук, биха се заинтересували също. А до колкото зная, сериозните фирми вече си купуват софтуера :)

/b3

За нас това е само една част от проекта.
Нужен ни е само английски речник, тъй като анализираме URL-та, а те са само (или предимно) на английски сега.

ami kaji si mail da se razberem
(icq oste po-dobre)

icq: 10070326