Клубове Дир.бг
powered by diri.bg
търси в Клубове diri.bg Разширено търсене

Вход
Име
Парола

Клубове
Dir.bg
Взаимопомощ
Горещи теми
Компютри и Интернет
Контакти
Култура и изкуство
Мнения
Наука
Политика, Свят
Спорт
Техника
Градове
Религия и мистика
Фен клубове
Хоби, Развлечения
Общества
Я, архивите са живи
Клубове Дирене Регистрация Кой е тук Въпроси Списък Купувам / Продавам 06:16 03.06.24 
Компютри и Интернет
   >> Доставчици на Интернет
*Кратък преглед

Страници по тази тема: 1 | 2 | 3 | >> (покажи всички)
Тема p2p мрежанови  
Автор 4l (влюбен)
Публикувано09.12.03 13:58



Колеги, напоследък чувам някакви странни слухове за българска p2p мрежа. Единственият сървър който видях в действие беше пуснат от Митко Ганчев за някакви тестове (не знам дали още го има). Някой ще сподели ли информация по въпроса? Дали са само слухове или има нещо направено по въпроса?
Все пак по разните малки мрежи, като тази която администрирам напоследък има доста споделени ресурси - в момента пиша някакъв уеб интерфейс през който споделените файлове от една мрежа да се виждат в интернет и забелязах че в нашата мрежа има над 700 гигабайта ресурси, но по мое мнение това е опит за откриване на колелото.

Надеждата умира последна...
Но все пак умира


Тема дълго Re: p2p мрежанови [re: 4l]  
Автор Mитko (www.bol.bg)
Публикувано09.12.03 20:15



Ние днес надълго и нашироко го говорихме, но да споделя и тук докъде съм стигнал.

Има два основни вида споделяне на файлове - вграденият в Windows т.нар. Network Neighborhood и използване на специализиран софтуер.

Най-много хора използват първия вариант, защото е най-лесен. Обаче протоклът, който Microsoft използват (smb) е толкова дървен, че за нищо не става. Вероятността да си намериш нещо в мрежата е минимална, а вероятността да успееш да го свалиш - още по-малка. Няма търсачка, няма resuming, работи само в един кабелен сегмент и т.н. Има разни продукти като smb2www, LANster, CopyShare (виж

), но всички те са кръпки, които се опитват да поправят нещо, което в самата си идея е сбъркано.

Вторият вариант ("истинско" p2p) очевидно решава тези проблеми, но има три недостатъка: потребителите ги мързи да разучават нов суфтуер, след като (си мислят, че) могат да минат и без него, няма възможнст за browse (т.е. да си намериш нещо за сваляне, когато нямаш предварителна идея какво точно търсиш) и най-важното: не може да се натрупа достатъчно голяма маса потребители.

И докато първите два проблема могат сравнително лесно да се решат (виж горния адрес за Direct Connect), то последният е почти нерешим поради две причини. Първата е географска (балканска) и се нарича "Кой да води бащина дружина" (т.е. къде и кой сървър да се използва - виж IRC мрежата, в която има почти толкова сървъри, колкото и потребители, макар да е нужен само по един в град), а втората е ... пак балканска и се нарича "защо да си давам зор и да помагам на другите, като за мен е важно аз да мога да свалям". И докато първият проблем все пак е решим в известна степен (нека всеки си пусне сървър, пък потребителите да решат кой ги кефи, ако това въобще е от някакво значение), то вторият проблем е по-труден. За да проработи една p2p мрежа е нужно няколко десетки души да стоят вързани в нея дори ако нямат никаква лична изгода от това. Ако им издържат нервите в продължение на няколко месеца, мрежата ще се напълни и ще заработи от самосебе си. Иначе хората влизат, виждат че няма никой и излизат, с което се създава впечатлението, че никой няма интерес от това нещо. Преди време бях се заел да популяризирам и към системата вече са се закачали няколко хиляди души, но рядко има по повече от 10-15 едновременно.


Следователно за да заработи една p2p мрежа е нужно да се случат едновременно две неща:

- мрежата да е една, а не всеки ISP да си прави самостоятелна затворена мрежа, тъй-като дори най-голямата мрежа (нашата ;-) не може сама да осигури нужният брой потребители, които постоянно да стоят логнати в p2p. Това може да се постигне или като се изпозлва един единствен сървър, или ако се използва мрежа от взаимно свързани сървъри
- да има достатъчно голям брой хора (минимум 50-100), които да стоят вързани в началото ей-така, просто за да има достатъчен content

Ако някой смята, че не съм прав, нека се мотивира, но аз се занимавам с проблемът почти година, изследвал съм и съм тествал почти всички p2p системи (kazaa, winmx / opennap, edonkey / emule, direct connet, bit torrent) и твърдо смятам, че няма да заработят ако мрежите са малки.


И сега няколко думи за различните p2p системи. Те могат да се разделят основно на две групи: със и без сървъри. Най-известните p2p без сървъри са kazaa, winmx и overnet. Аз стигнах до извода, че за българските условия тези системи не са подходящи, тъй-като не може да се разграничи българският трафик от международния, а всички знаем от какво огромно значение е това. Затова въобще не съм разглеждал тези варианти в подробности.

От p2p със заделен сървър внимание заслужават opennap, edonkey и direct connect

Opennap е протоколът на Napster. Това е стандартизиран протокол, който се поддържа от десетки програми, най-известните от които са WinMX (като отделна мрежа) и File Navigator. Това е едно много добро решение, но заради затварянето на Napster някак хората по инерция решиха, че протоколът няма бъдеще и го изоставиха. Иначе той предлага всичко нужно за p2p система: намира няколко източника на даден файл и го сваля едновременно от всичките, дори ако файлът е преименуван; има чат и добра търсачка; може да търси всякакви файловe, а не само мултимедийни. Недостатъкът е, че не можеш да видиш кои потребители са онлайн, освен ако предварително по някакъв начин не си разбрал какви са им nick-овете и не си си ги добавил в списъка. Най-лесният начин за разбиране на тези никове е като видиш кой download-ва от теб или като търсиш разни често срещани думи, като например "the". Сървър има на адрес .

eDonkey е по-известен като eMule, защото така се казва най-разпространената клиентска програма (потребителите наричат IRC "мирка", така че това не бива да ни очудва). Предимствата пред opennap са две. Opennap понякога (макар и изключително рядко) може да сметне два файла за еднакви, ако дължината е еднаква, а имената си приличат. eDonkey прави чексума (hash) на файлът и така е невъзможно да бъде сбъркан. Нещо повече - прави чексуми на всички 10MB-ови парчета от файла и можеш да си свалиш само липсващите части, ако по някаква причина файлът не е цял или е повреден. Второто предимство е в разпаралеляването. Ако двама души (А и Б) едновременно теглят файл от Ф, edonkey прави нещо много хитро - дава на А първите 10МБ, а на Б - вторите 10МБ. След това на А третите, а на Б - четвъртите. А си взима вторите и четвъртите не от Ф, а от Б, а Б съответно си взима първите и третите от А, а не от Ф. В резултат на това файлът е излезнал от Ф само един единствен път, но е отишъл на две места, при товa ЕДНОВРЕМЕННО. T.e. разпаралеляването става по времето на теглене на файла, а не когато то свърши или прекъсне. Възможно е трети (четвърти, пети) потребител да се включи посредата на тегленето и той веднага се включва в процеса, като започва да тегли тези части от файла, които не се теглят от никой друг. Ефективността на този метод е невероятна, особено при много големи файлове (филми).
Обаче eDonkey има един голям недостатък (за нас, иначе това си е предимство). Когато А се свърже с Б за да си вземе някаква част от файла, Б му казва кои са другите потребители, които имат при себе си части от този файл. Така се спестява нуждата от запитване към централния сървър, а и дава възможност да се използват много сървъри, без те да си говорят помежду си. Т.е. освен за пренос на файловете, p2p мрежата (потребителите) се използват за да пренасят и служебната информация (кой какви файлове или части от файлове има). Това е гениално, ама ... няма как да се затвори в България. Достатъчно е докато сваля един файл от мен (или аз от него), някой потребител да се разкачи от българския сървър (което няма да прекъсне downloadите нито от нито към него) и да се закачи за малко към чужд сървър. След това той ще сподели с тези, които точат към/от него какво, всичко което е научил от чуждия сървър и от чуждите потребители, към които може междувременно да се е свързал. Обърнете внимание: не говоря за предаване на списъка със сървъри от потребител на потребител (което може да се изключи от настройките), а за предаване на информация за другите източници на същия този файл, който ти вече сваляш/качваш от/към мен. Следователно тегленето на файла ще започва винаги в България, но няма гаранция че по някое време няма да се прехвърли в чужбина. Това може да се избегне единствено с патчване на кода (доколкото знам технолинк са си направили такава версия), но това е абсолютно неудачно за създаване на голяма мрежа - не можеш да принудиш всички да използват една единствена програма и да ги спреш да не си свалят новите версии от оригиналния сайт. В един момент или ще се появи непачната версия в мрежата и тя ще "зарази" останалите, или ако сървъра прави такава проверка и изхвърля "грешните" програми, потребителите просто ще теглят една майна и ще се закачат на друг сървър. Отдавна мина времето, когато в българското интернет пространство имаше точки, които са ценни сами по себе си. Вече всеки потребител може да мине спокойно без една или друга система, така че ако има някакво неудобство или ограничение, той няма да се трогне, а просто ще я зареже и ще ползва някоя друга. Сървър за eDonkey (eMule) има на

Третата система, която заслужава внимание, е Direct Connect. Тя прилича повече на Opennap, отколкото на eDonkey (не прави hash на файловете и ако те са с различни имена трудно намира алтернативни източници). Но пък има предимството да показва списъка на включените потребители по аналогия с IRC, има чат-канал (пак по същата аналогия) и instant messaging. Знаейки кой е онлайн, можеш да му browse-неш файловете, а ако си спомняте началото на това дълго писмо, това беше едно от нещата, които са важни за потребителите, тъй-като в голямата си част те не знаят какво точно търсят и просто си харесват нещо. Сървър за Direct Connect има на адрес dc.bol.bg. Клиентите с фалшив IP адрес може би трябва да изберат "passive" режим, но доколкото знам има има специален модул за iptables за nat-ване на този протокол. Ако някой го тества, нека каже какво е постигнал.

В заключение:

Според мен най-подходящ протокол е opennap, най-хубав е edonkey, но с най-големи шансове да се наложи е direct connect (DC++). Затова предложението ми е да си инсталираме тази програма (сваля се от ), да я вържем към dc.bol.bg и да видим какво ще стане след някой-друг месец. Аз гарантирам, че сървърът ще си остане с default настройките, в motd няма да има реклами и нашите клиенти няма да се третират по-различно. Ние по принцип не правим разлика между трафик в BOL.BG и трафик в България - нито ги мерим отделно, нито имаме отделни шейпъри. Това означава че потребителите ни не се чувстват ангажирани да затварят трафик вътре в мрежата ни, нито пък ще се чувстват ощетени, ако им се генерира български трафик (изключвам плащащите на трафик - те няма нужда въобще да четат тази тема ;-). Ерго, ние нямаме никаква причина да затваряме една p2p система само вътре в мрежата си и следователно нямаме причина да третираме външните и вътрешните потребители различно. Както вероятно се сещате, отделям толкова време на този въпрос поради описаната по-горе "географска" причина.

Митко

Редактирано от Mитko на 10.12.03 01:57.



Тема дълго Re: p2p мрежа [re: Mитko]  
Автор 4l (влюбен)
Публикувано09.12.03 22:35



Варианта не е само в пачването на софтуера, има и разни по-леки варианти, като например лека подмяна на листа със сървърите - така наречения server.met. До колкото видях той се съхранява в обикновен текстови формат. Т.е. може да бъде направена инсталация или поне архив разпространяван със съответните конфигурационни файлове. Другата идея която ми идва наум е че в сървърите може да се прави проверка на версията на клиента, а в конфига може да бъде сменен този отговор (може би?). До колкото мога да преценя без да се задълбочавам много в разглеждане еDonkey е горе долу толкова поддатлива на кустомизация програма колкото е и mIRC. Видях няколко клона с различен интерфейс. Т.е. след янколко безсънни нощи ще може да се направи някакъв конфиг който да става за нещо. Надявам се.
П.С.
Който желае да се включи в идеята може да тества сървъра на адрес 80.72.79.90.

Надеждата умира последна...
Но все пак умира


Тема дълго Re: p2p мрежанови [re: 4l]  
Автор Mитko (www.bol.bg)
Публикувано10.12.03 00:52



Може би не съм обяснил достатъчно ясно механизма, по който eDonkey разпределя информацията между потребителите.

eDonkey предава между потребителите две съвсем отделни неща:

1. списък с eDonkey сървъри
2. списък с eDonkey клиенти, които имат същия файл, който ти в момента сваляш от мен

Да предполпжим, че ти (fori) имаш файлът movie.avi, а юзер kartoff го сваля от теб. В някакъв момент и аз решавам да свалям същия файл. Сървърът ми дава твойто IP, аз се връзвам към теб, а ти ми казваш нещо в този смисъл: "виж кво, аз този файл го имам целия, но знам, че и kartoff го има, защото го тегли от мен. Я го питай кои части от файла вече е изтеглил, за да си ги вземеш от него, пък аз да ти дам следващите". До тук - добре. Аз се връзвам към kartoff, който ми казва: "ами виж, аз имам първите 20MB, но знам, че pencho също има някаква част от файла, защото в момента тегля от него последните 50MB". Аз започвам да тегля първите 20MB от kartoff, следващите 20 от теб, и се каня да питам pencho какви части oт файла има при него. До тук - добре. Обаче междувременно Пенчо (а не pencho) си е казал "бамааму, много малко усери има, я да се вържа в goliam.edonkey.server.com". До тук е още по-добре. Ама сега аз като се свържа с pencho, той ми казва, че има тази и тази част, но освен него части от този файл имат smith, hans и toshiromifune, защото той/те сваля/т от тях/него.

И ето тук идва проблемът: няма кой да ме спре да си сваля някои части от файла от toshiromifune, който вероятно се намира някъде в Япония. Ако внимателно разгледаш горния диалог ще видиш, че аз съм се свързвал със сървъра един единствен път и той повече не ми е трябвал. Т.е. дори да ми спреш връзката към всякакви други сървъри, аз пак ще стигна до toshiromifune просто защото pencho в някакъв момент се е вързал към чужд сървър. Следователно трябва всички потребители в мрежата да ползват задължително пачната версия, а сървърите много добре да я разпознават и да отрязват моментално всички други програми. А най-добре и самата програма да отказва да се връзва с други програми. Но това ще доведе до една силно затворена мрежа, която няма да има шанс да се разрастне.

Другият вариант е да се пачне програмата така, че да не се връзва по никакъв начин с IP-та извън определен списък, който да се тегли от даден web адрес. Така дори да разбере за чуждестранен сървър или клиент, програмата няма да може да се свърже с него. Това е по-доброто решение, отколкото да се спазва пълна карантина върху сървъра. Т.е. карантината да се изнесе при клиента, а не при сървъра. Но отново идеята да се използва само една програма, която да се патчва при всяка нова версия, някак не ми допада.

Впрочем, създателите на eDonkey предвиждат сървърите въобще да изчезнат, а в кода на програмата ще са въведени достатъчно голям брой статични IP адреси на клиенти, които са онлайн достатъчно често. Този клон на програмата се казва overnet. Ако ще се пачва нещо, по-добре да се пачне тя и да няма сървъри.

Но според мен Direct Connect (DC++) ще е това, което ще се наложи - стандартен протокол, Open source решения за всякакви платформи, клиентът не излиза извън сървъра без изрично желание (ако иска може да се върже към два сървъра едновременно, без това да води до "заразяване" на единия с IP-тата от другия), виждат се логнатите клиенти и т.н.

Митко



Тема Малко практически наблюдения върху еМагаретонови [re: Mитko]  
Автор 4l (влюбен)
Публикувано10.12.03 11:11



Сървъра беше пуснат снощи. IP-то му съм го написал в по-горния си пост. Това са част от логовете от него:
UDP:81.193.20.143 before optim:("kayma" AND type_compare 3)
UDP:194.239.90.91 before optim:("mike oldfield earth moving" AND type_compare 1)
UDP:81.193.20.143 before optim:"max[pt] cromo sem nick com bowlfish.5a"
UDP:81.193.20.143 before optim:("bso-the matrix revolutions" AND type_compare 3)
UDP:81.193.20.143 before optim:"adobe acrobat writer 6.nrg"
UDP:81.193.20.143 before optim:"fleximage software"
UDP:194.105.101.45 before optim:"shneider victor"
Не за белязвам български адреси. Подозирам че проблема идва точно от това - определен брой статично зададени адреси в програмата. Доколкото преглеах опциите на DC, възмойностите не са чак толкова много, но принципа ми харесва повече. А имайки предвид че вече има open source клиент за windows, не вярвам излизането на клиент и сървър за линукс да се забави много.

Надеждата умира последна...
Но все пак умира


Тема Re: Малко практически наблюдения върху еМагаретонови [re: 4l]  
Автор Taнkиcтa (непознат )
Публикувано10.12.03 12:29



Явно на Митко му светва нещо от време на време :Р. От 1/2 година вече има dchub://warezbg.com sus sredno ~40-на юзера. Не е много, но е достатъчно да се започне. Сървъра се държи стабилно - има някои бъгове, не може да се отрече, но те поне не са фатални.
По въпроса за клиент/сървър - ами 4l - явно не си поразгледал как седят нещата - има ги и за уиндоус и линукс, даже в 2-3 разновидности.



Тема Re: Малко практически наблюдения върху еМагаретонови [re: 4l]  
Автор Mитko (www.bol.bg)
Публикувано10.12.03 14:12



Има вече DC клиент и сървър за Linux. Сървърът съм го пуснал, но за клиента не ми остава време.

Впрочем, когато експериментираш с мулето, много, ама много внимавай да не кажеш на сървъра, че е публичен. Закачиш ли се към световната мрежа, после няколко дни не можеш да се откачиш, а международният ти канал ще бъде flood-нат с поне 1MB udp трафик, който нито може да се лимитира, нито да се филтрира. IP-то ти ще влезне в клиентите, ще се разпространи и те ще се откажат да те търсят чак след няколко дни, а междувременно всеки юзер на планетата ще ти изпраща по няколко udp пакетчета за да провери дали случайно не си тръгнал. Ако искаш да направиш мръсно на някой доставчик, влез по dialup, пусни си публичен edonkey сървър, стой така няколко часа и след това гледай сеир.

Митко



Тема Re: не че имам нещо противнови [re: Taнkиcтa]  
Автор 4l (влюбен)
Публикувано10.12.03 16:37



варезбг, те винаги подхващат хубави идеи но:
*** Connecting to warezbg.com...
*** Host unreachable

това стана след 15-тата минута след като се закачих там
иначе казано:
3 2 ms 2 ms 2 ms cisbg2sp.spnet.net [212.36.10.26]
4 cisbg2sp.spnet.net [212.36.10.26] reports: Destination host unreachable.
Лошо е като първоначално впечатление
За линукс клиенти почти не съм търсил, явно има след като има оупън сорс проект.
Поне вече почват да ми се изясняват нещата... Нещо има, и понякое време евентуално ще заработи. Някой хубав ден надявам се.
Малко да пофилософствам...
Прочетеното по различни чуждестранни форуми ми навява мисълта че п2п програмите са популярни предимно в западна европа и щатите. Дори в братска Русия, където са бая напреднали с материала варезите се разпространяват предимно на дискове. Може би заради безумните суми от сорта на 20-тина цента за мегабайт които съм виждал там. Пиъринга като такова явление каквото наблюдаваме тука го има само в България и Румъния (или поне за други подобни не съм чувал) Публичните сървъри с варез също. Може би ще се наложи да почакаме някоя друга годинка за да се закрият терабайтите дисково пространство и тогава да си дойдем на думата с доброто старо п2п

Надеждата умира последна...
Но все пак умира


Тема Re: Малко практически наблюдения върху еМагаретонови [re: Mитko]  
Автор ^Kj^TRN (Surecom)
Публикувано11.12.03 02:44



митко споменах ти за проблема с dc2.bol.bg сега ще спомена и тук. така:
1. има сериозен проблем с п2п мрежите ако потребителите не са с реални ip-та..ако са реални динамични няма проблем но ако са маскирани неможе да се осъществи файлов трансфер ако поне единия не е с реално ip. в момента се опитвам да сложа directconnect patch/modul на iptables за да видя дали ще стане, но силно се съмнявам че всички доставчици ще го направят...(е дано да се наложи в скорото бъдеще а сегашните терабайти да станат локални за доставчика, мухахаха ;-)
2. ако някой има различни програми за win za directconnect ot tezi na http://dc.bol.bg да си каже ;-)

The Real Net - The Real Internet Provider



Тема Re: Малко практически наблюдения върху еМагаретонови [re: Taнkиcтa]  
Автор Mитko (www.bol.bg)
Публикувано11.12.03 11:51



Ако става въпрос за светване, първия p2p сървър (opennap / WinMX) съм го пуснал още май 2002-ра, a eDonkey - март 2003. Все си мислех, че eDonkey е най-добрата система, но е факт, че потребителите го игнорирват, основно заради невъзможността за браузване. Нека видим сега дали dc ще проработи. Няма лошо да има няколко хъба, но с цялото ми уважение и без да искам някого да обидя, но warezbg не е особено стабилен - от време на време изчезва и ъптаймът му е малък. А и освен това знаеш ли кога някой ще ти повярва, че действително има "случаeн" потребител с 500GB шернати файлове на собствения си компютър ... Аз бих предпочел една такава система да се развие от самосебе си, отколкото да бъде замаскиран free сървър. Нещо повече - наличието на такъв замаскиран free сървър в p2p мрежата има обратен ефект - не стимулира потребителите да шерват, защото знаят, че нещата така и така ги има на "онзи големия сървър".

Но както казах - няма лошо да има няколко dchub-а. Ако се поровиш, ще ме намериш и мен сред усерите във вашия. Впрочем, има някакви скриптове за връзка между хъбовете, но не ми е оставало време да ги прочета.

Митко




Страници по тази тема: 1 | 2 | 3 | >> (покажи всички)
*Кратък преглед
Клуб :  


Clubs.dir.bg е форум за дискусии. Dir.bg не носи отговорност за съдържанието и достоверността на публикуваните в дискусиите материали.

Никаква част от съдържанието на тази страница не може да бъде репродуцирана, записвана или предавана под каквато и да е форма или по какъвто и да е повод без писменото съгласие на Dir.bg
За Забележки, коментари и предложения ползвайте формата за Обратна връзка | Мобилна версия | Потребителско споразумение
© 2006-2024 Dir.bg Всички права запазени.