"Я прекрасно знаю про двоичную систему" (C)
Опубликовано вс, 29/11/2009 - 12:39 пользователем Kuguar
Извиняюсь за навязчивость, но топики тут зафлуживаюся со скоростью поноса, так что я повторю еще раз. Есть предложение, создать или заточить что то существующее под распределенную библиотеку. Для начала нужно как минимум обозначит круг тех, кто может и хочет участвовать. Если вы имеете желание присоединится, пришлите мне директом или почтой координаты для связи. О принятом решении, так же как о списке участников, я извещу всех по указанным вами контактным данным.
|
|
Комментарии
Отв: "Я прекрасно знаю про двоичную систему" (C)
Процитирую самого себя из другого обсуждения три месяца назад:
----------------------------------------------------------------------
Основная задача библиотеки сейчас - дать скачать материал, при этом не подставив раздающего под удар. Есть два варианта решения:
1) IP известен, но находится вне досягаемости. По этому пути пошел автор Либрусека благодаря своему месту жительства.
Достоинства: ни о чем не надо беспокоиться, можно организовывать книги в обычном интернете на самом обычном сайте
Недостатки: решение не всем доступно. Если IP внезапно попадает в область юрисдикции, то грозит суд с нехорошим исходом
2) IP неизвестен. По этому пути идут такие анонимные сети как I2P, TOR и т.д.
Достоинства: преследование раздающего потенциально невозможно
Недостатки: очень сложно технически. Маленькая скорость, ограниченная аудитория, не попадает в поисковики и тому подобное. То есть подполье в чистом виде :)
Любой другой вариант незамедлительно ведет к крупным неприятностям для участников. Кроме того нужно учитывать, что библиотека состоит не только из книг: к ней относятся также рецензии, отзывы, тематические каталоги и прочая очень полезная информация, нарастающая со временем вокруг. Первый вариант хорош еще тем, что вовлекает в строительство библиотеки любого желающего и порог вхождения минимален, см. Либрусек с его технологией вики и огромным количеством книжных отзывов и дискуссий. Хотя с другой стороны, скажем для научной библиотеки массовый читатель ценности не представляет, то есть нужно смотреть на целевую аудиторию.
-----------------------------------------------------------------------
Пока не будет найдено решение этой проблемы, можно даже не начинать, смысла нет.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Выделенный IP, домен, так же как и любая привязка к конкретному серверу-месту-человеку не годится и отметается сразу.
Такие (распределенные) системы есть и более-менее работают, хотя и крайне мелдленно. Но тут надо четко понимать, что
обсуждения, дискуссии, анонсы, не коим образом не попадают под какую либо копирайтность.
Так что их как раз прятать совершенно бессмысленно и имеет право организовывать любой желающий.
Есть некий нюанс со ссылками на контент, т.е. можно иметь проблемы не храня сами книги, а имея только ССЫЛКИ на место их хранения.
Но с книгами, в отличии от прочего копирайтного контента, есть уникальная возможность сделать тегом само название-автора.
Я не могу представить каких либо юридических проблем при хранении списка авторов и названий книг.
Т.е. нужен несложный алгоритм, который по названию-автору делает кникальный тег, по которому и производится уже
распределенный поиск и сборка файла.
В итоге есть некие сайты, на которых НЕ ПРИСХОДИТ никакого нарушения копирайтности, т.е. всего навсего идет осуждение книг
со всеми необходимымим атрибутами. И есть СПИСОК книг, как минимум всего название и автор.
Тут цимез еще в том, что хранение должно быть безличным, т.е. файлы поддержки сетевой базы данных не содержат какой либо
копирайтной информации и сами по себе бессмыслены. Информация становится открытой только и исключительно в момент сборки у
запросившего ее клиента.
Нюанса два.
Нарушение копирайтности происходит в момент отправки контента. Но сколько оно по времени длится, да и когда произойдет, совершенно
не определено. И в момент получения контента. Но тут еще смешнее, ведь получателя никто не обязыват знать, копирайтный это текст или
нет, он запросил, текст пришел.
Отв: "Я прекрасно знаю про двоичную систему" (C)
В свете дела TPB, я бы очень-очень усомнился в подобном утверждении.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Stiver, ну берем например тот же Perfect Dark. Не скажу, что низкая скорость. Есть возможность написания отзывов на скачанный контент. Вроде полная анонимность (хотя хрен его знает). Конечно именно для библиотечного софта подходит слабовато, но ведь само наличие такого софта наглядно показывает возможность его создания.
Сам щас провожу маленькое исследования по поводу распределенных сетей, но в этом деле не силен. Однако категорически готов помогать.
На мой взгляд, идеальным вариантом была бы эдакая смесь из Perfect Dark и какойнить системой контроля версий.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Perfect Dark теоретически хорошая штука. Единственное, что меня удерживает от того, чтобы её попробовать, это требования. Я как бы не совсем готов выделить на 80 гиговом винте 40 гиг на распределённое хранилище. :-(
И ещё такой нюанс. Если я правильно понимаю, помещённый в хранилище файл «размазывается» по всей сети (или большой её части). Какова вероятность того, что я не смогу получить нужный файл, потому что кто-то выключен?
Отв: "Я прекрасно знаю про двоичную систему" (C)
Ну, насколько я понимаю, если файл востребован, то он получает тем больше локальных копий, чем больше его скачивают. А так да, он размазывается по сети, кажется на несколько десятков клиентов. Просто если его больше никто не качает, то он особо дальше размазываться не будет.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Kuguar, imho, тебе стоит сначала "покурить" законодательство разных стран о копирайте, а также рассмотреть последние прецеденты (в том числе и с "пайратбеем"). То, что ты написал выше - не верно. Торрент-трекеры тоже не хранят никакого контента, что не мешает копирастам их засуживать.
Более того, я считаю, что для "подполья" нет смысла изобретать велосипед, нужно лишь малехо почитать FAQ по IRC (в котором и поныне раздается огромное количество нелегального контента, в том числе и эл. книг. Попробуй сам - будешь удивлен).
P.S. Впрочем, зачем я все это пишу? Обычно все "адавайте!" начинания заканчиваются так, как должны :-P
Отв: "Я прекрасно знаю про двоичную систему" (C)
IRC - отличная штука, но нужна небольшая реклама канала с книгами для не знающих про этот способ распространения
Отв: "Я прекрасно знаю про двоичную систему" (C)
Оно-то отличное и быстрое, да... Но это - подполье, "блуждающий взгляд наркодилера в темной подворотне", "трясущиеся руки торчка с зажатой двадцаткой" etc. Не того хочется.
Думаю, даст Бог и сделает Илья - и всем (кроме ленивых "жадных детей") будет "щастье". А их... хай их грэць, не люблю :)
Отв: "Я прекрасно знаю про двоичную систему" (C)
Абсолютно излишне.
Ведь вы без "покуривания" обычаев и законодательств африканских племен понимаете, кто кушать людей неприлично ?
Так же я уверен, что любые копирайтные законы это зло.
Ага и людей в Африке тоже кушают, да и практически всегда в полной гармонии с местными законами.
Вот только никому так и не удается объяснить, ЗА ЧТО ? Т.е. какой именно закон и как они нарушают.
Пользовался и пользуюсь всяким разным.
Есть достоинства, есть проблемы, но что либо в чистом виде годное для библиотеки не знаю.
Ну я то и подавно не знаю. :)
Отв: "Я прекрасно знаю про двоичную систему" (C)
Ребята, если взять нормальный абузоустойчивый сервер, то конфиденциальность будет гарантироваться. Тем более, что нарушение копирайтов в художественной литературе - это много меньше, чем фарма, или порно, или т.п.
Я готов присоединиться к проекту. Какие есть вакансии?
Отв: "Я прекрасно знаю про двоичную систему" (C)
Вот только где его взять, этот абузоустойчивый сервер? Нет, тут нужна именно распределенная сеть. Можно даже с высоким уровнем анонимности, т.к. мы с вами не кино по 700 метров качат будем, а книги. А это файлики в среднем около метра, такчта высокая скорость не нужна. Высокая избыточность данных + каждый пользователь кроме скачанных книг хранит зашифрованные куски других книг = путь к успеху же. Осталось только найти человека, который достаточно разбирается в этом деле и готов помочь, ибо работы тут непочатый край.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Вы как раз тут черезчур переживаете. Абузоустойчивый сервер - это как раз та вещь, о которой не нужно, задумываясь, напрягаться т.к. предложений на рынке полно. Мощный 8-ми ядерный сервер, который выдержит (при условии правильной организации связки Apache + nginx) с десяток трафиков Либрусека, БЕЗ подвисаний. Стоит такой сервер с каналом в 100 Мбит/c - в районе 300-400 долларов в месяц. Это вообще пустяки, особенно учитывая пранируемый "общаковый" характер поддержки.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Ну не годится схема с чем то выделенным.
Или человека перетянут-купят-запугают, или хостера доставать будут, или просто помоями обливать каждодневно.
Если есть куда бить, то можно разбить все.
Тут только полная децентрализация. Тогда любой удар будет бессмысленым, ибо обходится он будет
много дороже чем достигаемый результат.
Отв: "Я прекрасно знаю про двоичную систему" (C)
А чем торренты не устраивают?
Отв: "Я прекрасно знаю про двоичную систему" (C)
А там выше SeNS как раз и высказался по этому поводу.
Т.е. начхать на законность или не законность.
Если ОЧЕНЬ выгодно, то засудят и прикроют даже в демократической стране.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Если так рассуждать, то и на улицу выходить страшно: а вдруг серийный маньяк выберет жертвой именно выходящего на улицу? :)
Есть 2 выхода:
- организовывать свою библиотеку, которая учитывает недостатки других проектов, на сервере (серверах). Собирается дублирующий кластер с трое-четырёхкратным дублирование ресурсов, расположенный физически в нескольких странах. С этим даже самый последний параноик будет покоен, что не закроют. Сразу пишу, чтобы не возникали толкования: очень легко такое собрать, используя контрольную панель H-Sphere.
- организовать то же из предыдущего пункта, только в виде торрента.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Есть еще выходы:
- не заниматься ерундой, а подождать реформы либрусека;
- перечислить Stiver-у баксов по 20 на поддержку сайта, вместо болтологии на форумах.
Оба "выхода" на порядок полезнее и реалистичнее предложенных тобой.
Отв: "Я прекрасно знаю про двоичную систему" (C)
А "Ку" два раза кому говорить ?
Отв: "Я прекрасно знаю про двоичную систему" (C)
29 гиг книг архив, если его отдавать целиком, то ничего. Любая попыка раздавать его по отдельным книгам убьет клиент. ради интереса добавь в свой клиент 10-20кмелких файликов и посмотри как он будет себя чуствовать.
Отв: "Я прекрасно знаю про двоичную систему" (C)
при том, что размер книг либрусека ~80-100гб, я так полагаю, высокая избыточность - совсем не проблема, и было бы невероятно здорово, если бы такая сеть была создана. Успеха всем вам в вашем начинании.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Я сейчас выкачаваю этот архив - размер 83 ГБ. Если нужно, то могу развернуть Либрусек на сайте из этого архива. Только нужно ли кому-то это?
P.S. когда сохраняю сообщения, то режет слова. Заранее прошу прощение за такое.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Мой пост был о том, что если такая сеть будет создана, то даже с учётом высокой избыточности данных, хранить на компьютере придётся весьма небольшой размер, пусть в начале активных участников будет ну 5000 человек (а на самом деле, полагаю, в разы больше). Что такое 80гб разделённых на 5000 человек, даже с учётом большой избыточности?
Так что, такая сеть весьма удобна - весит на компе мало, зато всегда есть доступ ко всем книгам, только вот создать её... вот если бы какой богач нанял бы команду программистов и спонсировал это дело, тогда... Но всё равно, успеха))
Отв: "Я прекрасно знаю про двоичную систему" (C)
Вы знаете, - ничего не мешает хранить тей же сотни человек весь архив по 80 гигабайт. Для современных винчестеров - это пустяки.
Я думаю, что в этой теме люди очень много говорят, но мало делают. За время беседы у меня уже 25% архива закачалось. А Вы ещё только азы теории обсуждаете.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Проблема как раз не в объемах хранения.
Основная сложность, это обновление-синхронизация.
Т.е. вы и я сегодня скачали весь либрусек. Там и 100гигов наверное не будет, так что мелочь.
А вот через неделю я добавил свою свежесканированную книжку, а вы свою.
Как мы сможем обновить наши локальные библиотеки ?
И тем более, как это сделать в случае сотен обновлений в сотнях локальных хранилищах.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Кластер, кластер и ещё раз кластер. Все подключающиеся пользователи будет синхронизировать находящиеся у них разделы с хранилищем произведений. Тут есть небольшой момент: если синхронизации будет по названию, то любое отклонение будет тащить тождественную по наполнению информацию в общее хранилище. Но это не так страшно.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Я правильно понял, что будет некое выделенное ГЛАВНОЕ хранилище, а остальные только его копиями ?
Отв: "Я прекрасно знаю про двоичную систему" (C)
Нет. Будет сихрнонизация между всеми пользователями. Без главных хранилищ: каждый элемент системы будут стараться взять все данные. Таким образом достигается полная децентрализации, где каждый - равный, где каждый - главный.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Простите, а как в таком случае избежать конфликтов? И как обеспечить защищенность файлов от злонамеренной замены на пустышки, например. Грубо говоря, какая-то гнида написала скриптик, который генерит энной количество валидных fb2 файлов с мусором вместо текста и расшарит их. Что дальше? Каким именно образом пользователи будут подхватывать всю эту прелесть? Каким образом обеспечить защиту от таких атак?
Отв: "Я прекрасно знаю про двоичную систему" (C)
Система репутаций. Каждый клиент выставлярт репутацию клиенту с которым обменивается и запрашивет его репутацию у соседей перед контактом.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Неа. Ибо предложенная система подразумевает кагбэ расползание обновленной информации.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Прошу разъяснить профану:
1. 83 ГБ либрусековского архива - это сейчас.
А вот Стивер планирует добавить иностранки (к примеру, книги с ГреенЛиба).
Возьмём, к примеру, цифру в 120 ГБ.
А Либген - это, что, - не книги? Если копирайт перейдёт в тотальное наступление, научку тоже начнут "месить".
А у них книг - под террабайты.
Или, каждый умирает в одиночку? Главное - спасти худлит, а яйцеголовые сами что-нибудь придумают?
2. Для того, чтобы хоть на 0,5-1% компенсировать малую скорость, можно попробовать поискать лучшие алгоритмы сжатия, чем рар, зип и 7-зип.
3. Стивер уже отмечал, что незачем тянуть в "подполье" рецезии, впечатления, описания и всю легальную лит-ру, на которую коптирайт по закону не имеет права наложить свою лапу.
Но ежедневно из копирайтского оборота выводятся десятки книг (закончились 70 лет; умерли правообладатели, их наследники; автор решил выложить свои книги в свободный доступ и т.д.). Зачем эти книги держать в "подполье"?
Т.е. база данных должна быть достаточно интеллектуальной, чтобы выводить их из пиратского оборота и перекидывать в легальную часть б-ки.
4. Наверное, нужна не голая база книг как таковая, а к ней в придачу должна идти стандартизованная программа-каталогизатор (что-то наподобие MyHomeLibа или LibRusа), только переработанная согласно особенностям книгосети.
Отв: "Я прекрасно знаю про двоичную систему" (C)
1. Совершенно верно. Надо брать всё. А в файлообменных сетях только суточный траффик в петабайты может упираться. Так что о размерах беспокоиться не стоит.
2. Малая скорость - условности же. Даже фринетовские тормоза позволят скачать среднюю зазипованную книжку за несколько минут. А в том же Perfect Dark скорости вполне себе ничего. до 500 Кб/с спокойно.
3. Ну да. Рецензии можно на тематические форумы и тп. Просто в сети должен иметься надежный механизм оценки именно файлов.
4. Собсно, именно такую программу и надо создавать. Иначе вполне можно обойтись имеющимися p2p клиентами.
Алсо что за ГреенЛиб?
Отв: "Я прекрасно знаю про доичную систему" (C)
Все что вы хотите получить есть в FreeNet. Недостатки - это полное подполе и не высокая скорость (ну для скачки книг она высокая и не нужна?) Там можно организовать и сайт и хранилище книг. Она распределена - не поможет Ддос'ить, все данные раскиданы по пользователям но они даже не знают что хранят так что с них спрос правоохранительных органонов нулевой, да и высокая степень анонимности не позволит органам предпринять хоть что то. Надо только сделать в Freenet сайт и привлечь всех заинтересованных.
Отв: "Я прекрасно знаю про доичную систему" (C)
У меня стоит Free Net узел.
Штука интересная, но сильно медленнючая. Но главнвая проблема наверное в том, что не всякие с ней совладает.
Нет того виндового - "откинтесь на спинку кресла" :)
Отв: "Я прекрасно знаю про доичную систему" (C)
А может, все же стоит попробовать с FreeNet'ом? Мне кажется. что это правильное направление... А для менее опытных можно и "how-to" написать.
Отв: "Я прекрасно знаю про доичную систему" (C)
Естественно, что не глядя ничто отметаться не будет.
Но я пока не вполне компетентен, что бы точно решить что годится, а что нет.
Т.е. любая информация и предложения на данном этапе полезны.
Отв: "Я прекрасно знаю про доичную систему" (C)
А может и не нужно "этого виндового"? Чтобы пользователь все-таки подумал, что он делает. И к чему это может привести.
Возня с установкой и настройкой, на мой взгляд, поможет это обдумать...
Отв: "Я прекрасно знаю про доичную систему" (C)
nix* путь это хорошо, но он предполагает некоторую... эээ увлеченность :)
Вплоть до профессиоананизма, простигосподи. И то что нормально для гентушника, для более класического юзверя показалось бы адом.
Простота - залог массовости, массовость - залог неуязвимости.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Любой Anonymous P2P клиент, он же сервер, навроде Share. Децентрализованость, шифрование (зачастую параноидальное донельзя, но это ведь плюс), анонимность (тонны имяреков и никогда нельзя сказать, кто что загрузил и откуда что пришло), великолепная поисковая система (надо только стандартизировать поисковые тэги). Единственное, что может быть причиной былинного отказа - это ярко выраженое нежелание раздавать 24х7 у большинства населения "совка". Но если найдется хотя бы с полсотни адекватных товарищей, то библиотека будет жить и не умрет до тех пор, пока будет хотя бы один раздающий peer. Минус только один - необходимость для peer'а обеспечивать скорость upload минимум в 50KB/s, но сейчас то инет-каналы уже позволяют подобное без проблем.
Можно и свой клиент, он же сервер, написать. Благо, не такое уж это и сложное задание.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Скорее всего это и есть основная часть задачи. Остальное можно построить на уже существующих системах.
Ну а для привлечения массового юзера, неплохо бы сделать простой клиент заточенный именно на библиотеку.
Отв: "Я прекрасно знаю про двоичную систему" (C)
На существующих системах - это, конечно, хорошо, но вот только известные мне открытые p2p-клиенты не гарантируют анонимности, а закрытые - они на то и закрытые, что к ним не подберешься нихрена.
Отв: "Я прекрасно знаю про двоичную систему" (C)
А к какому клиенту относится FreeNet? Я бы на вашем месте все таки попытался кинуть в него пробный шар, для этого не надо нечего писать, создавать, не надо денег, не надо думать как хранить книги, в отличии от самописанных p2p клиентов, которые здесь предлагается использовать, у него уже есть какая не какая аудитория, да и инструкция по установки подробная на русском языке тоже имеется http://wiki.freenetproject.org/FreenetZeroPointRus
Отв: "Я прекрасно знаю про двоичную систему" (C)
Да установить - это как раз ерунда. Вот только проблема в том, что фринет не любит редкоиспользуемые файлы. А мы с вами говорим о книгах. Среди них есть те, которые скачивают раз в год, и то не регулярно. Они просто исчезнут из фринета.
Отв: "Я прекрасно знаю про двоичную систему" (C)
"Все уже украдено до нас"(с).
Как понимаю, в идеале задача сводится к а) простому доступу к файлам, лежащим у разных людей
и б) невозможности установления их IP и реальных координат.
Недавно вышел релиз Оперы 10.10.
Среди прочих разных вкусностей в ней есть сервис OperaUnite - как раз то, что нужно.
Вкратце - это набор мелких приложений, среди которых интереснее всего для нашей задачи Web Server, File Sharing и File Inbox - которые позволяют соответственно хостить на локальной машине простой (статичный) сайт, файлопомойку и каталог для заливки.
Проверено, оно работает даже из-за глубокого NATа, и при этом адрес, к которому обращаемся "снаружи", выглядит как
(имя_машины).(имя_пользователя).operaunite.com/(ресурс) - то есть, запросы пойдут к норвегам, которым, полагаю, еще долго будет погадить на разных грибных магистров и их половые трудности.
Анонимность? Угу, она, родимая. Большая, чем у торрентов.
А поиск - решается силами того же operaunite.com. Там вполне себе система блогов-форумов, на которых каждый член сообщества может отписаться "да, мне тоже нравится автор такойтович", что будет означать, что на его ресурсах можно поискать и найти книги такойтовича. При этом совершенно не обязательно указывать какую-либо реальную информацию о себе. Если при размещении файлов на локальной машине сделать рекомендованную структуру каталогов, позволяющую найти автора или по алфавиту, или по тематике, то поиск будет не сильно отличаться от поиска по здесь.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Пффф. Решением суда заставят оперовцев отдать данные о таком-то пользователе - и пропала ваша анонимность. И это я не говорю про то, что в общем и целом Opera Unite не создавалась для нелегального файлообмена. А значит и защищать пользователей, нарушающих закон, компания не будет.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Во-первых, более чем не факт, что оперцы ведут логи и хранят их сколько-нить заметное время, а также что они будут выданы по решению мухосраньского суда, во-вторых, прокси вплоть до тора никто не отменял. Надо проверить, полезет ли операюнайт в проксю, но не вижу причины ему не полезть.
В коньце коньцов, остается безпроигрышный вариант, который тут несколько лет назад обсуждался.
text -> rar >> file.jpg - и на анонимную имиджборду. или на фотохвостинг. или еще куда, где оно будет долго и щастливо жить.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Ну блин же!
Это не значит, что не факт. И скорее очень даже факт. Вообще Opera Unite подразумевает то, что кто-то должон круглосуточно сидеть в сети и раздавать книги. Что не катит по очевидным причинам.
Ура, конечно, но блин. Вы возьмёте на себя нелегкий труд перезаливания файлов, которые былы удалены вместе с тредами?
Задача - хранить книги так, чтобы ОТСУТСТВОВАЛА вероятность их потери.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Ну с торрентами ведь катит? ;) Причем не на всех трекерах есть рейтинг, но пиры водятся и без него.
Допустим, есть ветка на форуме в юнайте, в которой отписались все любители Задерищенко, и в любой момент можно пройтись по их ресурсам, и хоть кого-нить найти в живом виде.
Это однозначно распределенка.
А перезаливание - ну, просит кто-то у Анонимуса обложку "Ренегации Ю" на пофапать - и через некоторое время Анонимус таки кладет и обложку, и рар-довесок в ней же.
Отв: "Я прекрасно знаю про двоичную систему" (C)
Сорри, но может быть вам есть смысл перенести обсуждение на хагеновский форум? Здесь, ИМХО, много флудерастов. А там - приятная компания ;)