Upgrade через Downgrade

Часть первая «Demoscene photo» от 02 августа 2016 года

Пришло время подвести итоги, проанализировать содеянное и решить что делать дальше.

За 9 лет сообща мы собрали и сохранили огромное количество фотографий (более 20 тысяч). Не буду утверждать, что все фотографии достойны сохранения и большинство из них сохранено только потому, что они есть. Также уверен, что не все фотографии могут и должны быть в общем доступе да и удалить-то мы всегда успеем, а вот сохранить (особенно фотографии до 200x годов) нужно постараться.

Решив в 2016 году сохранять фотографии в гугле, а как я писал ранее, был всё-таки небольшой выбор хостеров который минимально удовлетворял потребностям, мы общими силами заливали фотки с различных мероприятий. Изначально архив фотографий собирал на личном аккаунте — это оказалось неудобно и впоследствии я всё достаточно оперативно перенёс на аккаунт бренда. Не знаю как сейчас, но раньше можно было делать не личные аккаунты, а аккаунты бренда с подтверждением через владение каким-либо доменом. Что уж там у гугла в кишочках произошло неизвестно, но каким-то волшебным образом отдельный вход в этот аккаунт мне стал недоступен…

Сейчас есть возможность перейти в него только со своего личного. Соответственно, урезались какие-то права по управлению аккаунтом. Фотографии я заливать могу, могу делать альбомы, могу шарить и фото и альбомы. А вот запросить скачивание чего либо с этого аккаунта в Google Архиваторе я сейчас не имею возможности. Ещё выявилась одна неприятная особенность с альбомами. Если альбом с фото стороннего пользователя и аккаунт присоединяется к такому альбому, то становится невозможным скачать альбом целиком (вероятно настройки приватности по умолчанию так настроены у владельца альбома). Обложки сторонних альбомов имеют в большинстве случаев «пустые» изображения. И самое главное — сторонние альбомы имеют свойство исчезать т.к. владельцы могут забывать, что они расшарены и просто удаляют их чтобы освободить место на своём google диске. Соответственно, эти альбомы исчезают и в фотографиях аккаунта Demoscene. Довольно неприятная особенность. Раньше я мог спокойно скачать такой альбом и перевыложить под аккаунтом DEMOSCENE, теперь такой возможности нет, а скачивать по одной фотографии из альбома с сотнями фоток нет никакого желания.

Примерно так сейчас выглядят все расшаренные альбомы в Google Фото:


И вот так гугл сейчас не позволяет скачать сторонний расшаренный альбом:


Возможно, объяснил путано, но факт в том, что фотоальбомы и управление доступом работают сейчас не так, как раньше, скачивание фотоальбомов работает не так, как раньше и вообще, всё превращается в неуправляемое хранилище с непонятным доступом.

Теперь обратимся к нашей заметке 2016 года. В первых же комментариях резонно было замечено, что доверять безоглядно гуглу с его «бесплатными» сервисами нужно с великой осторожностью, с чем я согласился, но на тот момент времени было приемлемо использование гуглофоток, по крайней мере до какого-то критического момента. Думаю, этот критический (хотя, еще наверное не совсем критический), скажем так напряженный момент настал. Вспомним, что я писал про хотелки к фотосервису:

• Адекватный поиск — тут вопросов просто нет никаких к гуглу.
• Альбомы — они есть.
• Теги — этого нет.
• Неограниченный хостинг по возможности — как бы да, но надолго ли? Как только гугл наобучается на наших данных, лавочку прикроют 100%.
• Оригинальные размеры размещаемых фото — да.
• Геометки — да.
• Удобство шаринга и скачивания материалов — как показала практика, удобство с ограничениями.

И самое главное — нет возможности дать доступ сразу ко всем расшаренным фотографиям. Нет такого альбома с альбомами доступного всего по одной ссылке.

Также я рассматривал вариант переноса всего архива во Вконтакте, но поразмыслив решил, что это мне нравится еще меньше, чем хранение фотографий в гугле. Такие странные мысли я настойчиво от себя отгонял.

Задавая себе вопросы, не пытайтесь на них отвечать сразу, просто сходите в отпуск

Однажды я задал себе вопрос:

а что будет со всеми собранными фотографиями, когда гугл прикроет сервис?

Вероятнее всего, предложит скачать весь архив материалов через сервис Архиватор Google — огромный объем в архивах с возможностью скачать это добро в какие-то ограниченные сроки. Это хорошо. А что если нет возможности скачать такой архив? А если ты сохранял только ссылку на альбом, а не сам его создавал? Очевидно это всё пропадёт без возможности восстановления.

Теперь представим ситуацию, когда мы сами хостим наши фотографии. Что будет, когда наш «Сервис с демосценовыми фотками упадёт, сломается или не дай бог что случится с мейнтейнером»? По большому счёту будет тоже самое — фотографии перестанут быть доступными. Но есть разница, которая полностью меняет ситуацию — эти фотографии физически останутся на носителе информации. Поднять новый сервис, скопировать, передать другому мейнтейнеру — это просто вопрос времени и отношений внутри сообщества. Если мы задались целью сохранить и при возможности передать, то вероятно, с гуглосервисом нам сделать это будет сложнее, чем своими силами.

Я довольно долго об этом размышлял, тем более, что 10 лет уже, как хостил Hyperadio (не без проблем надо сказать) и даже подумывал в этом году полностью притушить сервер вещания т.к. он занимал целую железку (так уж сложилось исторически), а там не много ни мало всё крутилось под windows + radioboss + icecast, да еще пара-тройка telegram-ботов на хосте сидели, поддерживать это дело мне уже безумно надоело, ежегодную лицензию покупать на radioboss тоже порядком надоело… ухх, пожалуй, про радио я напишу отдельно вскоре.

Так вот, хочу ли я брать на себя еще и хостинг фотографий? Будет ли от этого польза сообществу? Сколько тысяч часов я смогу отдать этому от своего свободного времени и жизни в целом? Ровно как и с радио, мне уже очень обидно бросать начатое. В радиосервере очень жаль бросать настроенную машину, отсортированную и заполненную метаинформацией музыкальную базу (не на 100% конечно, но большую половину заполнил наверняка). Фотографии тоже собирались по крупицам, особенно ранние фотографии доцифровой эпохи.

И вот как-то всё в один момент наложилось друг на друга, еще встал вопрос о продолжении лицензии на radioboss, продлении доменов, освобождении серверного железа… Короче, притушил я радио на время и ушёл в отпуск чтобы было время подумать что мне делать с радио и со всем остальным добром, к которому я так или иначе имею отношение (например, небольшой, но полезный аггрегатор ссылок zxboot.ru).

Привет виртуализация!

Вернувшись из отпуска и отогнав не дающие покоя мрачные мысли по типу: «Хватит», «Я устал», «Мне надоело», «Это никому не нужно», «Это только сжирает средства и время», «Блин, опять надо оплачивать домены, лицензию и хостинг». Я решил попробовать снова, но с новым походом и знаниями, да еще и усугубив до предела по самое нехочу :)

Надо тут упомянуть, что после остановки Hyperadio на освободившемся сервере я немного поэкспериментировал со стримингом собранной базой музыки Hyperadio, но не радиопотоком, а через сервис чем-то напоминающий Spotify, только поднятый на своём собственном хосте — через Navidrome.



И чёрт возьми, это мне настолько понравилось, что я полностью погрузился в тему самохостинга и вот этих самых сервисов, которые можно поднять у себя на сервере буквально одним движением руки. Поэкспериментировав месяц я решил таки дать радио второй шанс, но полностью поменяв внутреннюю инфраструктуру, что вполне возможно дало бы мне возможность сбоку пристроить еще и фоточки, музыку, а может быть еще что-нибудь полезное.

Была одна реальная железка, стало много виртуальных. Я развернул на сервере Proxmox — это такая платформа для виртуализации. Завёл на ней парочку виртуальных машинок, одну с windows (радио у нас привязано к винде, к сожалению), одну с debian, где в докер-контейнерах теперь живут разные сервисы, в том числе и Photoprism для наших демосценовых фотографий…

Прощай гугл, ты был хорош, но нам теперь не по пути

Почему выбор пал на Photoprism? Не знаю, мне призма понравилась и функциональностью и простотой. Еще я смотрел на Piwigo и Immich. Piwigo показался полным трешем, а Immich всё никак не хотел заводиться и с третьего успешного раза показался мне немного тормознутым (возможно моё железо уже не вывозит). Остальные селфхост решения заточены для более профессионального процессинга фотографий, а нам нужно всё-таки попроще — в основном хранение и удобный шаринг.

С призмой тоже не сразу сложилось, было трудно понять, каким образом можно расшарить и дать доступ сразу ко всем фотографиям, но в итоге, оказалось всё довольно просто и элегантно, хотя и не совсем интуитивно.

Несколько дней, а может и недель ушло у меня на то, чтобы слить с гугловых серверов данные (всеми правдами и неправдами). Еще несколько дней, чтобы залить это всё в призму и просканировать. Небольшая оговорка: прежде чем заливать всё скачанное с гугла добро я пришел к выводу, что сохранять оригиналы как есть я не буду. Если фотографии до 200x года (в основном сканы) весят ничтожно мало, то цифра с зеркалок 202x годов с одного мероприятия легко может весить десятки гигабайт. Гонять эти гигабайты по сети тоже удовольствие сомнительное, да и хранить накладно. Волевым решением я порезал вообще все фотографии до размера в 1200px по длинной стороне, что в общем итоге дало экономию около 40% дискового пространства. Посмотреть хватит, даже напечатать фотку размером 10×15 тоже вполне сойдёт (хотя конечно маловато уже пикселей будет). Нам тут главное сохранить сам факт события для широкой аудитории, а оригиналы пусть хранятся у авторов фотографий. Больше всего нам важна временная разбивка, привязка к событиям и общий доступ.

Вот так мы даунгрейднулись с огромного гуглосервиса до небольшого селфхост решения и получили гуглофотки на минималках, которые бы нас вполне устраивали.

Теперь фоточки c демопати живут вот тут: https://photo.lostfuture.ru/s/partyphoto

Более того, фоточки разбиты по нескольким категориям и к ним отдельно тоже можно получить доступ:
https://photo.lostfuture.ru/s/partyphoto — основная категория, фотографии с демопати
https://photo.lostfuture.ru/s/event — фотографии с каких-то мероприятий, близких к демосцене
https://photo.lostfuture.ru/s/sceners — фотографии демогрупп и сценеров
https://photo.lostfuture.ru/s/docs — документы (например сканы схем, игровые карты, фотографии железа и т.п.)

Кстати, можно в одной сессии в браузере походить по этим ссылкам и получить доступ вообще ко всем фотографиям, пока куки не протухнут или принудительно не разлогиниться из гостевого входа в сервисе.



Какие минусы?

Минусы несомненно есть.

1. это селфхост, значит будет съедать мой интернет-канал, электричество и амортизировать используемое железо
2. это будет требовать личных вложений как минимум в устройства хранения (нужны не только hdd непосредственно для хранения, но и для бэкапов) и собственно серверное железо
3. поддерживать это буду я лично, а значит собирать фотки отдельно и потом заливать на сервер буду только я
4. отказ от хранения оригиналов для экономии дискового пространства
5. ...

В остальном сплошные плюсы )))

Надеюсь, вы не положите мой микросервер своим трафиком, разглядывая старые\новые фотки.

Что дальше?

А дальше план таков:

1. Хотите увековечить мероприятие или имеете какие-то исторически значимые для демосцены фотографии\сканы и т.п.? Присылаете мне, я размещаю всё в одном месте для общего доступа. Особенно интересны фото сохранившиеся из архивов Wlodek Black и фотографии с мероприятий до 2000 года, а также любые местные тусовки сценеров/фидошников и редкие фотографии сценеров 90-х.
2. Переезд со старого железа на новое и кратное увеличение объемов файлового хранилища. Средств на это нужно много, очень много. (присмотренное железо стоит примерно 60к₽ + диски для хранения и бэкапов в итоге более 100+к₽). Поэтому, переезд на новое железо будет небыстрым, а пока будем надеяться, что всё не загнётся слишком быстро.

Пока что запускаемся в тестовом режиме на минималках. Оригиналы не сохраняем. Видео не сохраняем. Как только поменяется железо и будет дополнительное место под хранение можно будет подумать над сохранением фото в оригинале и сохранение каких-то ценных видеоматериалов, которые невозможно выложить на видеохостинги.

А не будет ли дешевле всё это хостить на VPS?

Возможно да, сначала будет дешевле и проще, но со временем будет всё дороже и дороже, сложнее управлять и сложнее иметь быстрый физический доступ к данным и бэкапам. Я всё больше убеждаюсь, что самохостинг это не тупик, а логичное развитие сетей. Ну и налёт гиковости в этом всём присутствует небольшой, cразу вспоминаются bbs и ноды фидонета…

Поживём, увидим. Открыт к предложениям и обуждению.

P.S. А если вдруг, вы пожелаете внести посильный вклад в Digital preservation и поддержку всего этого хозяйства, буду весьма благодарен → donatestream | boosty | tinkoff