Urths Freehold

Ее смело можно ставить между балетом на льду и хоккеем на траве.

Сделал себе RSS-канал новой музыки что выкладывает в локальный доступ провайдер. Дабы не караулить новинки на сайте. Со списком url’ов, чтоб сразу в качалку.

Конверсия парсера. Нефиг ему пылиться.

Будет интересно только клиентам Оптимы:

• RSS канал optima-mp3.alkar.net-new
• Получать на свой e-mail

На днях увлеченно вспоминал опыт годичной давности по парсингу сайтов разработке информационных баз в сети Интернет. В общем пиратствовал.

На этот раз все прошло существенно быстрее и комфортнее.

Работа закончена и теперь я с чистой совестью и полными карманами, отдаю в хорошие руки набор пирата. Почти новый.

Набор включает:
1. Человека с прямыми руками и со знанием PHP и регулярных выражений.
2. Сервер или локальную машина с апачем+пхп+mysql, подключенную к безлимитному каналу.
3. Скрипт загрузки индекса необходимых страниц и скрипт загрузки самих страниц.
4. Парсер, вытаскивающий нужные данные из выкачанной кучи мусора.
5. Красивый шаблон для оформления результатов. Excel, xml, csv или html.
6. Ну и какой же пират, без попугая-матершинника и черной повязки на глаз.

В выборе железа – предпочтительнее локальная машина или выделенный сервер. У шаред хостингов – масса ограничений. Особенно у дешевых. Вешать это все дело на крон – занятие крайне неблагодарное. Проверено.

При загрузке данных все решается просто – через curl. Пока админы пьют пиво – качаем все в один поток, с одного IP, без refferer, с простым User agent. А пока они допьют – все ихнее золотишко уже у нас. Хе-хе.

Пункты 3 и 4 комбинируются по ситуации. Все скрипты можно объединить в один большой цикл с одновременной выкачкой-парсингом. Если база маленькая то лучше так и поступить.

Самое трудоемкое во всем этом – написать регулярное выражение и исправить в нем все ошибки. Дальше – дело техники.

И… соблюдайте копирайт! :)

Случайно наткнулся на рабочую площадку бесплатного хостинга, существующую с 1998-го.

Ностальгия.

Листал страницы пользователей и плакал.

http://visti.com/

Ссылочное – великая вещь, особенно в бездарных руках.

Развивая тему внутренней оптимизации с ужасом обнаружил и что у самого куча внутренних ссылок на морду сайтов с анкором «Главная».

И неужели так сложно писать вместо «Главная» – «Сайт Василия Пупкина»…

Нашим клиентам мы гарантируем:
1 Отсутствие сбоев в работе
2 Высокую скорость серверов
3 Поддержку full-time 100%
4 Отсутствие риска
5 Веб-интерфейс управления
6 Трафик без лимита
7 Никаких скрытых платежей

uptime серверов 99.99%

- Доктор, я попал в сказку?
- Нет, Эрт:

Добро пожаловать в мир украинского хостинга

 :))))

Не тот ли это фрихост, у которого поддержка пользователей – моральная? :) И не тот ли это фрихост что в тихую падал по три раза на дню?

Да что вы, может за два года контора наконец сменила площадку и перестала жать траффик? Да нет, же, говорю я вам, это все тот-же фрихост который выдает свою 404 страницу на сайтах клиентов. С невинными ссылочками «UNIX хостинг», «WINDOWS хостинг» итд.

Но зато, фрихосты наконец обновили дизайн своего сайта :)

Узнал термин описывающий навигацию, которую использую уже не первый год – «Хлебные крошки» :)

На самом деле не все так однозначно. Не каждую структуру страниц сайта можно удачно сделать древовидной. Самый известный пример это Wordpress. Или любой другой блог.

Да и к тому-же, пользователи чаще пользуют кнопку Back, клик по ссылке на главную страницу или ищут глазами главное меню.

Созданный прежде RSS поток начал транслировать на открытые платформы.

Уже при эксплуатации потока появилось неожиданное ограничение. Информации на вход RSS-потока подается больше, чем тот может экспортировать. Экспорт выставлен в 30 записей (кто сказал, что робот не может подавиться?) и 6 часов обновления. Поначалу казалось этого будет хватать с запасом. Но специфика подаваемой информации оказалась таковой, что несколько дней ее может не быть вообще, а потом создается сразу пол сотни записей.

Поэтому придется в скрипт добавлять отложенную публикацию, публикуя посты с задержкой для роботов. Ну и для приличия. Ведь 50 постов за 2 секунды, а потом трое суток молчания – это как-то… ненормально.
Лучше реже, но регулярно ;)

А результат трансляции – обнадеживающий. Как никак – внешние ссылки на внутряки по низкочастотке. Чувствуется, как Гугл зашевелился, находя трансляции. Но на все нужно время…

И как оказалось, удобных открытых платформ для трансляции, вроде beta.ya.ru, можно пересчитать на пальцах. Но это уже другая история.

P.S. Да, да, проще купить ссылок на сапе :)

Замечательный сервис copyscape.com выявляет плагиаторов и их творения в виде сеток. Чтобы не откладывать в дальний ящик проверил кое-что из написанного. Выдало три сателита и один сплог. И только на первой странице.

Автору сплога предложил на выбор установить ссылку на оригинал либо удалить страницу. Пока по-хорошему ожидаю ответа.

Сателиты на nm.ru убрал через ейный саппорт. Заявку саппорты разобрали в течении суток. Все три сайта удалили. А вот сетки трогать не стали. Хотя перелинкованы сателиты были явно. Длиннющими хвостами из ссылок. Ну и бог с ними, мне какое дело, пускай с ними SE воюют.

Присказка: Я, как известно сторонник Оперы, как самого быстрого и кошерного на планете бравзера, а потому работаю сначала под него. А потом уже доверстываю под Файрфоксом и Ослом. В осла вообще заглядываю редко, по большей части на стадии верстки, поэтому незначительные изменения в дизайне и стилях могут пройти мимо. Поэтому всякие мелкие глюки вавилонские с отображением вылазят совершенно случайно.
Как, например неподдержка IE следующей конструкции в CSS:

.StyleName > * {
…
}

Конструкция child-selectors, скажу я вам весьма красивая и полезная. Да только вот понимают ее только Опера и Файрфокс. В итоге пришлось приписывать всем детям этот самый StyleName.

Момент второй: свойства по дефолту. Казалось бы, что может быть проще, чем указать для тега определения <DT> стиль с маркером (»фифочка такая слева»)

DT.StyleName {
display:list-item;
list-style-type:square;
}

А вот нет, Опера с Ослом придерживаются мнения что «фифочка» должна быть внутри списка, а Файрфокс по дефолту считает, что она должна быть вне списка (далеко за пределами бокса). Пришлось явно прописывать:

list-style-position:inside;

Сказка: Так к чему это я – зачастую при работе над сайтом ловлю себя на мысли что самым неоднозначным местом во всем этом визуально-рюшечно-красивом интернете является CSS. Но не сам, стандарт, а его поддержка в браузерах.

Налицо наплевательское отношение разработчиков браузеров, причем не столько к самим стандартам, сколько к пользователям и вебмастерам. А корни уходят в HTML, который не предназначался для того, каким образом его хотят использовать. Неужели кто-то мог на заре HTML подумать о том, как будет использоваться тег TABLE? Вероятно могли, но то стандарты были слишком сложны, то над практическими проблемами думали теоретики, то еще что-то танцору мешало.
Вот и выходит, что весь этот WWW-паровоз с пользователями летит вперед, браузеры постоянно в роли догоняющих, вебмастера в окошки пассажирам тычут красивые картинки вместо пейзажа, а W3C со своими стандартами летает где-то высоко, куда его все дружно и послали.

Поэтому, по поводу «чтобы во всех бравзерах выглядело одинаково» выражаю всем верстальщикам свои искренние соболезнования.