Устроился на новую работу. Работаю уже чуть больше недели. Но вот с интернетом там – явная несвобода. Что-то есть, а по большей части – нет. Список ресурсов, которыми можно воспользоваться составлен по принципу: «Что не разрешено, то – запрещено». Как-то это неправильно. Особенно после неограниченного свободного и доступного интернета на предыдущем рабочем месте.
В общем приходится те источники информации, которые не разрешены «откапывать» через гугль. Обычно пользовался ссылкой на сохраненный в поисковике экземпляр страницы, но тут заметил, что после 12 часов и он перестает открываться с обвинением меня (вернее – всю сеть), в том, что я – бот. Обидно и несправедливо и даже капчу нигде не ввести
.
Но ничего. Я притащил свой старый Eee PC 701 с интернет GPRS модемом и теперь читаю все что мне нужно на нем. Можно попробовать пробить себе «правильный интернет», но ни желания ни уверенности в успехе нет.
Можно еще воспользоваться преобразователем интернет страниц для мобильных устройств. От той же «корпорации зла», что и поисковик, но как-то там все убого. Кому надо, делаете так: http://www.google.com/gwt/n?u=http://bash.org.ru , где bash.org.ru заменяете на url того сайта, который вам нужен.
А еще я тут думаю чем бы обработать более чем 2 миллиарда записей в сутки, но это уже совсем другая история
.
По воле случая на последнем месте работы познакомился с каркасом для сбора данных с web сайтов Scrapy, который реализован на Python. Сфера его использования – сбор структурированных данных со страниц. И хотя его область применения достаточно широка и включает в себя мониторинг и автоматизированное тестирование, но использовали мы его по большей части для сбора информации с сайтов. О самом фреймворке я напишу позже. Сейчас же опишу одну проблему, с которой я столкнулся, реализую один проект «для себя».
Спер у знакомого. Прости, Леха!
Давно ничего не писал. То есть вообще. Не было ни сил, ни желания. Да еще и пароль от блога, галлереи и прочего электронного хозяйства куда-то потерял. Все. Лето прошло. Творчества в любом его виде – ноль. Пару раз брал в руки блокнот или просто бумагу, царапал на ней несколько строчек, отрывал, комкал, и выкидывал. То, о чем писать не хотелось – всплывало в виде подготовленных гладких фраз. А вот о том, о чем действительно хотелось написать никаким образом не желало фиксироваться в каком-бы то писменном виде.
Но я вернулся в нормальное состояние и теперь уже дело только за свободным времением. Так что ждите обновлений. Айл би бэк!
День добрый! Хоть мне и приходили положительные отзывы по поводу установки deb пакета madwimax на Ubuntu 9.04, но я все-таки решил сделать отдельный пакет для 9.04. Давно назревало, но тут позвонил Борис из Москвы и стало понятно, что заставлять пользователя самостоятельно редактировать что-то в /etc нельзя. В общем – раскомментировал по умолчанию строки в конфиге udev, чтобы модем запускался сразу при «вставлении» в USB порт и пересобрал. Брать тут: madwimax_0.1.0-1_i386.deb
P.S. Обязательно пишите о том работает или нет. Сегодня начиная с 3-х буду занят, но вечем часик – полтора смогу уделить.
Наступило!
Мне таки исполнилось 30 лет. Поздравления принимаются.
Настроение «под катом». Читать запись полностью »
