Проблема с MySQL при больших объемах возвращаемых данных

В одном очень интересном проекте у нас использовался MySQL и Sphinx. Первый в качестве сервера баз данных. Вот только не нужно снобизма. Многие веб проекты его используют. Работает и ладно. Мы поддерживаем все базы данных, которые поддерживает Django. У нас data access layer взят из этого проекта.

Как всегда гром прогремел среди ясного неба. Перестала индексироваться база событий с ошибкой, ноги которой растут из MySQL:

indexer --all --rotate -c /home/vs/app/sphinx.conf
Sphinx 0.9.9-rc2 (r1785)
Copyright (c) 2001-2009, Andrew Aksyonoff
using config file '/home/vs/app/sphinx.conf'...
indexing index 'events_eventssphinx'...
ERROR: index 'events_eventssphinx': sql_query: Incorrect key file for table
'/tmp/#sql_15e2_1.MYI';
try to repair it (DSN=mysql://root:***@localhost:3306/scrapy).
total 0 docs, 0 bytes
total 368.361 sec, 0 bytes/sec, 0.00 docs/sec
total 0 reads, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg
total 0 writes, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg

Читать запись полностью »

Функционал

Сегодня на работе услышал, что очень негативное отношение к слову функционал. Где-то внутри я чувствовал, что применять его в отношении функциональности неправильно, но вот до сегодняшнего дня внимания сильного на разницу между словами функционал и функциональность не обращал. Однако, после первого употребления мною этого слова, коллега, которая занимается документацией и тестированием прислала мне объяснение директора по разработке ПО о том, почему применение слова функционал, как синонима слова функциональность, недопустимо. Читать запись полностью »

На гугле забанили

я - не бот!

я - не бот!

Устроился на новую работу. Работаю уже чуть больше недели. Но вот с интернетом там — явная несвобода. Что-то есть, а по большей части — нет. Список ресурсов, которыми можно воспользоваться составлен по принципу: «Что не разрешено, то — запрещено». Как-то это неправильно. Особенно после неограниченного свободного и доступного интернета на предыдущем рабочем месте.

В общем приходится те источники информации, которые не разрешены «откапывать» через гугль. Обычно пользовался ссылкой на сохраненный в поисковике экземпляр страницы, но тут заметил, что после 12 часов и он перестает открываться с обвинением меня (вернее — всю сеть), в том, что я — бот. Обидно и несправедливо и даже капчу нигде не ввести :) .

Но ничего. Я притащил свой старый Eee PC 701 с интернет GPRS модемом и теперь читаю все что мне нужно на нем. Можно попробовать пробить себе «правильный интернет», но ни желания ни уверенности в успехе нет.

Можно еще воспользоваться преобразователем интернет страниц для мобильных устройств. От той же «корпорации зла», что и поисковик, но как-то там все убого. Кому надо, делаете так: http://www.google.com/gwt/n?u=http://bash.org.ru , где bash.org.ru заменяете на url того сайта, который вам нужен.

А еще я тут думаю чем бы обработать более чем 2 миллиарда записей в сутки, но это уже совсем другая история :) .