Если у тебя на компьютере не хранится дорогих тебе фотографий или
документов, эта заметка будет тебе не интересна. Если ты уже делаешь резервные копии и механизм работы с ними тебя полностью устраивает, эту заметку тоже лучше пропустить. Если ты считаешь, что хорошо разбираешься в linux, то вряд ли почерпнёшь в ней что-то новое. Для остальных — делюсь .

Не так давно столкнулся с проблемой (и ее решением) учитывая актуальность этой темы в последнее время, а также то, сколько людей сейчас страдают от этой беды, решил объединить информацию в одну статью. Может быть кому-то еще она будет полезной.

В этой статье я расскажу об алгоритме поиска нечетких дубликатов под названием «Алгоритм Шинглов». А так же реализую данный алгоритм на языке Python.

Почему я решил изучить данный алгоритм? Сам я являюсь SEO-шником, занимаюсь продвижением сайтов и так далее… Соответственно, моя работа заключается в изменении выдачи поисковой системы по определенному запросу. Но проработав более года в этом направлении меня заинтересовала внутренняя часть поисковых систем. Как они борются с поисковым спамом, как ранжируют документы и т.д. Поиск нечетких дубликатов позволяет поисковой системе исключить из выдачи клоны или частично похожие страницы (под словом частично я подразумеваю некоторое значение, при котором в конкретной поисковой системе два документа будут определяться как почти одинаковыми).

Все наверное слышали о том что "виндовс дырявый". Многие уверены в этом, но совсем мало воспринимают это всерьез. Вот очередная статейка в стиле "ужаснись как все дыряво".
Metasploit Framework - каркас программ взлома, и коллекция этих самых "эксплоитов".

Продолжаю знакомить с CouchDB, сегодня я опишу, как работать с этой документно-ориентированной БД на примере организации разграничения прав доступа пользователей.

Рассмотрим типичную модель в релиационной БД, реализующую хранение таких данных.

В рамках диплома довелось попробовать такую пока что, на мой взгляд, экзотичную, но несомненно интересную базу данных CouchDB.

С небольшими обзорами данной БД на русском можно ознакомиться у Ивана Салагаева и Тру программиста.

Для тех, кому лень читать, вкратце скажу, что это документно-ориентированная база данных, в которой нет понятия таблиц и записей в таблицах — есть лишь документы.

Не так давно я начал постигать работу с Linux (в частности Ubuntu 8.10) и у меня появилась задача автоматического скачивания файлов по списку. «wget -i» конечно вещь хорошая, но мне хотелось большего, а именно:

1. Скачивание списка ссылок из файла
2. Скачивание одновременно нескольких файлов
3. Перенос неудавшихся закачек в отдельный список для дальнейших повторных попыток.

Так что появилась необходимость в чуть более продвинутом инструменте для скачивания файлов, чем может предложить wget. Я решил реализовать его с помощью bash. Правда может помешать отсутствие опыта написания bash-скриптов, но как раз пришли выходные и часы проведенные за материалом по теме не прошли зря.

В этой статье мы пройдём с вами полный цикл от идеи, проектирования БД, написания PHP-Кода, и завершающей оптимизации. Постараюсь рассказать обо всем, как можно проще. Использовать для примеров буду PHP и Mysql. Заодно потренирую новичков :).

В этой статье я коснусь вопросов:
  1. Идея ACL
  2. Проектирование БД
  3. Нормализация БД
  4. Рефакторинг кода
  5. Оптимизация рабочего кода

Статья является ответом на Бинарное распределение прав доступа в CMS. Пока автором пишется практическая часть, я хочу предоставить мой вариант, который я использую довольно давно.
То, что я сейчас расскажу, похоже на ACL.

В связи с достаточно широким выбором неплохих отладчиков, JavaScript-программисты могут получить достаточно много пользы, изучая то как их можно использовать. Их пользовательские интерфейсы становятся все более совершенными, более стандартизированными между собой и более легкими в использовании, что делает их полезными как для экспертов так и новичков в отладке JS. В этой статье мы обсудим передовые методы отладки для диагностики и анализа ошибок, используя типичное веб-приложение.

В настоящее время средства отладки доступны для всех основных браузеров.

• Firefox имеет хорошо известное расширение Firebug
• IE8 выпускается со встроенными Developer Tools
• Опера 9.5+ поддердивает отладчик Dragonfly
• У Safari есть JS-отладчик Drosera и DOM-вьювер WebInspector. В более свежих версиях отладчик интегрирован в WebInspector.

На данный момент Firebug и Dragonfly наиболее стабильны. Утилиты IE8 иногда игнорируют контрольные точки, а во время написания этой статьи WebInspector имеет некоторые проблемы совмстимости с последними билдами Webkit.

Изучите несколько средств отладки — вы никогда не знаете, в котором браузере возникнет следующая ошибка. Так как отладчики примерно сопоставимы в функциональных возможностях, между ними легко переключиться, как только вы разберетесь как использовать хотя бы один.

Чтобы получить содержимое веб-страницы все с удовольствием используют file_get_contents(), например file_get_contents('http://www.habrahabr.ru/'). Но я уже давно наблюдаю, что, как дело доходит до того, чтобы отправить POST, разработчики используют либо CURL, либо открывают сокеты. Я не считаю, что это плохо или что не надо так делать, просто для решения простых задач можно использовать простые решения.

Я и сам так раньше делал, пока на наткнулся на понятие контекстов потоковых операций в PHP. Контекст позволяет передать дополнительные параметры потоковому обработчику. Для http например, можно сконфигурировать POST-запрос или передать дополнительные заголовки.

file_get_contents() принимает 3 параметром «контекст», который собственно и конфигурирует сам запрос.
Ниже пример такого запроса или RTFM

Разработчики популярной открытой системы управления базами данных PostgreSQL накануне представили новую версию своего проекта. Как говорят сами создатели СУБД PostgreSQL 8.4 стала еще ближе к дорогим корпоративным базам данных по возможностям и скорости работы, при том, что сама эта система была и остается бесплатной.
В новой версии СУБД насчитывается около 300 новых функций, однако в нынешних сложных экономических условиях важно уже то, что такому некоммерческому проекту, как PostgreSQL удается жить и продолжать развиваться. По словам Джоша Беркуса, одного из разработчиков ядра СУБД, в данном релизе было проделано немало работы, чтобы довести PostgreSQL 8.4 до промышленного уровня. "Очень многим участникам проекта разработки пришлось пересмотреть свои приоритеты и сменить тактику и скорость разработки. Также в команде произошло пополнение, в группе, ответственной за выпуск патчей, появились новые члены", говорит он.
В целом, говорит Беркус, работа над PostgreSQL стала более стуктурированной и четкой, что с одной стороны больше походит на коммерческие стратегии, но с другой позволяет делать заявленные функции в срок. "Раньше, еще три релиза тому назад, процесс разработки Postgres напоминал водопад. Люди присылали свои патчи к нашим, делали одну и ту же работу многократно, основные члены команды зачастую выбивались из графика. Сейчас этого нет", - говорит он.
Вместе с тем, от релиза к релизу увеличивается размер и сложность СУБД. Если в 2003 году за 12 месяцев в среднем выходило 50-60 патчей, то сейчас их выход почти 400. В связи с этим, разработчикам проекта приходится ужесточать требования к качеству кода и к срокам выполнения тех или иных проектов, входящих в СУБД.
С нового релиза, рассказывает Беркус, была изменена и сама концепция разработки PostgreSQL. Теперь разработчики будут выпускать очередную промежуточную версию примерно каждые два месяца, тогда как раньше периодичности не существовало.
Что касается новой версии PostgreSQL 8.4, то здесь всего насчитывается 293 новых возможности, правда некоторые из них - это развитие ранее заложенного функционала.  Из новых функций разработчики отмечают возможность параллельного восстановления баз данных, новые средства мониторинга запросов, а также возможность выставления привилегий на доступ не только с точностью до таблицы, но с точностью до столбца. С выходом новой версии появился и новый инструмент миграции данных с версии 8.3 на 8.4.
"До сих пор в PostgreSQL было одно существенное ограничение: когда вы восстанавливали базу из архива или файла миграции, то вы могли использовать лишь 1 процессор системы, вне зависимости от того, сколько процессоров было в вашем сервере. Теперь вы можете использовать на полную не только все процессоры, но и всех их ядра в параллельном режиме. Такая система на некоторых базах дает восьмикратный прирост скорости развертывания данных", - говорит Беркус.

По оценкам компании Enterprise Strategy Group в предстоящие 4 года объем хранимой цифровой информации в мире увеличится почти шестикратно. В компании приводят данные, согласно которым в 2008 году общий объем хранимых в мире файловых архивов составлял примерно 10 000 петабайт (1 петабайт = 1 000 000 гигабайт), но в 2012 году этот показатель увеличится до 62 000 петабайт.
Исследователи говорят, что столь резкий рост объемов вызван несколькими ключевыми факторами: во-первых, растущими объемами цифрового видео, во-вторых, новыми законодательными инициативами, обязывающими бизнес дольше хранить коммерческие данные, наконец в-третьих, рост вызван естественным приростом объемов произведенной информации.
В рамках опроса Enterprise Strategy Group выяснилось, что все больше компаний, имеющих дело с крупными массивами данных, предпочитают хранить их не на серверах общего назначения, а на выделенных системах хранения, доступных как локально, так и удаленно. 75% опрошенных заявили, что уже развернули системы хранения или планируют сделать это до конца года. Среди тех, кто уже использует система хранения около трети опрошенных заявили, что планируют увеличить емкость существующих систем и/или внедрить программное обеспечение для удаления дубликатов.
Около 12% говорят, что намерены испробовать в качестве решения для хранения данных SSD-накопители, однако почти 80% говорят, что такие решения пока слишком дороги для массового внедрения.

Европейские ученые и инженеры создают крупнейшую в мире сеть квантовой криптографии, при помощи которой специалисты намерены передавать с высоким уровнем безопасности зашифрованные данные. В данном проекте пока принимает участие 41 европейская исследовательская и промышленная организация.
Планируется, что сеть будет состоять из 8 крупных узлов, созданных по технологии MESH, длина каждого участка составит в среднем 35 км, однако самый длинный участок протянется на 82 километра. Европейские специалисты отмечают, что их сеть станет фактически первой практической реализацией промышленных оптических криптосетей. Руководит проектом создания сети Институт физики в Лондоне, здесь же впервые займутся квантовым шифрованием коммерческих данных.
Квантовая криптография основана на определенных явлениях квантовой физики. В отличие от традиционной криптографии, которая использует математические методы, чтобы обеспечить секретность информации, квантовая криптография сосредоточена на физике информации. Процесс отправки и приема информации всегда выполняется физическими средствами, например при помощи электронов в электрическом токе, или фотонов в линиях волоконно-оптической связи. А подслушивание может рассматриваться, как измерение физических объектов — в нашем случае, переносчиков информации.
Технология квантовой криптографии опирается на принципиальную неопределенность поведения квантовой системы — невозможно одновременно получить координаты и импульс частицы, невозможно измерить один параметр фотона, не исказив другой. Это фундаментальное свойство природы в физике известно как принцип неопределенности Гейзенберга, сформулированный в 1927 г.
Используя квантовые явления, можно спроектировать и создать такую систему связи, которая всегда может обнаруживать подслушивание. Это обеспечивается тем, что попытка измерения взаимосвязанных параметров в квантовой системе вносит в нее нарушения, и полученная в результате такого измерения информация определяется принимаемой стороной как дезинформация.

Рунетчики больше всех в мире сидят в социальных сетях, говорится в опубликованном 2 июля исследовании ComScore, охватившем пользователей интернета старше 15 лет. В мае они проводили на сайтах сетей в среднем 6,6 часа и просматривали по 1307 страниц. В среднем в мире пользователи проводят в социальных сетях 3,7 часа в месяц и просматривают при этом 525 страниц. Таким образом, Россия превосходит среднемировой показатель в два раза. Крупнейшей социальной сетью России ComScore называет "Вконтакте". Исследователи отмечают, что из 31,9 миллиона человек, вышедших в Рунет в апреле 2009 года, 18,9 миллиона посетили как минимум одну социальную сеть. Из них 14,3 миллиона рунетчиков зашли на сайт "Вконтакте" и лишь 7,8 миллиона - на сайт "Одноклассники.ру". "МойМир" портала Mail.ru посетили 6,3 миллиона человек. На Facebook, который лидирует в большинстве стран, в России за месяц зашли 660 тысяч человек. На втором месте по интенсивности использования социальных сетей идет Бразилия с 6,3 часами и 1220 страницами. Третье с большим отрывом занимает Канада. Ее жители тратят на соцсети 5,6 часа в месяц и просматривают лишь 649 страниц.

Компания Blizzard решила убрать поддержку игры по локальной сети из своей новой стратегии Starcraft II, пишет Joystiq. Теперь геймеры смогут играть друг против друга только через систему Battle.net. В Blizzard сообщили, что это было трудным решением, но подчеркнули, что отказ от игры по LAN позволит защитить Starcraft II от пиратов. Разработчики отметили, что доработают Battle.net, включив в нее дополнительные функции. Во всех будущих играх Blizzard основным средством для многопользовательской игры также станет Battle.net. StarCraft II будет разделен на три игры. В каждой из них геймеру предстоит руководить войсками одной из трех рас - терран, зергов и протоссов. Точная дата выхода первой, Wings of Liberty, неизвестна, однако уже начато бета-тестирование. Предполагается, что оно продлится 5-6 месяцев. Тогда игра появится на прилавках к началу следующего года.