Если у тебя на компьютере не хранится дорогих тебе фотографий или
документов, эта заметка будет тебе не интересна. Если ты уже делаешь резервные копии и механизм работы с ними тебя полностью устраивает, эту заметку тоже лучше пропустить. Если ты считаешь, что хорошо разбираешься в linux, то вряд ли почерпнёшь в ней что-то новое. Для остальных — делюсь .

Не так давно столкнулся с проблемой (и ее решением) учитывая актуальность этой темы в последнее время, а также то, сколько людей сейчас страдают от этой беды, решил объединить информацию в одну статью. Может быть кому-то еще она будет полезной.

В этой статье я расскажу об алгоритме поиска нечетких дубликатов под названием «Алгоритм Шинглов». А так же реализую данный алгоритм на языке Python.

Почему я решил изучить данный алгоритм? Сам я являюсь SEO-шником, занимаюсь продвижением сайтов и так далее… Соответственно, моя работа заключается в изменении выдачи поисковой системы по определенному запросу. Но проработав более года в этом направлении меня заинтересовала внутренняя часть поисковых систем. Как они борются с поисковым спамом, как ранжируют документы и т.д. Поиск нечетких дубликатов позволяет поисковой системе исключить из выдачи клоны или частично похожие страницы (под словом частично я подразумеваю некоторое значение, при котором в конкретной поисковой системе два документа будут определяться как почти одинаковыми).

Все наверное слышали о том что "виндовс дырявый". Многие уверены в этом, но совсем мало воспринимают это всерьез. Вот очередная статейка в стиле "ужаснись как все дыряво".
Metasploit Framework - каркас программ взлома, и коллекция этих самых "эксплоитов".

Продолжаю знакомить с CouchDB, сегодня я опишу, как работать с этой документно-ориентированной БД на примере организации разграничения прав доступа пользователей.

Рассмотрим типичную модель в релиационной БД, реализующую хранение таких данных.

В рамках диплома довелось попробовать такую пока что, на мой взгляд, экзотичную, но несомненно интересную базу данных CouchDB.

С небольшими обзорами данной БД на русском можно ознакомиться у Ивана Салагаева и Тру программиста.

Для тех, кому лень читать, вкратце скажу, что это документно-ориентированная база данных, в которой нет понятия таблиц и записей в таблицах — есть лишь документы.

Не так давно я начал постигать работу с Linux (в частности Ubuntu 8.10) и у меня появилась задача автоматического скачивания файлов по списку. «wget -i» конечно вещь хорошая, но мне хотелось большего, а именно:

1. Скачивание списка ссылок из файла
2. Скачивание одновременно нескольких файлов
3. Перенос неудавшихся закачек в отдельный список для дальнейших повторных попыток.

Так что появилась необходимость в чуть более продвинутом инструменте для скачивания файлов, чем может предложить wget. Я решил реализовать его с помощью bash. Правда может помешать отсутствие опыта написания bash-скриптов, но как раз пришли выходные и часы проведенные за материалом по теме не прошли зря.

В этой статье мы пройдём с вами полный цикл от идеи, проектирования БД, написания PHP-Кода, и завершающей оптимизации. Постараюсь рассказать обо всем, как можно проще. Использовать для примеров буду PHP и Mysql. Заодно потренирую новичков :).

В этой статье я коснусь вопросов:
  1. Идея ACL
  2. Проектирование БД
  3. Нормализация БД
  4. Рефакторинг кода
  5. Оптимизация рабочего кода

Статья является ответом на Бинарное распределение прав доступа в CMS. Пока автором пишется практическая часть, я хочу предоставить мой вариант, который я использую довольно давно.
То, что я сейчас расскажу, похоже на ACL.

В связи с достаточно широким выбором неплохих отладчиков, JavaScript-программисты могут получить достаточно много пользы, изучая то как их можно использовать. Их пользовательские интерфейсы становятся все более совершенными, более стандартизированными между собой и более легкими в использовании, что делает их полезными как для экспертов так и новичков в отладке JS. В этой статье мы обсудим передовые методы отладки для диагностики и анализа ошибок, используя типичное веб-приложение.

В настоящее время средства отладки доступны для всех основных браузеров.

• Firefox имеет хорошо известное расширение Firebug
• IE8 выпускается со встроенными Developer Tools
• Опера 9.5+ поддердивает отладчик Dragonfly
• У Safari есть JS-отладчик Drosera и DOM-вьювер WebInspector. В более свежих версиях отладчик интегрирован в WebInspector.

На данный момент Firebug и Dragonfly наиболее стабильны. Утилиты IE8 иногда игнорируют контрольные точки, а во время написания этой статьи WebInspector имеет некоторые проблемы совмстимости с последними билдами Webkit.

Изучите несколько средств отладки — вы никогда не знаете, в котором браузере возникнет следующая ошибка. Так как отладчики примерно сопоставимы в функциональных возможностях, между ними легко переключиться, как только вы разберетесь как использовать хотя бы один.

Чтобы получить содержимое веб-страницы все с удовольствием используют file_get_contents(), например file_get_contents('http://www.habrahabr.ru/'). Но я уже давно наблюдаю, что, как дело доходит до того, чтобы отправить POST, разработчики используют либо CURL, либо открывают сокеты. Я не считаю, что это плохо или что не надо так делать, просто для решения простых задач можно использовать простые решения.

Я и сам так раньше делал, пока на наткнулся на понятие контекстов потоковых операций в PHP. Контекст позволяет передать дополнительные параметры потоковому обработчику. Для http например, можно сконфигурировать POST-запрос или передать дополнительные заголовки.

file_get_contents() принимает 3 параметром «контекст», который собственно и конфигурирует сам запрос.
Ниже пример такого запроса или RTFM

В Мариборе (Словения) в результате спецоперации с участием местной полиции, ФБР и испанских «силовиков» арестован некто 23-летний, имеющий, как полагают, непосредственное отношение к созданию ботнета Mariposa. Червь появился в декабре 2008 года. Он успел заразить компьютеры более половины компаний, входящих в список Fortune 1000, и не менее сорока крупных банков. Как обычно, ботнет занимался кражей денег со счетов и персональных данных. Его удалось локализовать весной 2009 года, а в начале 2010-го испанская полиция арестовала трёх участников преступной сети. Имя главаря не раскрывается. Он фигурирует в деле под псевдонимом Исердо (Iserdo). Не уточняются и предъявленные ему обвинения. ФБР сообщает лишь, что арест был произведён десять дней назад, а сейчас словенец разгуливает на свободе, ибо выпущен под залог. «Чтобы вам было понятно, мы поймали не того, кто вломился в ваш дом, а гада, который дал ему фомку, карту и рассказал о самых богатых домах в округе, — поясняет Джеффри Трой, заместитель помощника директора киберподразделения ФБР. — Это крупный прорыв в истории расследований киберпреступлений». Идейные вдохновители ботнетов — это обычно чрезвычайно опытные хакеры, которые скрываются так, что найти их практически невозможно. Так, по сей день не обнаружен главный распространитель червя Conficker, инфицировавшего от 3 до 12 млн компьютеров. Гадость активна до сих пор, но находится под пристальным наблюдением спецслужб. По словам г-на Троя, стоит ожидать новой волны арестов, которая, скорее всего, выйдет за пределы Испании и Словении, ибо код, написанный Исердо, пользовался большим спросом. Базовый пакет стоил 500usd, а цена более продвинутых версий доходила до 1300usd.

«Облачные» вычисления как явление имеют положительные и отрицательные стороны. Замечательно, когда у вас есть бесплатный почтовый ящик на несколько Гб; замечательно, что он обрастает бесплатным ПО; замечательно, что в случае гибели вашего жёсткого диска данные, зависшие в онлайне, сохранятся на находящихся бог знает где серверах. Плохо лишь то, что содержатель вашего почтового ящика «просматривает» вашу почту и пичкает вас контекстной рекламой. И это лишь начало всеобщего разрушения приватности. Группа компьютерных людей из Университета Виктория (Веллингтон), Технологического института Карлсруэ и Кардиффского университета предлагает решение: «социальные облака». Вы делитесь ресурсами, приложениями и информацией только с теми, кому доверяете. Идея не новая, но в данном случае исследователи предлагают довольно конкретную модель социальной сети «облачных» вычислений и базируют её на пресловутом «Фейсбуке», добавляя элементы «распределённых вычислений» (вроде проекта SETI@home). Работать «социальные облака» должны следующим образом. Войдя в социальную сеть, пользователи запускают приложение, отправляющее их на рынок «облачных» вычислений. Делясь своими ресурсами, здесь можно заработать «кредиты» и на них потом покупать чужие ресурсы. То есть дружеские. Подпрограммное обеспечение помогает свести баланс между количеством друзей и количеством заработанных кредитов: пользователь может задать несколько «кругов дружбы», и самая личная информация, а также связанные с ней приложения «размазываются» только по компьютерам ближнего круга. Идея, возможно, сырая, но жизнеспособная; доказательство — процветающие пиринговые сети. Следует отметить, что не столько группа дружественных домашних компьютеров с RAID-массивами и источниками бесперебойного питания проигрывает группе серверов в надёжности, сколько последняя проигрывает первой в приватности. Результаты исследования опубликованы в материалах III Международной конференции по «облачным» вычислениям (IEEE Cloud 2010).

Деловое издание Wall Street Journal сегодня сообщает о том, что в США федеральное правительство работает над оборонной программой, известной как Perfect Citizen. Цель программы заключается в создании средств обнаружения кибератак на частные компании и правительственные агентства, управляющие критически важной инфраструктурой, такой как электроснабжение, атомная энергетика, химическая и биологическая промышленность и т п.
Курирует данный проект Агентство Национальной Безопасности США. Сейчас под управлением АНБ уже находится львиная доля правительственных и часть военных сетей США. В рамках нового проекта планируется создать интерфейсы для частичного объединения правительственных и корпоративных сетей и по всем этим сетям поставить сенсоры, которые будут выполнять роль систем раннего обнаружения атак. Сенсоры будут постоянно следить за состоянием сетей и слушать их на предмет "нетипичной" активности. Благодаря таким "точкам взаимодействия", можно будет избежать необходимости мониторить все сети сразу, затрачивая на это громадные ресурсы.
Источники, знакомые с ходом выполнения программы, говорят, что совсем недавно американский оборонный подрядчик Raytheon Corp выиграл закрытый правительственный тендер на 100 млн долларов. Теперь этой компании предстоит спроектировать систему мониторинга для защиты от хакерских атак. Реализовывать систему будут, скорее всего, другие подрядчики. От официальных комментариев пока и представители АНБ и Raytheon отказываются. Впрочем, WSJ отмечает, что программа в ее нынешнем виде совсем небезупречна и американский бизнес пока не горит желанием в ней участвовать, считая, что Perfect Citizen - это очередная попытка вторжения "дяди Сэма" в частную жизнь компаний и граждан. Есть, однако, и компании, которые называют программу важной и говорят, что готовы сотрудничать. Источники WSJ в Raytheon утверждают, что система построена так, что правительство просто хочет убедиться в безопасности важной инфраструктуры и влезать в личные дела компаний оно не намерено.
Независимые военные эксперты в Вашингтоне отмечают, что необходимость программы уже давно очевидна, а вероятность ее вторжения в личную жизнь сравнима с вероятностью вторжения в личную жизнь со стороны камер наружного наблюдения, которые уже давным-давно установлены на улицах городов. "Это (программа) является логическим продолжением работы федеральных ведомств, проделанной в прошлом по защите критической инфраструктуры", - говорят в Вашингтоне.
Неназванный военный чиновник в частной беседе с WSJ говорит, что задача создаваемой системы заключается в том, чтобы обеспечить чистоту сетей "от русских и китайских хакеров". Он также отметил, что в Белом доме уже давно говорят об активизации разведывательной деятельности обеих стран. В США говорят, что еще одной целью системы является централизация мониторинговых данных о самых разных сетях. Сейчас в США есть несколько десятков тысяч военных и федеральных сетей и большая их часть друг с другом не связана. "Если бы удалось создать централизованную картину нападений, то это сделало бы борьбу с кибернападениями в разы более эффективной", - говорит чиновник. "Наша цель - закрыть огромные и яркие дыры в государственной системе кибербезопасности".
При этом, неназванный военный чиновник отметил, что пока данная система еще очень далека от завершения и даже в Штатах на уровне федерального правительства еще нет единого видения и понимания системы.
На первом этапе Perfect Citizen планируется хотя бы понять, какие объекты считать критически важными, а какие - нет. Так, в самом АНБ говорят, что учитывая развитие современных компьютерных технологий "критически важными" объектами можно было бы назвать практически любой мало-мальски подключенный офис с доступом к сети. Очевидно, что назвать всю страну "критически важной" нереально, да и обеспечить 100%-ное сотрудничество будет нелегко.
Ранее Правительство США уже имело опыт попыток сотрудничества с частным сектором в области защиты данных. Все эти попытки завершились неудачно. Так, несколько лет назад АНБ попыталось обязать компании проводить процедуру строго аудита своих ИТ-систем, но данная попытка провались в недрах бюрократических кабинетов.
Теперь работа идет в рамках инициативы Comprehensive National Cybersecurity Initiative, которая стартовала еще при президенте Буше и была продолжена при Обаме. Военные наблюдатели говорят, что государственные военные и околовоенные программы в Штатах всегда финансировались хорошо, но вот пока ни одна из публичных ИТ-инициатив Вашингтона успехом так и не завершилась. Впрочем, судить о нынешней программе пока рано, так как она находится еще пока на начальной стадии.

В США раскрыта группа российских шпионов, работавших «в стиле хайтек»: для обмена информацией использовались не старые добрые горшки на окне, а частные Wi-Fi-сети, флеш-карты памяти и текстовые сообщения, упрятанные в картинки. Министерство юстиции предъявило уголовные обвинения 11 секретным (якобы) агентам, в задачу которых входила установка тесных связей с американскими политиками, в том числе представителями Белого дома. Российская Служба внешней разведки, на которую будто бы трудились обвиняемые, особенно интересовалась политикой США в Центральной Америке, точкой зрения на российскую внешнюю политику и даже «политикой Соединённых Штатов в связи с использованием Интернета террористами». Российская сторона, разумеется, скандал не комментирует, а лишь ждёт от американцев разъяснений. Судебные документы (PDF и PDF), обнародованные в понедельник, 28 июня, дадут фору любому Джейсону Борну. Например, обвиняемая Анна Чепмен в январе пришла с ноутбуком в кафе на 47-й улице Манхэттена и передала данные российскому чиновнику, который проезжал мимо на микроавтобусе. Ему даже не надо было заходить в помещение. При обыске у нелегалов (так ФБР называет иностранных агентов, десятилетиями живущих в США под прикрытием) обнаружены «компьютерные диски», содержащие программы для стеганографии. ПО активируется нажатием Ctrl–Alt–E, после чего надо ввести 27-символьный пароль, который ФБР обнаружило на листе бумаги во время одного из обысков. Ну кто ж так работает, шпионы!

Практика стеганографии, кстати, имеет выдающуюся историю: ещё греческий историк Геродот описывал, как один из его соотечественников направил тайное предупреждение о вторжении захватчиков, нацарапанное на восковой дощечке ПОД воском. В годы Второй мировой широко использовались невидимые чернила из молока, фруктового сока и мочи, которые темнели при нагревании. (Как тут не вспомнить хлебные чернильницы дедушки Ленина!) Шпионы также применяли крошечные проколы над ключевыми словами в безобидных на первый взгляд посланиях.

Арестованных никто не подозревает в желании получить доступ к секретным материалам. Им предъявлено обвинение в заговоре с целью совершения преступления против Соединённых Штатов. Девять человек также обвиняются в отмывании денег. Десять из одиннадцати были взяты в воскресенье. Некий Кристофер Метсос пока находится на свободе.

Федеральная служба безопасности Российской Федерации (ФСБ) предлагает внести поправки в закон «Об информации, информатизации и защите информации», касающиеся регулирования деятельности провайдеров и операторов интернет-услуг.

ФСБ считает необходимым обязать провайдеров и регистраторов закрывать интернет-сайты по требованию прокуратуры, а также предоставлять правоохранительным органам информацию о пользователях Сети. В частности, ведомство хочет обязать интернет-компании в течение полугода хранить информацию о своих клиентах и оказанных им услугах и по запросу предоставлять эти сведения силовым структурам.

Кроме того, в поправках предлагается на законодательном уровне обязать провайдеров и регистраторов закрывать «экстремистские сайты» по письму из прокуратуры в течение трёх дней после его получения. Правда, доступ к ресурсу не может быть перекрыт на срок больше месяца, если дело прекращено или вступило в силу решение суда о том, что содержимое сайта не нарушает закон.

Отмечается, что соответствующие поправки готовит специальная рабочая группа при Министерстве связи и массовых коммуникаций. Предложения ФСБ также зафиксированы в сводной таблице к проекту закона «О внесении изменений в отдельные законодательные акты РФ по вопросам регулирования отношений при использовании сети Интернет».