PHP Lang
  1. PHP Lang
  3. Косинус-сходство на больших наборах данных
Intereting Posts
Вызов неопределенного метода из добавленного композитора Reg exp для youtube link Как сохранить пароль пользователя с помощью Bcrypt Как преобразовать этот XML-запрос в массив в php? PHP: постоянное значение переменной Как получить набор значений выпадающего списка и отправить его по электронной почте с помощью PHP? Бакалея CRUD Join table Контейнер для тортов 2.2.1: Ошибки испеки Yii2: Как получить доступ к параметрам в шаблоне? Как выполнить модульное тестирование Исключения с помощью PHPUnit? Ошибка Paypal: пользователю не разрешено выполнять это действие Установите переменную $ _SERVER при вызове PHP из командной строки? Как узнать, был ли require_once? Лучший способ остановить отдельного человека от создания нескольких учетных записей заполнение выпадающего окна, основанное на выборе другого раскрывающегося списка с использованием php, mqsql и ajax

Косинус-сходство на больших наборах данных

В настоящее время я изучаю процесс интеллектуального анализа данных, сравнения текста и нашел это: https://en.wikipedia.org/wiki/Cosine_similarity .

Поскольку я успешно реализовал этот алгоритм для сравнения двух строк, я решил попробовать еще одну сложную задачу. Я выполнил итерацию над моей БД, которая содержит около 250 тыс. Документов и сравнила один случайный документ из БД со всеми документами в этой БД.

Чтобы сравнить все эти предметы, время было занято: 316.35898590088 сек, то есть, -> 5 минут, чтобы сравнить все 250 тыс. Документов!

Из-за этих результатов возникло много проблем, и я не хочу задавать некоторые предложения. Для ясности в первую очередь я опишу некоторые детали, которые могут быть полезны.

  • Поскольку язык программирования был выбран PHP.
  • Документы хранятся вMySQL.
  • Реализация функции подобия косинусов содержит только эту функцию, слова остановки и любые другие причудливые вещи отсутствуют.

Вопросов

  • Есть ли способ добиться лучшей производительности? Где я должен начать, с помощью алгоритма настройки (т. Е. Заранее подготовить векторы и т. Д.), Используя другие технологии и т. Д.?
  • Как и где я должен хранить результаты сравнения. Например, я хочу напечатать некоторые графики, где я могу увидеть все эти 250k-документов по счету сходства, чтобы я мог идентифицировать наиболее похожие и так далее.