Импорт и обработка текстового файла в MySQL

Я работаю над исследовательским проектом, который требует от меня обработки больших файлов csv (~ 2-5 ГБ) с 500 000 записей. Эти файлы содержат информацию о государственных контрактах (из USASpending.gov ). До сих пор я использовал скрипты PHP или Python для атаки файлов по строкам, их анализа, а затем вставлял информацию в соответствующие таблицы. Разбор умеренно сложный. Для каждой записи скрипт проверяет, находится ли имя объекта уже в базе данных (используя комбинацию соответствия строк и регулярных выражений); если это не так, он сначала добавляет объект в таблицу сущностей, а затем переходит к анализу остальной части записи и вставляет информацию в соответствующие таблицы. Список организаций составляет более 100 000 человек.

Вот основные функции (часть класса), которые пытаются сопоставить каждую запись с любыми существующими объектами:

• MySql создает или обновляет строку с помощью ip?
• Инструменты оптимизации PNG
• Является ли дизайн PHP, Python, PostgreSQL подходящим для бизнес-приложения?
• Замена Python для заголовка PHP
• Заголовки $ _SERVER отсутствуют в PHP, но присутствуют в Python

private function _getOrg($data) { // if name of organization is null, skip it if($data[44] == '') return null; // use each of the possible names to check if organization exists $names = array($data[44],$data[45],$data[46],$data[47]); // cycle through the names foreach($names as $name) { // check to see if there is actually an entry here if($name != '') { if(($org_id = $this->_parseOrg($name)) != null) { $this->update_org_meta($org_id,$data); // updates some information of existing entity based on record return $org_id; } } } return $this->_addOrg($data); } private function _parseOrg($name) { // check to see if it matches any org names // db class function, performs simple "like" match $this->db->where('org_name',$name,'like'); $result = $this->db->get('orgs'); if(mysql_num_rows($result) == 1) { $row = mysql_fetch_object($result); return $row->org_id; } // check to see if matches any org aliases $this->db->where('org_alias_name',$name,'like'); $result = $this->db->get('orgs_aliases'); if(mysql_num_rows($result) == 1) { $row = mysql_fetch_object($result); return $row->org_id; } return null; // no matches, have to add new entity } 

Функция _addOrg вставляет информацию нового объекта в db, где, надеюсь, он будет соответствовать последующим записям.

Вот проблема: я могу получить только эти скрипты для анализа около 10 000 записей в час, что, учитывая размер, означает несколько твердых дней для каждого файла. Способ структурирования моего db требует обновления нескольких разных таблиц для каждой записи, поскольку я собираю несколько внешних наборов данных. Таким образом, каждая запись обновляет две таблицы, и каждый новый объект обновляет три таблицы. Я беспокоюсь, что это добавляет слишком много времени ожидания между сервером MySQL и моим скриптом.

Вот мой вопрос: есть ли способ импортировать текстовый файл во временную таблицу MySQL, а затем использовать внутренние функции MySQL (или PHP / Python wrapper) для ускорения обработки?

• Проблема при вызове скрипта Python из PHP
• Запустить скрипт python через php в браузере
• Не удается выполнить скрипт python из php
• python и php bcrypt
• MailChimp API 3.0 пакетная / массовая подписка

Я запускаю это на своей Mac OS 10.6 с локальным сервером MySQL.

Related of "Импорт и обработка текстового файла в MySQL"

 truncate table staging; start transaction; load data infile 'your_data.dat' into table staging fields terminated by ',' optionally enclosed by '"' lines terminated by '\n' ( org_name ... ) set org_name = nullif(org_name,''); commit; drop procedure if exists process_staging_data; delimiter # create procedure process_staging_data() begin insert ignore into organisations (org_name) select distinct org_name from staging; update... etc.. -- or use a cursor if you have to ?? end# delimiter ; call process_staging_data();