Как разбирать чрезвычайно большой XML-файл в java или php и вставлять в DB mysql

Я столкнулся с подобной проблемой. Вот часть скрипта, импортированного около 28 МБ файла, не считывая целые данные в память. Это должно сработать возможно :). Он читает его узлами XML, в памяти остается лишь небольшая часть XML. Скрипт будет нуждаться в небольших модификациях в соответствии с вашими потребностями.

 $reader = new XMLReader(); $reader->open(<path_to_large_xml_file>); while ($reader->read()) { switch ($reader->nodeType) { case (XMLREADER::ELEMENT): if ($reader->localName == "Table") { $node = $reader->expand(); $dom = new DomDocument(); $n = $dom->importNode($node,true); $dom->appendChild($n); $sxe = simplexml_import_dom($n); $Data = array(); $DataColumns = array(); foreach ($columns as $key => $column) { if (in_array($key,$DateColumns)) { $DateArray = explode('/',substr(trim($sxe->$column),0,10)); $ValueColumn = date('Ymd H:i:s',mktime(0,0,0,$DateArray[1],$DateArray[0],$DateArray[2])); $Data[] = '\''.$ValueColumn.'\''; $DataColumns[] = $key; if ($SplitDateInsert == 'enabled') { $Data[] = '\''.$DateArray[2].'\''; $Data[] = '\''.$DateArray[1].'\''; $Data[] = '\''.$DateArray[0].'\''; $DataColumns[] = $key.'_year'; $DataColumns[] = $key.'_month'; $DataColumns[] = $key.'_day'; } } else { $ValueColumn = addslashes(trim($sxe->$column)); $Data[] = '\''.$ValueColumn.'\''; $DataColumns[] = $key; } } $SQL = "INSERT INTO {$tableName} (".implode(',',$DataColumns).") VALUES (".implode(',',$Data).")"; $db->query($SQL); } // END IF table } } 

Вам, очевидно, нужен потоковый API, а не DOM, который должен содержать весь документ в памяти. Java поддерживает SAX и Stax . Я никогда не использовал Stax, но слышал, что его проще использовать, чем SAX, хотя он все же эффективен.

Не забудьте также разделить работу на многие транзакции: база данных не сможет поддерживать столько операторов вставки в одной транзакции.

Если я буду разбирать его с помощью PHP, я бы сделал это в два этапа:

1. Разделите файл каждые несколько раз <release> и сделайте этот мини-файл допустимым XML.
2. Разбирайте каждый результирующий файл отдельно

Если скорость не является существенной, то PHP действительно будет лучше, так как легко анализировать тексты / XML в PHP.

Предполагая, что MySQL имеет аналогичные возможности, такие как Oracle, в этом отношении, почему бы не позволить БД обрабатывать разбор? В oracle вы можете просто зарегистрировать XMLSchema, создать структурированную таблицу XMLType (возможно, более полезную, чем clob), а затем вставить файл.

Никогда не использовал его для чего-то такого большого, но я не понимаю, почему он не должен работать, и это делается в нескольких строках кода. Чтобы узнать, как работают детали, вам нужен только кто-то, у кого есть опыт работы с MySQL.

Я бы предпочел использовать Stax на Java. Или, даже проще, StaxMate, который добавляет немного больше удобства для доступа.

Но что именно вам нужно делать с XML? Чтобы просто потопить его в БД, есть способы обрабатывать BLOB как потоки (хотя mySQL JDBC-драйверы известны своими причудами), так что это должно быть выполнимо.

4.7 ГБ не безумный, просто мягкий. Если у вас 64-разрядная Java, расширенный VTD-XML должен быть наиболее эффективным и простым в использовании вариантом.

Вы не сказали, какую обработку вы хотите делать с XML. Вы можете рассмотреть использование XSLT в потоковом режиме Saxon (для этого нужен продукт Saxon-EE, который стоит денег) – если обработка по существу является «потоковым» потоковым выполнением обработки каждого элемента «выпуска» по очереди, t быть слишком сложным. Конечно, вы также можете использовать низкоуровневый синтаксический анализ SAX или StaX, но это почти наверняка потребует разработки и отладки большего количества кода.