Articles of большие данные

Массив сообщений, усеченный, max_input_vars не работает

Я разрабатываю opencart-решение с каскадным плагином в бэкэнде администратора. Таким образом, при сохранении формы продукты с большим количеством опций создают большие массивы $ _POST. Насколько я вижу, массив (который составляет чуть более 1000 ключей для этого продукта) усекается вокруг отметки 1000 (которая соответствует значению по умолчанию max_input_vars). Я нахожусь на php 5.3.29, который должен позволить […]

INSERT IGNORE или INSERT WHERE NOT IN

У меня таблица из 9 миллионов строк, и я изо всех сил стараюсь обрабатывать все эти данные из-за ее огромного размера. Я хочу добавить IMPORT CSV в таблицу без перезаписи данных. Прежде чем я сделал бы что-то подобное; INSERT if not in (выберите email из tblName, где source = "number" и email! = "Email") INTO […]

PHP и миллион детей

Представьте, что у вас есть следующий массив целых чисел: array(1, 2, 1, 0, 0, 1, 2, 4, 3, 2, […] ); Целые числа идут до одного миллиона записей; только вместо жесткого кодирования они были предварительно сгенерированы и сохранены в форматированном файле JSON (размером приблизительно 2 МБ). Порядок этих целых чисел имеет значение, я не могу […]

Сброс соединения PHP при загрузке большого файла независимо от правильной настройки

У меня очень распространенная проблема, которая кажется, что все доступные решения не работают. У нас есть сервер LAMP, который получает большое количество трафика. Используя этот сервер, мы выполняем обычную отправку файлов. При небольших загрузках файлов он отлично работает. В файлах размером около 4-5 МБ эта загрузка отправки прерывается с перерывами (иногда она работает, но много […]

Чтение больших данных из файла csv в php

Я читаю csv и проверяю с помощью mysql, что записи присутствуют в моей таблице или нет в php. csv имеет около 25000 записей, и когда я запускаю свой код, он отображает ошибку «Service Unavailable» после 2 м 10 с (onload: 2 м 10 с) здесь я добавил код // for set memory limit & execution […]