INSERT IGNORE или INSERT WHERE NOT IN

У меня таблица из 9 миллионов строк, и я изо всех сил стараюсь обрабатывать все эти данные из-за ее огромного размера.

Я хочу добавить IMPORT CSV в таблицу без перезаписи данных.

• Оптимизация массивных MySQL INSERT
• Доктрина 2: странное поведение при вставке пакетной обработки объектов, которые ссылаются на другие объекты
• bulk insert mysql - могу ли я использовать предложение ignore? есть ли ограничение на нет. записей для массовой вставки?
• вставить несколько строк через php-массив в mysql
• Как обращаться с коллекцией форм Symfony с более 500 позициями

Прежде чем я сделал бы что-то подобное; INSERT if not in (выберите email из tblName, где source = "number" и email! = "Email") INTO (email …) VALUES ("email" …)

Но я беспокоюсь, что я снова разрушу сервер. Я хочу иметь возможность вставлять 10000 строк в таблицу, но только если ее нет в таблице с источником = «число».

В противном случае я бы использовал уникальный столбец электронной почты.

Короче говоря, я хочу ВСТАВИТЬ как можно быстрее, не вводя дубликаты в таблицу, проверяя две вещи. Если электронная почта! = «Email» И источник! = «Число», то вставляйте в таблицу, иначе ничего не делайте. И я также не хочу сообщать об ошибках.

Я сожалею о своей плохой формулировке, и вопрос звучит немного глупо.

Мне просто нелегко было проверить, не загружены ли данные, загрузив резервные копии и загрузку, если это пойдет не так. Я ненавижу большие наборы данных 🙂

Благодарю всех вас за ваше время -BigThings

 INSERT INTO table_name(email, source, ...) VALUES ('email', 'source', ...) ON DUPLICATE KEY UPDATE email = email;