PHP: Как удалить все непечатаемые символы в строке?

7 бит ASCII?

Если ваш Тардис просто приземлился в 1963 году, и вам просто нужны 7-битные печатные символы ASCII, вы можете вырвать все из 0-31 и 127-255 с помощью этого:

$string = preg_replace('/[\x00-\x1F\x7F-\xFF]/', '', $string); 

Он соответствует любому в диапазоне 0-31, 127-255 и удаляет его.

8-разрядный расширенный ASCII?

Вы попали в машину с горячей водой, и вы вернулись в восьмидесятые годы. Если у вас есть форма 8-битного ASCII, вы можете сохранить символы в диапазоне 128-255. Легкая настройка – просто найдите 0-31 и 127

 $string = preg_replace('/[\x00-\x1F\x7F]/', '', $string); 

UTF-8?

Ах, добро пожаловать в 21-й век. Если у вас есть кодированная строка UTF-8, то модификатор /u может использоваться в регулярном выражении

 $string = preg_replace('/[\x00-\x1F\x7F]/u', '', $string); 

Это просто удаляет 0-31 и 127. Это работает в ASCII и UTF-8, потому что оба имеют один и тот же диапазон набора настроек (как указано ниже в mgutt). Строго говоря, это будет работать без модификатора /u . Но это облегчает жизнь, если вы хотите удалить другие символы …

Если вы имеете дело с Unicode, есть потенциально много непечатаемых элементов , но давайте рассмотрим простой: NO-BREAK SPACE (U + 00A0)

В строке UTF-8 это будет закодировано как 0xC2A0 . Вы можете искать и удалять эту определенную последовательность, но с модификатором /u на месте вы можете просто добавить \xA0 в класс символов:

 $string = preg_replace('/[\x00-\x1F\x7F\xA0]/u', '', $string); 

Добавление: Как насчет str_replace?

preg_replace довольно эффективен, но если вы много делаете эту операцию, вы можете создать массив символов, которые хотите удалить, и использовать str_replace, как указано ниже в mgutt, например

 //build an array we can re-use across several operations $badchar=array( // control characters chr(0), chr(1), chr(2), chr(3), chr(4), chr(5), chr(6), chr(7), chr(8), chr(9), chr(10), chr(11), chr(12), chr(13), chr(14), chr(15), chr(16), chr(17), chr(18), chr(19), chr(20), chr(21), chr(22), chr(23), chr(24), chr(25), chr(26), chr(27), chr(28), chr(29), chr(30), chr(31), // non-printing characters chr(127) ); //replace the unwanted chars $str2 = str_replace($badchar, '', $str); 

Интуитивно это похоже на то, что это будет быстро, но это не всегда так, вы должны определенно проверить, не спасет ли он вас. Я сделал несколько тестов по длинным строкам со случайными данными, и эта картина возникла с использованием php 7.0.12

  2 chars str_replace 5.3439ms preg_replace 2.9919ms preg_replace is 44.01% faster 4 chars str_replace 6.0701ms preg_replace 1.4119ms preg_replace is 76.74% faster 8 chars str_replace 5.8119ms preg_replace 2.0721ms preg_replace is 64.35% faster 16 chars str_replace 6.0401ms preg_replace 2.1980ms preg_replace is 63.61% faster 32 chars str_replace 6.0320ms preg_replace 2.6770ms preg_replace is 55.62% faster 64 chars str_replace 7.4198ms preg_replace 4.4160ms preg_replace is 40.48% faster 128 chars str_replace 12.7239ms preg_replace 7.5412ms preg_replace is 40.73% faster 256 chars str_replace 19.8820ms preg_replace 17.1330ms preg_replace is 13.83% faster 512 chars str_replace 34.3399ms preg_replace 34.0221ms preg_replace is 0.93% faster 1024 chars str_replace 57.1141ms preg_replace 67.0300ms str_replace is 14.79% faster 2048 chars str_replace 94.7111ms preg_replace 123.3189ms str_replace is 23.20% faster 4096 chars str_replace 227.7029ms preg_replace 258.3771ms str_replace is 11.87% faster 8192 chars str_replace 506.3410ms preg_replace 555.6269ms str_replace is 8.87% faster 16384 chars str_replace 1116.8811ms preg_replace 1098.0589ms preg_replace is 1.69% faster 32768 chars str_replace 2299.3128ms preg_replace 2222.8632ms preg_replace is 3.32% faster 

Сами тайминги рассчитаны на 10000 итераций, но более интересными являются относительные различия. До 512 символов, я всегда видел preg_replace. В диапазоне 1-8kb у str_replace был крайний край.

Я думал, что это интересный результат, так что включите его здесь. Важно не принимать этот результат и использовать его для определения того, какой метод использовать, а для сравнения с вашими собственными данными, а затем решить.

Многие другие ответы здесь не учитывают символы Юникода (например, öäüßйȝîûηы ე மி ᚉ ⠛). В этом случае вы можете использовать следующее:

 $string = preg_replace('/[\x00-\x08\x0B\x0C\x0E-\x1F\x7F-\x9F]/u', '', $string); 

Есть странный класс символов в диапазоне \x80-\x9F (чуть выше 7-битного диапазона символов ASCII), которые являются технически управляющими символами, но со временем были неправильно использованы для печатных символов. Если у вас нет проблем с этим, вы можете использовать:

 $string = preg_replace('/[\x00-\x08\x0B\x0C\x0E-\x1F\x7F]/u', '', $string); 

Если вы хотите также разбить линии, возврат каретки, вкладки, неразрывные пробелы и мягкие дефисы, вы можете использовать:

 $string = preg_replace('/[\x00-\x1F\x7F-\xA0\xAD]/u', '', $string); 

Обратите внимание, что для приведенных выше примеров вы должны использовать одинарные кавычки.

Если вы хотите удалить все, кроме основных печатных символов ASCII (все символы вышеприведенных символов будут удалены), вы можете использовать:

 $string = preg_replace( '/[^[:print:]]/', '',$string); 

Для справки см. http://www.fileformat.info/info/charset/UTF-8/list.htm

вы можете использовать классы символов

 /[[:cntrl:]]+/ 

Начиная с PHP 5.2, у нас также есть доступ к filter_var, в котором я не видел упоминания о том, что я бы выбрал его там. Чтобы использовать filter_var для удаления символов, не подлежащих печати <32 и> 127, вы можете:

Фильтровать символы ASCII ниже 32

 $string = filter_var($input, FILTER_UNSAFE_RAW, FILTER_FLAG_STRIP_LOW); 

Фильтровать символы ASCII выше 127

 $string = filter_var($input, FILTER_UNSAFE_RAW, FILTER_FLAG_STRIP_HIGH); 

Разделите оба:

 $string = filter_var($input, FILTER_UNSAFE_RAW, FILTER_FLAG_STRIP_LOW|FILTER_FLAG_STRIP_HIGH); 

Вы также можете html-кодировать нижние символы (новая строка, вкладка и т. Д.) При высокой степени сжатия:

 $string = filter_var($input, FILTER_UNSAFE_RAW, FILTER_FLAG_ENCODE_LOW|FILTER_FLAG_STRIP_HIGH); 

Существуют также варианты удаления HTML, дезинфекции сообщений электронной почты и URL-адресов и т. Д. Таким образом, множество параметров для дезинфекции (вычеркивание данных) и даже проверка (возврат false, если не действительный, а не молчащий отрыв).

Санитария: http://php.net/manual/en/filter.filters.sanitize.php

Проверка: http://php.net/manual/en/filter.filters.validate.php

Тем не менее, по-прежнему существует проблема, что FILTER_FLAG_STRIP_LOW будет лишать строки новой строки и возврата каретки, которые для текстового поля являются полностью допустимыми символами … поэтому некоторые из ответов Regex, по-моему, по-прежнему необходимы порой, например, после просмотра этого thread, я планирую сделать это для textareas:

 $string = preg_replace( '/[^[:print:]\r\n]/', '',$input); 

Это кажется более читаемым, чем ряд регулярных выражений, разделенных цифровым диапазоном.

это проще:

$ string = preg_replace ('/ [^ [: cntrl:]] /', '', $ string);

Все решения работают частично, и даже ниже, вероятно, не распространяется на все случаи. Моя проблема заключалась в попытке вставить строку в таблицу utf8 mysql. Строка (и ее байты) соответствовала utf8, но имела несколько плохих последовательностей. Я предполагаю, что большинство из них были контролем или форматированием.

 function clean_string($string) { $s = trim($string); $s = iconv("UTF-8", "UTF-8//IGNORE", $s); // drop all non utf-8 characters // this is some bad utf-8 byte sequence that makes mysql complain - control and formatting i think $s = preg_replace('/(?>[\x00-\x1F]|\xC2[\x80-\x9F]|\xE2[\x80-\x8F]{2}|\xE2\x80[\xA4-\xA8]|\xE2\x81[\x9F-\xAF])/', ' ', $s); $s = preg_replace('/\s+/', ' ', $s); // reduce all multiple whitespace to a single space return $s; } 

Для дальнейшего усугубления проблемы стоит таблица против сервера и соединения или рендеринга контента, о чем здесь немного сказано

Моя совместимая с UTF-8 версия:

preg_replace('/[^\p{L}\s]/u','',$value);

Вы можете использовать обычный экспресс, чтобы удалить все, кроме тех символов, которые вы хотите сохранить:

 $string=preg_replace('/[^A-Za-z0-9 _\-\+\&]/','',$string); 

Заменяет все, что не (^) буквы AZ или az, числа 0-9, пробел, подчеркивание, hypen, plus и амперсанд – ни с чем (т.е. удаляют его).

 preg_replace('/(?!\n)[\p{Cc}]/', '', $response); 

Это приведет к удалению всех управляющих символов ( http://uk.php.net/manual/en/regexp.reference.unicode.php ), оставляя символы \n символов новой строки. По моему опыту, управляющие символы – это те, которые чаще всего вызывают проблемы с печатью.

Ответ @PaulDixon совершенно неверен , поскольку он удаляет печатные расширенные символы ASCII 128-255! был частично исправлен. Я не знаю, почему он все еще хочет удалить 128-255 из 7-битного набора ASCII из 127 символов, поскольку он не имеет расширенных символов ASCII.

Но, наконец, было важно не удалять 128-255, потому что, например, chr(128) ( \x80 ) является знаком евро в 8-битном ASCII, а многие шрифты UTF-8 в Windows отображают знак евро и Android в отношении моего собственного теста.

И он убьет много символов UTF-8, если вы удалите символы ASCII 128-255 из строки UTF-8 (вероятно, стартовые байты многобайтового символа UTF-8). Так что не делай этого! Они являются полностью законными символами во всех используемых файловых системах. Единственный зарезервированный диапазон – 0-31 .

Вместо этого используйте это, чтобы удалить непечатаемые символы 0-31 и 127:

 $string = preg_replace('/[\x00-\x1F\x7F]/', '', $string); 

Он работает в ASCII и UTF-8, потому что оба имеют один и тот же диапазон набора .

Самая быстрая медленная альтернатива¹ без использования регулярных выражений:

 $string = str_replace(array( // control characters chr(0), chr(1), chr(2), chr(3), chr(4), chr(5), chr(6), chr(7), chr(8), chr(9), chr(10), chr(11), chr(12), chr(13), chr(14), chr(15), chr(16), chr(17), chr(18), chr(19), chr(20), chr(21), chr(22), chr(23), chr(24), chr(25), chr(26), chr(27), chr(28), chr(29), chr(30), chr(31), // non-printing characters chr(127) ), '', $string); 

Если вы хотите сохранить все пробельные символы \t , \n и \r , удалите chr(9) , chr(10) и chr(13) из этого списка. Примечание. Обычным пробелом является chr(32) поэтому он остается в результате. Решите, если вы хотите удалить неиспользуемое пространство chr(160) как это может вызвать проблемы.

¹ Протестировано @PaulDixon и проверено мной.

как насчет:

 return preg_replace("/[^a-zA-Z0-9`_.,;@#%~'\"\+\*\?\[\^\]\$\(\)\{\}\=\!\<\>\|\:\-\s\\\\]+/", "", $data); 

дает мне полный контроль над тем, что я хочу включить

Отмеченный anwser совершенен, но он пропускает характер 127 (DEL), который также является неприменимым персонажем

мой ответ был бы

 $string = preg_replace('/[\x00-\x1F\x7f-\xFF]/', '', $string); 

«cedivad» решил проблему для меня с настойчивым результатом шведских символов ÄÄÖ.

 $text = preg_replace( '/[^\p{L}\s]/u', '', $text ); 

Благодаря!

Это сработало для меня. Я должен был преобразовать строку любого типа, которая была случайным заголовком в пул для SEO.

 function string2Slug($str){ $str = trim($str); $str = str_replace(" ","_",$str); $temp = explode("\\u",$str); $str = ''; foreach ($temp as $bit) { $str .= substr($bit,4); } $str = str_replace("'","",$str); $str = str_replace("\"","",$str); $str = str_replace("\\","",$str); $str = str_replace("\/","",$str); $str = str_replace("/","",$str); $str = str_replace("?","",$str); $str = str_replace("#","",$str); $str = str_replace("&","",$str); $str = str_replace("%","",$str); $str = str_replace("!","",$str); return $str; }