Транслитерировать любой конвертируемый utf8 char в эквивалент ascii

Есть ли хорошее решение, которое делает эту транслитерацию в хорошей манере?

Я попытался использовать iconv() , но очень раздражает, и он не ведет себя так, как можно было бы ожидать.

  • Использование //TRANSLIT попытается заменить то, что может, оставив все неконвертируемым как «?»
  • Использование //IGNORE не оставит "?" в тексте, но также не транслитерирует и также будет поднимать E_NOTICE при обнаружении неконвертируемого символа, поэтому вам нужно использовать iconv с подавителем @ error
  • Использование //IGNORE//TRANSLIT (как некоторые люди, предлагаемые в форуме PHP) на самом деле аналогично //IGNORE (пробовал сам по php версии 5.3.2 и 5.3.13)
  • Также использование //TRANSLIT//IGNORE аналогично //TRANSLIT

Он также использует текущие настройки языка для транслитерации.

ПРЕДУПРЕЖДЕНИЕ – много текста и кода идет дальше!

Вот некоторые примеры:

 $text = 'Regular ascii text + čćžšđ + äöüß + éĕěėëȩ + æø€ + $ + ¶ + @'; echo '<br />original: ' . $text; echo '<br />regular: ' . iconv("UTF-8", "ASCII//TRANSLIT", $text); //> regular: Regular ascii text + ????? + ???ss + ?????? + ae?EUR + $ + ? + @ setlocale(LC_ALL, 'en_GB'); echo '<br />en_GB: ' . iconv("UTF-8", "ASCII//TRANSLIT", $text); //> en_GB: Regular ascii text + cczs? + aouss + eeeeee + ae?EUR + $ + ? + @ setlocale(LC_ALL, 'en_GB.UTF8'); // will this work? echo '<br />en_GB.UTF8: ' . iconv("UTF-8", "ASCII//TRANSLIT", $text); //> en_GB.UTF8: Regular ascii text + cczs? + aouss + eeeeee + ae?EUR + $ + ? + @ 

Хорошо, это действительно конвертировало č ć????? Æ æ æ æ

 // now specific locales setlocale(LC_ALL, 'hr_Hr'); // this should fix croatian đ, right? echo '<br />hr_Hr: ' . iconv("UTF-8", "ASCII//TRANSLIT", $text); // wrong > hr_Hr: Regular ascii text + cczs? + aouss + eeeeee + ae?EUR + $ + ? + @ setlocale(LC_ALL, 'sv_SE'); // so this will fix swedish ø? echo '<br />sv_SE: ' . iconv("UTF-8", "ASCII//TRANSLIT", $text); // will not > sv_SE: Regular ascii text + cczs? + aouss + eeeeee + ae?EUR + $ + ? + @ //this is interesting setlocale(LC_ALL, 'de_DE'); echo '<br />de_DE: ' . iconv("UTF-8", "ASCII//TRANSLIT", $text); //> de_DE: Regular ascii text + cczs? + aeoeuess + eeeeee + ae?EUR + $ + ? + @ // actually this is what any german would expect since ä ö ü really is same as ae oe ue 

Давайте попробуем с помощью //IGNORE :

 echo '<br />ignore: ' . iconv("UTF-8", "ASCII//IGNORE", $text); //> ignore: Regular ascii text + + + + + $ + + @ //+ E_NOTICE: "Notice: iconv(): Detected an illegal character in input string in /var/www/test.server.web/index.php on line 49" // with translit? echo '<br />ignore/translit: ' . iconv("UTF-8", "ASCII//IGNORE//TRANSLIT", $text); //same as ignore only> ignore/translit: Regular ascii text + + + + + $ + + @ //+ E_NOTICE: "Notice: iconv(): Detected an illegal character in input string in /var/www/test.server.web/index.php on line 54" // translit/ignore? echo '<br />translit/ignore: ' . iconv("UTF-8", "ASCII//TRANSLIT//IGNORE", $text); //same as translit only> translit/ignore: Regular ascii text + cczs? + aouss + eeeeee + ae?EUR + $ + ? + @ 

Использование решения этого парня также не работает так, как хотелось бы: Regular ascii text + YYYYY + aous + eYYYeY + aoY + $ + + @

Даже используя класс PECL intl Normalizer (который не всегда доступен, даже если у вас есть PHP> 5.3.0, поскольку использование ICU-пакетов внутри может быть недоступным для PHP, то есть на определенных серверах хостинга) приводит к неправильному результату:

 echo '<br />normalize: ' .preg_replace('/\p{Mn}/u', '', Normalizer::normalize($text, Normalizer::FORM_KD)); //>normalize: Regular ascii text + cczsđ + aouß + eeeeee + æø€ + $ + ¶ + @ 

Итак, есть ли другой способ сделать это правильно или единственное, что нужно сделать, это сделать preg_replace() или str_replace() и самостоятельно определить таблицы транслитерации?

// Приложение: Я нашел в ZF-вики обсуждения с 2008 года о предложении для Zend_Filter_Transliterate, но проект был отброшен, поскольку на некоторых языках невозможно преобразовать (то есть китайский), но все же для любого латинского и кириллического языка ИМО эта опция должен существовать.

Функция toAscii () Patchwork \ Utf8 делает именно это, см.

https://github.com/nicolas-grekas/Patchwork-UTF8/blob/master/src/Patchwork/Utf8.php

Он использует iconv и нормализатор Intl для удаления акцентов, разделения лигатур и выполнения многих других общих транслитераций.

На этом веб-сайте я нашел кое-что, что могло бы вам помочь:

 function removeAccents($str) { $a = array('À', 'Á', 'Â', 'Ã', 'Ä', 'Å', 'Æ', 'Ç', 'È', 'É', 'Ê', 'Ë', 'Ì', 'Í', 'Î', 'Ï', 'Ð', 'Ñ', 'Ò', 'Ó', 'Ô', 'Õ', 'Ö', 'Ø', 'Ù', 'Ú', 'Û', 'Ü', 'Ý', 'ß', 'à', 'á', 'â', 'ã', 'ä', 'å', 'æ', 'ç', 'è', 'é', 'ê', 'ë', 'ì', 'í', 'î', 'ï', 'ñ', 'ò', 'ó', 'ô', 'õ', 'ö', 'ø', 'ù', 'ú', 'û', 'ü', 'ý', 'ÿ', 'Ā', 'ā', 'Ă', 'ă', 'Ą', 'ą', 'Ć', 'ć', 'Ĉ', 'ĉ', 'Ċ', 'ċ', 'Č', 'č', 'Ď', 'ď', 'Đ', 'đ', 'Ē', 'ē', 'Ĕ', 'ĕ', 'Ė', 'ė', 'Ę', 'ę', 'Ě', 'ě', 'Ĝ', 'ĝ', 'Ğ', 'ğ', 'Ġ', 'ġ', 'Ģ', 'ģ', 'Ĥ', 'ĥ', 'Ħ', 'ħ', 'Ĩ', 'ĩ', 'Ī', 'ī', 'Ĭ', 'ĭ', 'Į', 'į', 'İ', 'ı', 'IJ', 'ij', 'Ĵ', 'ĵ', 'Ķ', 'ķ', 'Ĺ', 'ĺ', 'Ļ', 'ļ', 'Ľ', 'ľ', 'Ŀ', 'ŀ', 'Ł', 'ł', 'Ń', 'ń', 'Ņ', 'ņ', 'Ň', 'ň', 'ʼn', 'Ō', 'ō', 'Ŏ', 'ŏ', 'Ő', 'ő', 'Œ', 'œ', 'Ŕ', 'ŕ', 'Ŗ', 'ŗ', 'Ř', 'ř', 'Ś', 'ś', 'Ŝ', 'ŝ', 'Ş', 'ş', 'Š', 'š', 'Ţ', 'ţ', 'Ť', 'ť', 'Ŧ', 'ŧ', 'Ũ', 'ũ', 'Ū', 'ū', 'Ŭ', 'ŭ', 'Ů', 'ů', 'Ű', 'ű', 'Ų', 'ų', 'Ŵ', 'ŵ', 'Ŷ', 'ŷ', 'Ÿ', 'Ź', 'ź', 'Ż', 'ż', 'Ž', 'ž', 'ſ', 'ƒ', 'Ơ', 'ơ', 'Ư', 'ư', 'Ǎ', 'ǎ', 'Ǐ', 'ǐ', 'Ǒ', 'ǒ', 'Ǔ', 'ǔ', 'Ǖ', 'ǖ', 'Ǘ', 'ǘ', 'Ǚ', 'ǚ', 'Ǜ', 'ǜ', 'Ǻ', 'ǻ', 'Ǽ', 'ǽ', 'Ǿ', 'ǿ'); $b = array('A', 'A', 'A', 'A', 'A', 'A', 'AE', 'C', 'E', 'E', 'E', 'E', 'I', 'I', 'I', 'I', 'D', 'N', 'O', 'O', 'O', 'O', 'O', 'O', 'U', 'U', 'U', 'U', 'Y', 's', 'a', 'a', 'a', 'a', 'a', 'a', 'ae', 'c', 'e', 'e', 'e', 'e', 'i', 'i', 'i', 'i', 'n', 'o', 'o', 'o', 'o', 'o', 'o', 'u', 'u', 'u', 'u', 'y', 'y', 'A', 'a', 'A', 'a', 'A', 'a', 'C', 'c', 'C', 'c', 'C', 'c', 'C', 'c', 'D', 'd', 'D', 'd', 'E', 'e', 'E', 'e', 'E', 'e', 'E', 'e', 'E', 'e', 'G', 'g', 'G', 'g', 'G', 'g', 'G', 'g', 'H', 'h', 'H', 'h', 'I', 'i', 'I', 'i', 'I', 'i', 'I', 'i', 'I', 'i', 'IJ', 'ij', 'J', 'j', 'K', 'k', 'L', 'l', 'L', 'l', 'L', 'l', 'L', 'l', 'l', 'l', 'N', 'n', 'N', 'n', 'N', 'n', 'n', 'O', 'o', 'O', 'o', 'O', 'o', 'OE', 'oe', 'R', 'r', 'R', 'r', 'R', 'r', 'S', 's', 'S', 's', 'S', 's', 'S', 's', 'T', 't', 'T', 't', 'T', 't', 'U', 'u', 'U', 'u', 'U', 'u', 'U', 'u', 'U', 'u', 'U', 'u', 'W', 'w', 'Y', 'y', 'Y', 'Z', 'z', 'Z', 'z', 'Z', 'z', 's', 'f', 'O', 'o', 'U', 'u', 'A', 'a', 'I', 'i', 'O', 'o', 'U', 'u', 'U', 'u', 'U', 'u', 'U', 'u', 'U', 'u', 'A', 'a', 'AE', 'ae', 'O', 'o'); return str_replace($a, $b, $str); } 

Пример использования:

 $text = 'Regular ascii text + čćžšđ + äöüß + éĕěėëȩ + æø€ + $ + ¶ + @'; echo removeAccents($text); 

Дисплеи:

 Regular ascii text + cczsd + aous + eeeeeȩ + aeo€ + $ + ¶ + @ 

Вам нужно будет его улучшить, но вы получите идею … Если есть прямой способ сделать такую ​​работу, я не знаю ее.

Поскольку ни одно из вышеперечисленных решений не работало для меня (мне нужно было транслитерировать множество европейских наборов символов в ASCII), я, наконец, нашел этот старый пакет PECL, который, похоже, работал http://derickrethans.nl/projects.html#translit . У меня были проблемы, особенно с кириллическими наборами символов, и это, кажется, прекрасно справляется с ними.

Если я правильно вас понял, у меня может быть ответ для вас: я написал базовый класс PHP, который позволяет конвертировать большинство символов в их эквиваленты ASCII.

Ниже приведен снимок экрана его вывода, преобразующего различные имена композиторов с акцентами в их имени.

Вы можете разветвить его из github здесь https://github.com/LukeMadhanga/transliterator .

NB: он пока еще не документирован, но с ним легко справиться.

пример

Я думаю, что правильная локаль – это путь. Имейте в виду, что конкретная локаль также должна быть доступна в системе, проверьте ее, используя locale -a . Если у вас есть только de_DE.utf8 – вам также нужно использовать set_locale ( de_DE.utf8 )