Как декодировать escape-последовательности Unicode, такие как «\ u00ed», для правильных кодированных символов UTF-8?

Попробуй это:

 $str = preg_replace_callback('/\\\\u([0-9a-fA-F]{4})/', function ($match) { return mb_convert_encoding(pack('H*', $match[1]), 'UTF-8', 'UCS-2BE'); }, $str); 

В случае, если UTF-16 основан на C / C ++ / Java / Json-стиле:

 $str = preg_replace_callback('/\\\\u([0-9a-fA-F]{4})/', function ($match) { return mb_convert_encoding(pack('H*', $match[1]), 'UTF-8', 'UTF-16BE'); }, $str); 

 print_r(json_decode('{"t":"\u00ed"}')); // -> stdClass Object ( [t] => í ) 

 $str = '\u0063\u0061\u0074'.'\ud83d\ude38'; $str2 = '\u0063\u0061\u0074'.'\ud83d'; // U+1F638 var_dump( "cat\xF0\x9F\x98\xB8" === escape_sequence_decode($str), "cat\xEF\xBF\xBD" === escape_sequence_decode($str2) ); function escape_sequence_decode($str) { // [U+D800 - U+DBFF][U+DC00 - U+DFFF]|[U+0000 - U+FFFF] $regex = '/\\\u([dD][89abAB][\da-fA-F]{2})\\\u([dD][c-fC-F][\da-fA-F]{2}) |\\\u([\da-fA-F]{4})/sx'; return preg_replace_callback($regex, function($matches) { if (isset($matches[3])) { $cp = hexdec($matches[3]); } else { $lead = hexdec($matches[1]); $trail = hexdec($matches[2]); // http://unicode.org/faq/utf_bom.html#utf16-4 $cp = ($lead << 10) + $trail + 0x10000 - (0xD800 << 10) - 0xDC00; } // https://tools.ietf.org/html/rfc3629#section-3 // Characters between U+D800 and U+DFFF are not allowed in UTF-8 if ($cp > 0xD7FF && 0xE000 > $cp) { $cp = 0xFFFD; } // https://github.com/php/php-src/blob/php-5.6.4/ext/standard/html.c#L471 // php_utf32_utf8(unsigned char *buf, unsigned k) if ($cp < 0x80) { return chr($cp); } else if ($cp < 0xA0) { return chr(0xC0 | $cp >> 6).chr(0x80 | $cp & 0x3F); } return html_entity_decode('&#'.$cp.';'); }, $str); } 

Это метод кувалды для замены raw UNICODE на HTML. Я не видел другого места для решения этой проблемы, но я полагаю, что у других была эта проблема.

Примените эту функцию str_replace к RAW JSON , прежде чем делать что-либо еще.

 function unicode2html($str){ $i=65535; while($i>0){ $hex=dechex($i); $str=str_replace("\u$hex","&#$i;",$str); $i--; } return $str; } в function unicode2html($str){ $i=65535; while($i>0){ $hex=dechex($i); $str=str_replace("\u$hex","&#$i;",$str); $i--; } return $str; } 

Это займет не так много времени, как вы думаете, и это заменит любой Юникод HTML.

Конечно, это может быть уменьшено, если вы знаете типы Unicode, возвращаемые в JSON.

Например, в моем коде было много стрелок и юникод dingbat. Они находятся между 8448 и 11263. Таким образом, мой производственный код выглядит так:

 $i=11263; while($i>08448){ ...etc... в $i=11263; while($i>08448){ ...etc... 

Вы можете посмотреть блоки Юникода по типу: http://unicode-table.com/en/ Если вы знаете, что переводите арабский или Telegu или что-то еще, вы можете просто заменить эти коды, а не все 65 000.

Вы можете применить этот же кувалду к простой кодировке:

  $str=str_replace("\u$hex",chr($i),$str); 

PHP 7+

Начиная с PHP 7, вы можете использовать синтаксис escape-кода для Unicode для этого.

echo "\u{00ed}"; выходы í .

Существует также решение:
http://www.welefen.com/php-unicode-to-utf8.html

 function entity2utf8onechar($unicode_c){ $unicode_c_val = intval($unicode_c); $f=0x80; // 10000000 $str = ""; // U-00000000 - U-0000007F: 0xxxxxxx if($unicode_c_val <= 0x7F){ $str = chr($unicode_c_val); } //U-00000080 - U-000007FF: 110xxxxx 10xxxxxx else if($unicode_c_val >= 0x80 && $unicode_c_val <= 0x7FF){ $h=0xC0; // 11000000 $c1 = $unicode_c_val >> 6 | $h; $c2 = ($unicode_c_val & 0x3F) | $f; $str = chr($c1).chr($c2); } else if($unicode_c_val >= 0x800 && $unicode_c_val <= 0xFFFF){ $h=0xE0; // 11100000 $c1 = $unicode_c_val >> 12 | $h; $c2 = (($unicode_c_val & 0xFC0) >> 6) | $f; $c3 = ($unicode_c_val & 0x3F) | $f; $str=chr($c1).chr($c2).chr($c3); } //U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx else if($unicode_c_val >= 0x10000 && $unicode_c_val <= 0x1FFFFF){ $h=0xF0; // 11110000 $c1 = $unicode_c_val >> 18 | $h; $c2 = (($unicode_c_val & 0x3F000) >>12) | $f; $c3 = (($unicode_c_val & 0xFC0) >>6) | $f; $c4 = ($unicode_c_val & 0x3F) | $f; $str = chr($c1).chr($c2).chr($c3).chr($c4); } //U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx else if($unicode_c_val >= 0x200000 && $unicode_c_val <= 0x3FFFFFF){ $h=0xF8; // 11111000 $c1 = $unicode_c_val >> 24 | $h; $c2 = (($unicode_c_val & 0xFC0000)>>18) | $f; $c3 = (($unicode_c_val & 0x3F000) >>12) | $f; $c4 = (($unicode_c_val & 0xFC0) >>6) | $f; $c5 = ($unicode_c_val & 0x3F) | $f; $str = chr($c1).chr($c2).chr($c3).chr($c4).chr($c5); } //U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx else if($unicode_c_val >= 0x4000000 && $unicode_c_val <= 0x7FFFFFFF){ $h=0xFC; // 11111100 $c1 = $unicode_c_val >> 30 | $h; $c2 = (($unicode_c_val & 0x3F000000)>>24) | $f; $c3 = (($unicode_c_val & 0xFC0000)>>18) | $f; $c4 = (($unicode_c_val & 0x3F000) >>12) | $f; $c5 = (($unicode_c_val & 0xFC0) >>6) | $f; $c6 = ($unicode_c_val & 0x3F) | $f; $str = chr($c1).chr($c2).chr($c3).chr($c4).chr($c5).chr($c6); } return $str; } function entities2utf8($unicode_c){ $unicode_c = preg_replace("/\&\#([\da-f]{5})\;/es", "entity2utf8onechar('\\1')", $unicode_c); return $unicode_c; } 

исправить значения json, это добавить \ before u {xxx} ко всем + ""

  $item = preg_replace_callback('/"(.+?)":"(u.+?)",/', function ($matches) { $matches[2] = preg_replace('/(u)/', '\u', $matches[2]); $matches[2] = preg_replace('/(")/', '"', $matches[2]); $matches[2] = json_decode('"' . $matches[2] . '"'); return '"' . $matches[1] . '":"' . $matches[2] . '",'; }, $item);