Кодирование IDN Punycode в php

Опубликовано 30 Октябрь 2013 - 11:27 пользователем biv

Кодирование IDN Punycode в php

С введением IDN вебмастера стали ускоренно знакомиться с таким понятием как punycode. Конечно же, их интересовало не столько понятие, сколько способы конвертации доменных имен в этот код и обратно.

А так как стандартом "де-факто" веб-разработки мелких и средних проектов стал интерпретируемый язык программирования php, то поиски решения задачи искали и ищут в первую очередь для него.

До данного момента сия проблема решалась двумя способами:

  • Использование класса от phlylabs.
  • Использование функций php - idn_to_ascii и idn_to_utf8.

Все бы хорошо - конвертация стала поддерживаться языком, НО как оказалось, это возможно только с версии 5.3 и то с оговорками:

  1. Для версии 5.3. нужно установить расширение PECL idn
  2. но для php>=5.4 idn не соберется. Этой версии нужно расширение intl.
  3. Для PECL расширений idn или intl нужна библиотека libidn
  4. Не всякий хостинг предоставляет нужные расширения php.
  5. php до 5.3 не поддерживает IDN

Использование же класса - это проигрыш в скорости примерно в 20 раз.

Я написал более скоростные функции:

  • EncodePunycodeIDN() - Кодирование utf-8 строки в punycode. Для её работы требуется функция ordUTF8 (функция быстрее аналогичной из класса в 2 раза)
  • DecodePunycodeIDN() - Декодирование punycode в строку utf-8. (функция быстрее аналогичной из класса в 1,5 раза)

Вот и сами функции:

  1. /**
  2.  * Finds the character code for a UTF-8 character: like ord() but for UTF-8.
  3.  *
  4.  * @author Nicolas Thouvenin <nthouvenin@gmail.com>
  5.  * @copyright 2008 Nicolas Thouvenin
  6.  * @license http://opensource.org/licenses/LGPL-2.1 LGPL v2.1
  7.  */
  8. function ordUTF8($c, $index = 0, &$bytes = null)
  9.   {
  10.     $len = strlen($c);
  11.     $bytes = 0;
  12.     if ($index >= $len)
  13.     return false;
  14.     $h = ord($c{$index});
  15.     if ($h <= 0x7F) {
  16.     $bytes = 1;
  17.     return $h;
  18.     }
  19.     else if ($h < 0xC2)
  20.     return false;
  21.     else if ($h <= 0xDF && $index < $len - 1) {
  22.     $bytes = 2;
  23.     return ($h & 0x1F) << 6 | (ord($c{$index + 1}) & 0x3F);
  24.     }
  25.     else if ($h <= 0xEF && $index < $len - 2) {
  26.     $bytes = 3;
  27.     return ($h & 0x0F) << 12 | (ord($c{$index + 1}) & 0x3F) << 6
  28.     | (ord($c{$index + 2}) & 0x3F);
  29.     }
  30.     else if ($h <= 0xF4 && $index < $len - 3) {
  31.     $bytes = 4;
  32.     return ($h & 0x0F) << 18 | (ord($c{$index + 1}) & 0x3F) << 12
  33.     | (ord($c{$index + 2}) & 0x3F) << 6
  34.     | (ord($c{$index + 3}) & 0x3F);
  35.     }
  36.     else
  37.     return false;
  38.   }
  39.  
  40. /**
  41.  * Encode UTF-8 domain name to IDN Punycode
  42.  *
  43.  * @param string $value Domain name
  44.  * @return string Encoded Domain name
  45.  *
  46.  * @author Igor V Belousov <igor@belousovv.ru>
  47.  * @copyright 2013 Igor V Belousov
  48.  * @license http://opensource.org/licenses/LGPL-2.1 LGPL v2.1
  49.  * @link http://belousovv.ru/myscript/phpIDN
  50.  */
  51. function EncodePunycodeIDN($value)
  52.   {
  53.     /* search subdomains */
  54.     $sub_domain = explode('.', $value);
  55.     if (count($sub_domain)>1){
  56.       $sub_result='';
  57.       foreach ($sub_domain as $sub_value) {
  58.         $sub_result .= '.'.EncodePunycodeIDN($sub_value);
  59.       }
  60.       return substr($sub_result,1);
  61.     }
  62.  
  63.     $mb_internal_enc=mb_internal_encoding();
  64.     mb_internal_encoding("UTF-8");
  65.  
  66.     $value=mb_strtolower($value);
  67.  
  68.     /* http://tools.ietf.org/html/rfc3492#section-6.3 */
  69.     $n  = 0x80;
  70.     $delta = 0;
  71.     $bias  = 72;
  72.     $output = array();
  73.  
  74.     $input=array();
  75.     $str=$value;
  76.     while (mb_strlen($str)>0)
  77.       {
  78.         array_push($input, mb_substr($str,0,1));
  79.         $str = mb_substr($str,1);
  80.       }
  81.  
  82.     /* basic symbols */
  83.     $basic = preg_grep( '/[\x00-\x7f]/', $input);
  84.     $b = $basic;
  85.  
  86.     if ($b==$input)
  87.       {
  88.         mb_internal_encoding($mb_internal_enc); return $value;
  89.       }
  90.     $b=count($b);
  91.     if ($b>0) {
  92.       $output= $basic;
  93.       /* add delimeter */
  94.       $output[]= '-';
  95.     }
  96.     unset($basic);
  97.     /* add prefix */
  98.     array_unshift($output, 'xn--');
  99.  
  100.     $input_len = count($input);
  101.     $h=$b;
  102.  
  103.     while ($h < $input_len) {
  104.       $m=0x10FFFF;
  105.       for ($i = 0; $i < $input_len; ++$i)
  106.         {
  107.           $ord_input[$i]=ordUtf8($input[$i]);
  108.           if (($ord_input[$i] >= $n) && ($ord_input[$i] < $m))
  109.             {
  110.               $m = $ord_input[$i];
  111.             }
  112.         }
  113.       if (($m - $n) > (0x10FFFF / ($h + 1)))
  114.         {
  115.           mb_internal_encoding($mb_internal_enc); return $value;
  116.         }
  117.       $delta += ($m - $n) * ($h + 1);
  118.       $n = $m;
  119.  
  120.       for ($i = 0; $i < $input_len; ++$i)
  121.         {
  122.           $c = $ord_input[$i];
  123.           if ($c<$n)
  124.             {
  125.               ++$delta;
  126.               if ($delta==0)
  127.                 {
  128.                   mb_internal_encoding($mb_internal_enc); return $value;
  129.                 }
  130.             }
  131.           if ($c==$n)
  132.             {
  133.               $q = $delta;
  134.               for ($k = 36;; $k += 36)
  135.                 {
  136.                   if ($k <= $bias)
  137.                     {
  138.                       $t = 1;
  139.                     }
  140.                   elseif ($k >= ($bias + 26))
  141.                     {
  142.                       $t = 26;
  143.                     }
  144.                   else
  145.                     {
  146.                       $t = $k - $bias;
  147.                     }
  148.                   if ($q < $t)
  149.                     {
  150.                      break;
  151.                     }
  152.                     $tmp_int=($t + (($q - $t) % (36 - $t)));
  153.                   $output[]= chr(($tmp_int + 22 + 75 * ($tmp_int < 26)));
  154.                   $q = ($q - $t) / (36 - $t);
  155.                 }
  156.  
  157.               $output[]= chr(($q + 22 + 75 * ($q < 26)));
  158.               /* http://tools.ietf.org/html/rfc3492#section-6.1 */
  159.               $delta = ($h == $b)?$delta/700:$delta>>1;
  160.  
  161.               $delta += ($delta / ($h + 1));
  162.  
  163.               $k2 = 0;
  164.               while ($delta > 455)
  165.                 {
  166.                   $delta /= 35;
  167.                   $k2 += 36;
  168.                 }
  169.               $bias= intval($k2 + ((36  * $delta) / ($delta + 38)));
  170.               /* end section-6.1 */              
  171.               $delta = 0;
  172.               ++$h;
  173.             }
  174.         }
  175.       ++$delta;
  176.       ++$n;
  177.     }
  178.     mb_internal_encoding($mb_internal_enc);
  179.     return implode('', $output);
  180.   }
  181.  
  182. /**
  183.  * Decode IDN Punycode to UTF-8 domain name
  184.  *
  185.  * @param string $value Punycode
  186.  * @return string Domain name in UTF-8 charset
  187.  *
  188.  * @author Igor V Belousov <igor@belousovv.ru>
  189.  * @copyright 2013 Igor V Belousov
  190.  * @license http://opensource.org/licenses/LGPL-2.1 LGPL v2.1
  191.  * @link http://belousovv.ru/myscript/phpIDN
  192.  */
  193. function DecodePunycodeIDN($value)
  194.   {
  195.     /* search subdomains */
  196.     $sub_domain = explode('.', $value);
  197.     if (count($sub_domain)>1){
  198.       $sub_result='';
  199.       foreach ($sub_domain as $sub_value) {
  200.         $sub_result .= '.'.DecodePunycodeIDN($sub_value);
  201.       }
  202.       return substr($sub_result,1);
  203.     }
  204.  
  205.     /* search prefix */
  206.     if (substr($value,0,4)!='xn--')
  207.       {
  208.         return $value;
  209.       }
  210.     else
  211.       {
  212.         $bad_input=$value;
  213.         $value=substr($value,4);
  214.       }
  215.  
  216.     $n  = 0x80;
  217.     $i = 0;
  218.     $bias  = 72;
  219.     $output = array();
  220.  
  221.     /* search delimeter */
  222.     $d = strrpos($value, '-');
  223.  
  224.     if ($d > 0) {
  225.       for ( $j = 0; $j < $d; ++$j) {
  226.         $c = $value[$j];
  227.         $output[]=$c;
  228.         if ($c > 0x7F)
  229.           {
  230.             return $bad_input;
  231.           }
  232.       }
  233.       ++$d;
  234.     } else {
  235.       $d = 0;
  236.     }
  237.  
  238.     while ($d < strlen($value))
  239.       {
  240.         $oldi = $i;
  241.         $w = 1;
  242.  
  243.         for ($k = 36;; $k += 36)
  244.           {
  245.             if ($d == strlen($value))
  246.               {
  247.                 return $bad_input;
  248.               }
  249.             $c = $value[$d++];
  250.             $c=ord($c);
  251.  
  252.             $digit=($c - 48 < 10) ? $c - 22 :
  253.               (
  254.                 ($c - 65 < 26) ? $c - 65 :
  255.                   (
  256.                     ($c - 97 < 26) ? $c - 97 : 36
  257.                   )
  258.               );
  259.             if ($digit > (0x10FFFF - $i) / $w)
  260.               {
  261.                 return $bad_input;
  262.               }
  263.             $i += $digit * $w;
  264.  
  265.             if ($k <= $bias)
  266.               {
  267.                 $t = 1;
  268.               }
  269.             elseif ($k >= $bias + 26)
  270.               {
  271.                 $t = 26;
  272.               }
  273.             else
  274.               {
  275.                 $t = $k - $bias;
  276.               }
  277.             if ($digit < $t) {
  278.                 break;
  279.               }
  280.  
  281.             $w *= (36 - $t);
  282.  
  283.           }
  284.  
  285.         $delta = $i - $oldi;
  286.  
  287.         /* http://tools.ietf.org/html/rfc3492#section-6.1 */
  288.         $delta = ($oldi == 0)?$delta/700:$delta>>1;
  289.  
  290.         $count_output_plus_one=count($output)+1;
  291.         $delta += ($delta / ($count_output_plus_one+1));
  292.  
  293.         $k2 = 0;
  294.         while ($delta > 455)
  295.           {
  296.             $delta /= 35;
  297.             $k2 += 36;
  298.           }
  299.         $bias= intval($k2 + (36  * $delta) / ($delta + 38));
  300.         /* end section-6.1 */
  301.         if ($i / $count_output_plus_one > 0x10FFFF - $n)
  302.           {
  303.             return $bad_input;
  304.           }
  305.         $n += intval($i / $count_output_plus_one);
  306.         $i = intval($i % $count_output_plus_one);
  307.         array_splice($output, $i, 0,
  308.             html_entity_decode('&#'.$n.';',ENT_NOQUOTES,'UTF-8')
  309.          );
  310.         ++$i;
  311.       }
  312.     return implode('', $output);
  313.   }