fork download 
  1. <?php
  2. // Топ N самых часто встречающихся слов и словосочетаний в тексте(из 2-3-х слов)
  3. mb_internal_encoding('Utf-8');
  4.  
  5. $stopWords = array('и', 'у', 'к', 'с', 'о', 'от', 'в', 'же', 'из', 'на', 'не', 'вы', 'как',
  6.     'но', 'чтобы', 'что');
  7. $input = 'Эта функция сортирует массив в обратном порядке таким образом, что
  8. сохраняются отношения между ключами и значениями. Сохраняются отношения и
  9. сохраняются отношения и еще сохраняются отношения и опять сохраняются отношения.';
  10.  
  11. // Функция удаляющая слова и словосочетания являющиеся частью больших словосочений
  12. function removeRepetition($moreWords, $words)
  13. {
  14.     // Создаем индекс слов из больших словосочетаний
  15.     $bigPhrases = array_keys($moreWords);
  16.     foreach ($bigPhrases as $moreKey => $moreWord) {
  17.         $temp = explode(' ', $moreWord);
  18.         foreach ($temp as $key) {
  19.             $index[$key][] = $moreKey;
  20.         }
  21.     }
  22.     if (!isset($index)) {
  23.         return $words;
  24.     }
  25.  
  26.     //массив с информацие о том сколько раз было найдено большое словосочетание
  27.     $frequencies = array_values($moreWords);
  28.     // Если во втором массиве словосочетания, иначе слова
  29.     foreach ($words as $phrase => $frequency) {
  30.         if (mb_strpos($phrase, ' ') != false) {
  31.             $tempWords = explode(' ', $phrase);
  32.             $result = array_intersect($index[$tempWords[0]], $index[$tempWords[1]]);
  33.             if (!empty($result) && $frequencies[$result[0]] === $frequency) {
  34.                 unset($words[$phrase]);
  35.             }
  36.         } else {
  37.             if (isset($index[$phrase]) && $frequencies[$index[$phrase][0]] === $frequency) {
  38.                 unset($words[$phrase]);
  39.             }
  40.         }
  41.     }
  42.     return $words;
  43. }
  44.  
  45. // Разбиваем текст на предложения
  46. $input = mb_strtolower($input);
  47. $input = preg_replace('/\s+/u', ' ', $input);
  48. $input = preg_replace('/[^\w.!?\s]/u', '', $input);
  49. $input = trim($input);
  50. $sentences = preg_split('/[.!?]/', $input, 0, PREG_SPLIT_NO_EMPTY);
  51.  
  52. // Формируем словосочетания
  53. foreach ($sentences as $sentence) {
  54.     $sentence = trim($sentence);
  55.     $words = preg_split('/ /', $sentence, 0, PREG_SPLIT_NO_EMPTY);
  56.     $words = array_values(array_diff($words, $stopWords));
  57.     for ($i = 0; $i < (count($words) - 1); ++$i) {
  58.         $oneWords[] = $words[$i];
  59.         $twoWords[] = $words[$i] . ' ' . $words[$i + 1];
  60.         if ($i !== 0) {
  61.             $threeWords[] = $words[$i - 1] . ' ' . $words[$i] . ' ' . $words[$i + 1];
  62.         }
  63.     }
  64.     $oneWords[] = $words[$i];
  65. }
  66.  
  67. // Считаем, удаляем все что было найдено 1 раз и сортируем
  68. $countWords = array_diff(array_count_values($oneWords), array(1));
  69. $countTwoWords = array_diff(array_count_values($twoWords), array(1));
  70. $countThreeWords = array_diff(array_count_values($threeWords), array(1));
  71.  
  72. // Удаляем слова и словосочеания являющиеся часть других
  73. $countWords = removeRepetition($countThreeWords, $countWords);
  74. $countWords = removeRepetition($countTwoWords, $countWords);
  75. $countTwoWords = removeRepetition($countThreeWords, $countTwoWords);
  76.  
  77. $top = array_merge($countWords, $countTwoWords, $countThreeWords);
  78.  
  79. // Выводим результат нашей магии
  80. if (!count($top)) {
  81.     echo 'Увы, но в данном тексте нет частых слов или словосочетаний встречающихся больше одного раза :(';
  82. } elseif (count($top) == 1) {
  83.     foreach ($top as $words => $count) {
  84.         echo 'Самое частое слово/словосочетание: "' . $words . '", оно встречается - ' . $count .
  85.             ' раз.';
  86.     }
  87. } else {
  88.     arsort($top);
  89.     echo "Самые частые слова/словосочетания:\n";
  90.     foreach ($top as $words => $count) {
  91.         echo $words . " - встречается " . $count . " раз.\n";
  92.     }
  93. }
Success #stdin #stdout 0.01s 20568KB
comments (?)
stdin 
Standard input is empty
stdout 
Самое частое слово/словосочетание: "сохраняются отношения", оно встречается - 5 раз.
https://ideone.com/htytkF
language:
PHP (php 7.3.5)
created:
11 years ago
visibility:
secret

Share or Embed source code

Discover > Sphere Engine API

The brand new service which powers Ideone!

Discover > IDE Widget

Widget for compiling and running the source code in a web browser!