fork download 
  1. <?php
  2. //Топ N самых часто встречающихся слов и словосочетаний в тексте(из 2-3-х слов)
  3. mb_internal_encoding('Utf-8');
  4.  
  5. $stopWords = array('и', 'у', 'к', 'с', 'о', 'от', 'в', 'же', 'из', 'на', '.', ',');
  6. $input = 'Эта функция сортирует массив в обратном порядке таким образом, что
  7. сохраняются отношения между ключами и значениями. Сохраняются отношения и
  8. сохраняются отношения и еще сохраняются отношения и опять сохраняются отношения.';
  9.  
  10. //Функция удаляющая слова и словосочетания являющиеся частью больших словосочений
  11. function removeRepetition($moreWords, $words)
  12. {
  13.     foreach ($moreWords as $moreWord => $moreCount) {
  14.         foreach ($words as $word => $count) {
  15.             //если во втором массиве словосочетания, иначе слова
  16.             if (preg_match('/\w+ \w+/u', $word)) {
  17.                 if ((mb_strpos($moreWord, $word) !== false) && ($count == $moreCount)) {
  18.                     unset($words[$word]);
  19.                 }
  20.             } else {
  21.                 $severalWords = explode(' ', $moreWord);
  22.                 $oneWord = array($word);
  23.                 $matches = array_intersect($oneWord, $severalWords);
  24.                 if ((count($matches) != 0) && ($moreCount == $count)) {
  25.                     unset($words[$word]);
  26.                 }
  27.             }
  28.         }
  29.     }
  30.     return $words;
  31. }
  32.  
  33. //Удаляем лишнее и разбиваем текст на слова и знаки препинания
  34. $input = mb_strtolower($input);
  35. $input = preg_replace('/[\\r\\n]/', ' ', $input);
  36. $input = preg_replace('/[.,]/', ' $0', $input);
  37. $words = preg_split('/ /', $input, 0, PREG_SPLIT_NO_EMPTY);
  38.  
  39. //Формируем словосочетания
  40. foreach ($words as $key => $word) {
  41.     //Прерываем цикл на последнем слове.
  42.     if ($key == (count($words) - 1)) {
  43.         break;
  44.     }
  45.     //Если текущее слово из списка стоп слов переходим к следуещему
  46.     if (in_array($word, $stopWords)) {
  47.         continue;
  48.     }
  49.     $nextKey = $key + 1;
  50.     //Если следующее слово из стоп слов переходим к следующему слову(по хорошему тут надо перескакивать через 1
  51.     //но я хз как)
  52.     if (in_array($words[$nextKey], $stopWords)) {
  53.         continue;
  54.     }
  55.     //Если же текущее и следующее слово в порядке составляем словосочетание из 2-х слов
  56.     $twoWords[] = $word . ' ' . $words[$nextKey];
  57.     //Так же проверяем предыдущее слово, если оно существует и не находится в стоп списке
  58.     //делаем словосочетание из 3-х слов
  59.     $prevKey = $key - 1;
  60.     if ($prevKey < 0) {
  61.         continue;
  62.     } elseif (in_array($words[$prevKey], $stopWords)) {
  63.         continue;
  64.     }
  65.     $threeWords[] = $words[$prevKey] . ' ' . $word . ' ' . $words[$nextKey];
  66. }
  67.  
  68. //Удаляем из массива со словами все что есть в стоп списке
  69. foreach ($words as $key => $word) {
  70.     if (in_array($word, $stopWords)) {
  71.         unset($words[$key]);
  72.     }
  73. }
  74.  
  75. //Считаем, удаляем все что было найдено 1 раз и сортируем
  76. $countWords = array_diff(array_count_values($words), array(1));
  77. $countTwoWords = array_diff(array_count_values($twoWords), array(1));
  78. $countThreeWords = array_diff(array_count_values($threeWords), array(1));
  79. arsort($countWords, SORT_NUMERIC);
  80. arsort($countTwoWords, SORT_NUMERIC);
  81. arsort($countThreeWords, SORT_NUMERIC);
  82.  
  83. //Удаляем слова и словосочеания являющиеся часть других
  84. $countWords = removeRepetition($countThreeWords, $countWords);
  85. $countWords = removeRepetition($countTwoWords, $countWords);
  86. $countTwoWords = removeRepetition($countThreeWords, $countTwoWords);
  87.  
  88. $top = array_merge($countWords, $countTwoWords, $countThreeWords);
  89.  
  90. //Выводим результат нашей магии
  91. if ($top == '') {
  92.     echo 'Увы, но в данном тексте нет частых слов или словосочетаний встречающихся больше одного раза :(';
  93. } elseif (count($top) == 1) {
  94.     foreach ($top as $words => $count) {
  95.         echo 'Самое частое слово/словосочетание: "' . $words . '", оно встречается - ' . $count .
  96.             ' раз.';
  97.     }
  98. } else {
  99.     arsort($top);
  100.     echo "Самые частые слова/словосочетания:\n";
  101.     foreach ($top as $words => $count) {
  102.         echo $words . " - встречается " . $count . " раз.\n";
  103.     }
  104. }
Success #stdin #stdout 0.01s 20520KB
comments (?)
stdin 
Standard input is empty
stdout 
Самое частое слово/словосочетание: "сохраняются отношения", оно встречается - 5 раз.
https://ideone.com/WwuPjA
language:
PHP (php 7.3.5)
created:
11 years ago
visibility:
secret

Share or Embed source code

Discover > Sphere Engine API

The brand new service which powers Ideone!

Discover > IDE Widget

Widget for compiling and running the source code in a web browser!