fork(1) download
copy 
  1. <?php
  2. //Топ N самых часто встречающихся слов и словосочетаний в тексте(из 2-3-х слов)
  3. mb_internal_encoding('Utf-8');
  4.  
  5. $stopWords = array('и', 'у', 'к', 'с', 'о', 'от', 'в', 'же', 'из', 'на');
  6. $input = 'Эта функция сортирует массив в обратном порядке таким образом, что
  7. сохраняются отношения между ключами и значениями. Сохраняются отношения и
  8. сохраняются отношения и еще сохраняются отношения и опять сохраняются отношения.';
  9.  
  10. //Функция удаляющая слова и словосочетания являющиеся частью больших словосочений
  11. function removeRepetition($moreWords, $words)
  12. {
  13.     foreach ($moreWords as $moreWord => $moreCount) {
  14.         foreach ($words as $word => $count) {
  15.             //если во втором массиве словосочетания, иначе слова
  16.             if (preg_match('/\w+ \w+/u', $word)) {
  17.                 if ((mb_strpos($moreWord, $word) !== false) && ($count == $moreCount)) {
  18.                     unset($words[$word]);
  19.                 }
  20.             } else {
  21.                 $severalWords = explode(' ', $moreWord);
  22.                 $oneWord = array($word);
  23.                 $matches = array_intersect($oneWord, $severalWords);
  24.                 if ((count($matches) != 0) && ($moreCount == $count)) {
  25.                     unset($words[$word]);
  26.                 }
  27.             }
  28.         }
  29.     }
  30.     return $words;
  31. }
  32.  
  33. //Удаляем лишнее - переносы, запятые, стоп слова.
  34. $input = mb_strtolower($input);
  35. $input = preg_replace('/[\\r\\n]/', ' ', $input);
  36. $input = preg_replace('/,/', '', $input);
  37. foreach ($stopWords as $word) {
  38.     $input = preg_replace("/\\b$word\\b/u", '', $input);
  39. }
  40.  
  41. $sentences = preg_split('/\./', $input, 0, PREG_SPLIT_NO_EMPTY);
  42.  
  43. //Формируем словосочетания
  44. foreach ($sentences as $sentence) {
  45.     $words = preg_split('/ /', $sentence, 0, PREG_SPLIT_NO_EMPTY);
  46.     foreach ($words as $key => $word) {
  47.         $oneWords[] = $word;
  48.         //Прерываем цикл на последнем слове.
  49.         if ($key == (count($words) - 1)) {
  50.             break;
  51.         }
  52.         $twoWords[] = $word . ' ' . $words[$key + 1];
  53.         if ($key !== 0) {
  54.             $threeWords[] = $words[$key - 1] . ' ' . $word . ' ' . $words[$key + 1];
  55.         }
  56.     }
  57. }
  58.  
  59. //Считаем, удаляем все что было найдено 1 раз и сортируем
  60. $countWords = array_diff(array_count_values($oneWords), array(1));
  61. $countTwoWords = array_diff(array_count_values($twoWords), array(1));
  62. $countThreeWords = array_diff(array_count_values($threeWords), array(1));
  63. arsort($countWords, SORT_NUMERIC);
  64. arsort($countTwoWords, SORT_NUMERIC);
  65. arsort($countThreeWords, SORT_NUMERIC);
  66.  
  67. //Удаляем слова и словосочеания являющиеся часть других
  68. $countWords = removeRepetition($countThreeWords, $countWords);
  69. $countWords = removeRepetition($countTwoWords, $countWords);
  70. $countTwoWords = removeRepetition($countThreeWords, $countTwoWords);
  71.  
  72. $top = array_merge($countWords, $countTwoWords, $countThreeWords);
  73.  
  74. //Выводим результат нашей магии
  75. if ($top == '') {
  76.     echo 'Увы, но в данном тексте нет частых слов или словосочетаний встречающихся больше одного раза :(';
  77. } elseif (count($top) == 1) {
  78.     foreach ($top as $words => $count) {
  79.         echo 'Самое частое слово/словосочетание: "' . $words . '", оно встречается - ' . $count .
  80.             ' раз.';
  81.     }
  82. } else {
  83.     arsort($top);
  84.     echo "Самые частые слова/словосочетания:\n";
  85.     foreach ($top as $words => $count) {
  86.         echo $words . " - встречается " . $count . " раз.\n";
  87.     }
  88. }
Success #stdin #stdout 0.01s 20568KB
comments (?)
stdin
copy 
Standard input is empty
stdout
copy 
Самое частое слово/словосочетание: "сохраняются отношения", оно встречается - 5 раз.
https://ideone.com/PTIMd2
language:
PHP (php 7.3.5)
created:
11 years ago
visibility:
secret

Share or Embed source code

Discover > Sphere Engine API

The brand new service which powers Ideone!

Discover > IDE Widget

Widget for compiling and running the source code in a web browser!