fork download
copy 
  1. <?php
  2. // Топ N самых часто встречающихся слов и словосочетаний в тексте(из 2-3-х слов)
  3. mb_internal_encoding('Utf-8');
  4.  
  5. $stopWords = array('и', 'у', 'к', 'с', 'о', 'от', 'в', 'же', 'из', 'на', 'не', 'вы', 'как',
  6.     'но', 'чтобы', 'что');
  7. $input = 'Эта функция сортирует массив в обратном порядке таким образом, что
  8. сохраняются отношения между ключами и значениями. Сохраняются отношения и
  9. сохраняются отношения и еще сохраняются отношения и опять сохраняются отношения.';
  10.  
  11. // Функция удаляющая слова и словосочетания являющиеся частью больших словосочений
  12. function removeRepetition($moreWords, $words)
  13. {
  14.     // Создаем индекс слов из больших словосочетаний
  15.     $bigPhrases = array_keys($moreWords);
  16.     foreach ($bigPhrases as $moreKey => $moreWord) {
  17.         $temp = explode(' ', $moreWord);
  18.         foreach ($temp as $value) {
  19.             $index[$value][] = $moreKey;
  20.         }
  21.     }
  22.     if (!isset($index)) {
  23.         return $words;
  24.     }
  25.     // Если во втором массиве словосочетания, иначе слова
  26.     foreach ($words as $key => $value) {
  27.         if (preg_match('/\w+ \w+/u', $key)) {
  28.             $tempWords = explode(' ', $key);
  29.             $word1Keys = $index[$tempWords[0]];
  30.             $word2Keys = $index[$tempWords[1]];
  31.             $result = array_intersect($word1Keys, $word2Keys);
  32.             if ( !empty($result) ) {
  33.                 unset($words[$key]);
  34.             }
  35.         } else {
  36.             if (isset($index[$key])) {
  37.                 unset($words[$key]);
  38.             }
  39.         }
  40.     }
  41.     return $words;
  42. }
  43.  
  44. // Разбиваем текст на предложения
  45. $input = mb_strtolower($input);
  46. $input = preg_replace('/\s+/u', ' ', $input);
  47. $input = preg_replace('/[^\w.!?\s]/u', '', $input);
  48. $input = trim($input);
  49. $sentences = preg_split('/[.!?]/', $input, 0, PREG_SPLIT_NO_EMPTY);
  50.  
  51. // Формируем словосочетания
  52. foreach ($sentences as $sentence) {
  53.     $sentence = trim($sentence);
  54.     $words = preg_split('/ /', $sentence, 0, PREG_SPLIT_NO_EMPTY);
  55.     $words = array_values(array_diff($words, $stopWords));
  56.     for ($i = 0; $i < (count($words) - 1); ++$i) {
  57.         $oneWords[] = $words[$i];
  58.         $twoWords[] = $words[$i] . ' ' . $words[$i + 1];
  59.         if ($i !== 0) {
  60.             $threeWords[] = $words[$i - 1] . ' ' . $words[$i] . ' ' . $words[$i + 1];
  61.         }
  62.     }
  63.     $oneWords[] = $words[$i];
  64. }
  65.  
  66. // Считаем, удаляем все что было найдено 1 раз и сортируем
  67. $countWords = array_diff(array_count_values($oneWords), array(1));
  68. $countTwoWords = array_diff(array_count_values($twoWords), array(1));
  69. $countThreeWords = array_diff(array_count_values($threeWords), array(1));
  70. arsort($countWords, SORT_NUMERIC);
  71. arsort($countTwoWords, SORT_NUMERIC);
  72. arsort($countThreeWords, SORT_NUMERIC);
  73.  
  74. // Удаляем слова и словосочеания являющиеся часть других
  75. $countWords = removeRepetition($countThreeWords, $countWords);
  76. $countWords = removeRepetition($countTwoWords, $countWords);
  77. $countTwoWords = removeRepetition($countThreeWords, $countTwoWords);
  78.  
  79. $top = array_merge($countWords, $countTwoWords, $countThreeWords);
  80.  
  81. // Выводим результат нашей магии
  82. if (!count($top)) {
  83.     echo 'Увы, но в данном тексте нет частых слов или словосочетаний встречающихся больше одного раза :(';
  84. } elseif (count($top) == 1) {
  85.     foreach ($top as $words => $count) {
  86.         echo 'Самое частое слово/словосочетание: "' . $words . '", оно встречается - ' . $count .
  87.             ' раз.';
  88.     }
  89. } else {
  90.     arsort($top);
  91.     echo "Самые частые слова/словосочетания:\n";
  92.     foreach ($top as $words => $count) {
  93.         echo $words . " - встречается " . $count . " раз.\n";
  94.     }
  95. }
Success #stdin #stdout 0.01s 20520KB
comments (?)
stdin
copy 
Standard input is empty
stdout
copy 
Самое частое слово/словосочетание: "сохраняются отношения", оно встречается - 5 раз.
https://ideone.com/RzvMQ5
language:
PHP (php 7.3.5)
created:
11 years ago
visibility:
public

Share or Embed source code

Discover > Sphere Engine API

The brand new service which powers Ideone!

Discover > IDE Widget

Widget for compiling and running the source code in a web browser!