fork(1) download
copy 
  1. <?php
  2. //Топ N самых часто встречающихся слов и словосочетаний в тексте(из 2-3-х слов)
  3. mb_internal_encoding('Utf-8');
  4.  
  5. $stopWords = array('и', 'у', 'к', 'с', 'о', 'от', 'в', 'же', 'из', 'на', '.', ',');
  6. $input = 'Эта функция сортирует массив в обратном порядке таким образом, что
  7. сохраняются отношения между ключами и значениями. Сохраняются отношения и
  8. сохраняются отношения и еще сохраняются отношения и опять сохраняются отношения.';
  9.  
  10. //Удаляем лишнее и разбиваем текст на слова и знаки препинания
  11. $input = mb_strtolower($input);
  12. $input = preg_replace('/[\\r\\n]/', ' ', $input);
  13. $input = preg_replace('/[.,]/', ' $0', $input);
  14. $words = preg_split('/ /', $input, 0, PREG_SPLIT_NO_EMPTY);
  15.  
  16. //Формируем словосочетания
  17. foreach ($words as $key => $word) {
  18.     //Прерываем цикл на последнем слове.
  19.     if ($key == (count($words) - 1)) {
  20.         break;
  21.     }
  22.     //Если текущее слово из списка стоп слов переходим к следуещему
  23.     if (array_search($word, $stopWords) !== false) {
  24.         continue;
  25.     }
  26.     $nextKey = $key + 1;
  27.     //Если следующее слово из стоп слов переходим к следующему слову(по хорошему тут надо перескакивать через 1
  28.     //но я хз как)
  29.     if (array_search($words[$nextKey], $stopWords) !== false) {
  30.         continue;
  31.     }
  32.     //Если же текущее и следующее слово в порядке составляем словосочетание из 2-х слов
  33.     $twoWords[] = $word . ' ' . $words[$nextKey];
  34.     //Так же проверяем предыдущее слово, если оно существует и не находится в стоп списке
  35.     //делаем словосочетание из 3-х слов
  36.     $prevKey = $key - 1;
  37.     if ($prevKey < 0) {
  38.         continue;
  39.     } elseif (array_search($words[$prevKey], $stopWords) !== false) {
  40.         continue;
  41.     }
  42.     $threeWords[] = $words[$prevKey] . ' ' . $word . ' ' . $words[$nextKey];
  43. }
  44.  
  45. //Удаляем из массива со словами все что есть в стоп списке
  46. foreach ($words as $key => $word) {
  47.     if (array_search($word, $stopWords) !== false) {
  48.         unset($words[$key]);
  49.     }
  50. }
  51.  
  52. //Считаем, удаляем все что было найдено 1 раз и сортируем
  53. $countWords = array_diff(array_count_values($words), array(1));
  54. $countTwoWords = array_diff(array_count_values($twoWords), array(1));
  55. $countThreeWords = array_diff(array_count_values($threeWords), array(1));
  56. arsort($countWords, SORT_NUMERIC);
  57. arsort($countTwoWords, SORT_NUMERIC);
  58. arsort($countThreeWords, SORT_NUMERIC);
  59.  
  60. //Проверка наличия словосочетаний из 2-х слов и слов в словосочетаниях из 3-х
  61. if (!empty($countThreeWords)) {
  62.     foreach ($countThreeWords as $words3 => $count3) {
  63.         foreach ($countTwoWords as $words2 => $count2) {
  64.             if ((mb_strpos($words3, $words2) !== false) && ($count2 == $count3)) {
  65.                 unset($countTwoWords[$words2]);
  66.             }
  67.         }
  68.         foreach ($countWords as $word => $count) {
  69.             if ((mb_strpos($words2, $word) !== false) && ($count == $count3)) {
  70.                 unset($countWords[$word]);
  71.             }
  72.             $top[$words3] = $count3;
  73.         }
  74.     }
  75. }
  76. //Проверка наличия слов в словосочитаниях из 2-х слов
  77. if (!empty($countTwoWords)) {
  78.     foreach ($countTwoWords as $words2 => $count2) {
  79.         foreach ($countWords as $word => $count) {
  80.             if ((mb_strpos($words2, $word) !== false) && ($count2 == $count)) {
  81.                 unset($countWords[$word]);
  82.             }
  83.         }
  84.         $top[$words2] = $count2;
  85.     }
  86. }
  87. //Ну и если что то осталось загоняем в топ
  88. if (!empty($countWords)) {
  89.     foreach ($countWords as $word => $count) {
  90.         $top[$word] = $count;
  91.     }
  92. }
  93.  
  94. //Выводим результат нашей магии
  95. if (!isset($top)) {
  96.     echo 'Увы, но в данном тексте нет частых слов или словосочетаний встречающихся больше одного раза :(';
  97. } elseif (count($top) == 1) {
  98.     foreach ($top as $word => $count) {
  99.         echo 'Самое частое слово/словосочетание: "' . $word . '". Оно встречается - ' . $count .
  100.             ' раз';
  101.     }
  102. } else {
  103.     arsort($top);
  104.     echo "Самые частые слова/словосочетания:\n";
  105.     foreach ($top as $words => $count) {
  106.         echo $words . " - встречается " . $count . " раз.\n";
  107.     }
  108. }
  109.  
Success #stdin #stdout 0.01s 20568KB
comments (?)
stdin
copy 
Standard input is empty
stdout
copy 
Самое частое слово/словосочетание: "сохраняются отношения". Оно встречается - 5 раз
https://ideone.com/bgucg2
language:
PHP (php 7.3.5)
created:
11 years ago
visibility:
secret

Share or Embed source code

Discover > Sphere Engine API

The brand new service which powers Ideone!

Discover > IDE Widget

Widget for compiling and running the source code in a web browser!