fork download
copy 
  1. <?php
  2. //Топ N самых часто встречающихся слов и словосочетаний в тексте(из 2-3-х слов)
  3. mb_internal_encoding('Utf-8');
  4.  
  5. $stopWords = array('и', 'у', 'к', 'с', 'о', 'от', 'в', 'же', 'из', 'на', 'не', 'вы', 'как',
  6.     'но', 'чтобы', 'что');
  7. $input = 'Недавно написал свой велосипед и выложил его на хабре. Вот он:
  8. «Простейший Connection pool без DataSource в Java». Статья не из самых удачных,
  9. только прошу больше не минусовать. Итак, чтобы не повторять такие ошибки самому и,
  10. возможно, предостеречь кого-то от таких ошибок, решил перевести статью «Seven Things
  11. You Should Never Code Yourself» достаточно известного в среде open-source деятеля
  12. IT-области — Andy Lester\'а. Итак, кому интересно, прошу под кат.
  13.  
  14. Мы, программисты, любим решать задачи. Мы любим, когда идеи возникают в наших
  15. головах, перенаправляются на наши пальцы и тем самым создаются великолепные решения.
  16.  
  17. Но порой мы слишком быстро вскакиваем и начинаем проворачивать свой код без
  18. учета всех последствий, к которым это может привести. Мы не учитываем, что
  19. кто-то, возможно, уже решил эту проблему, и что уже есть код, доступный для
  20. использования, который был написан, протестирован и продебажен кем-то другим.
  21. Иногда нам просто необходимо остановиться и подумать, прежде чем начать что-то
  22. печатать.
  23.  
  24. Например, если вы столкнетесь с одной из этих семи задач программирования,
  25. то почти всегда вам лучше поискать существующее решение, чем пытаться реализовывать
  26. что-то самостоятельно:
  27.  
  28. 1. Парсинг HTML или XML
  29.  
  30. Задачей, сложностью которой зачастую пренебрегают, по крайней мере на основе того,
  31. сколько раз про него спросили на StackOverflow — является парсинг HTML или XML.
  32. Извлечение данных из произвольного HTML выглядит обманчиво просто, но на самом деле
  33. эта задача должна решаться применением библиотек. Скажем, вы хотите извлечь URL из
  34. тега такого, как
  35.  
  36.  
  37. К тому времени, как вы сделаете еще один цикл в поисках случаев, с которыми
  38. ваш код не может иметь дело, при этом исправляя и тестируя свой код, вы бы могли уже
  39. использовать нужную библиотеку и решили бы все свои проблемы.
  40.  
  41. Я вам привел наглядную историю с примерами: вы потратите намного меньше времени на
  42. поиски существующей библиотеки и на ее изучение, нежели на попытки написать свой
  43. велосипед, который затем придется расширять, чтобы он работал в тех случаях, о
  44. которых вы и не думали, когда начинали его писать.
  45.  
  46. 2. Парсинг CSV и JSON
  47.  
  48. CSV файлы обманчиво просты, но таят в себе некую опасность. Файлы с величинами,
  49. разделенными запятыми тривиальны для парсинга, не так ли?
  50.  
  51. # ID, name, city
  52. 1, Queen Elizabeth II, London
  53.  
  54. Безусловно, пока вам не придется иметь дело с запятыми, заключенными в двойные
  55. кавычки:
  56.  
  57. Вы можете справиться и с этим, пока не придется иметь дело с переводами строк в
  58. середине записи.
  59.  
  60. JSON имеет те же самые опасности, связанные с типами данных, что и CSV, с дополнительной
  61. проблемой, возникающей из-за возможности хранить многоуровневые структуры данных.
  62.  
  63. Уберегите себя от хлопот и неточностей. Любые данные, которые не могут быть обработаны
  64. разделением строки по запятым должны быть обработаны библиотекой.
  65.  
  66. Если читать структурированные данные неструктурированным методом это плохая идея,
  67. то идея изменять данные на месте еще хуже. Люди часто говорят что-то вроде
  68. «Я хочу изменить все теги с такими-то и такими URL так, чтобы у них появивлся
  69. новый атрибут.» Но даже такое, казалось бы, простое дело, как «Я хочу изменить
  70. в каждом пятом поле в этом CSV имя Боб на Стив» таит в себе опасность, потому что,
  71. как было отмечено выше, вы не сможете считывать запятые должным образом. Чтобы все
  72. было правильно, вам необходимо прочитать данные с помощью грамотной библиотеки во
  73. внутреннюю структуру, изменить данные, а затем записать измененные данные обратно
  74. с помощью той же библиотеки. Ничто не представляет такой риск искажения данных,
  75. как если их структура не соответствует вашим ожиданиям.
  76.  
  77. ';
  78.  
  79. //Функция удаляющая слова и словосочетания являющиеся частью больших словосочений
  80. function removeRepetition($moreWords, $words)
  81. {
  82.     foreach ($moreWords as $moreWord => $moreCount) {
  83.         foreach ($words as $word => $count) {
  84.             if ((mb_strpos(" {$moreWord} ", " {$word} ") !== false) && ($count == $moreCount)) {
  85.                 unset($words[$word]);
  86.             }
  87.         }
  88.     }
  89.     return $words;
  90. }
  91.  
  92. //Разбиваем текст на предложения
  93. $input = mb_strtolower($input);
  94. $input = preg_replace('/\s+/u', ' ', $input);
  95. $input = preg_replace('/[,«»—]/u', '', $input);
  96. $input = trim($input);
  97. $sentences = preg_split('/[.!?]/', $input, 0, PREG_SPLIT_NO_EMPTY);
  98.  
  99. //Формируем словосочетания
  100. foreach ($sentences as $sentence) {
  101.     $sentence = trim($sentence);
  102.     $words = preg_split('/ /', $sentence, 0, PREG_SPLIT_NO_EMPTY);
  103.     $words = array_values(array_diff($words, $stopWords));
  104.     for ($i = 0; $i < (count($words) - 1); ++$i) {
  105.         $oneWords[] = $words[$i];
  106.         $twoWords[] = $words[$i] . ' ' . $words[$i + 1];
  107.         if ($i !== 0) {
  108.             $threeWords[] = $words[$i - 1] . ' ' . $words[$i] . ' ' . $words[$i + 1];
  109.         }
  110.     }
  111.     $oneWords[] = $words[$i];
  112. }
  113.  
  114. //Считаем, удаляем все что было найдено 1 раз и сортируем
  115. $countWords = array_diff(array_count_values($oneWords), array(1));
  116. $countTwoWords = array_diff(array_count_values($twoWords), array(1));
  117. $countThreeWords = array_diff(array_count_values($threeWords), array(1));
  118. arsort($countWords, SORT_NUMERIC);
  119. arsort($countTwoWords, SORT_NUMERIC);
  120. arsort($countThreeWords, SORT_NUMERIC);
  121.  
  122. //Удаляем слова и словосочеания являющиеся часть других
  123. $countWords = removeRepetition($countThreeWords, $countWords);
  124. $countWords = removeRepetition($countTwoWords, $countWords);
  125. $countTwoWords = removeRepetition($countThreeWords, $countTwoWords);
  126.  
  127. $top = array_merge($countWords, $countTwoWords, $countThreeWords);
  128.  
  129. //Выводим результат нашей магии
  130. if (!count($top)) {
  131.     echo 'Увы, но в данном тексте нет частых слов или словосочетаний встречающихся больше одного раза :(';
  132. } elseif (count($top) == 1) {
  133.     foreach ($top as $words => $count) {
  134.         echo 'Самое частое слово/словосочетание: "' . $words . '", оно встречается - ' . $count .
  135.             ' раз.';
  136.     }
  137. } else {
  138.     arsort($top);
  139.     echo "Самые частые слова/словосочетания:\n";
  140.     foreach ($top as $words => $count) {
  141.         echo $words . " - встречается " . $count . " раз.\n";
  142.     }
  143. }
Success #stdin #stdout 0.02s 20520KB
comments (?)
stdin
copy 
Standard input is empty
stdout
copy 
Самые частые слова/словосочетания:
данные - встречается 6 раз.
данных - встречается 4 раз.
csv - встречается 4 раз.
код - встречается 4 раз.
дело - встречается 4 раз.
вам - встречается 4 раз.
свой - встречается 4 раз.
мы - встречается 4 раз.
все - встречается 3 раз.
придется - встречается 3 раз.
иметь дело - встречается 3 раз.
html - встречается 3 раз.
библиотеки - встречается 3 раз.
изменить - встречается 3 раз.
бы - встречается 3 раз.
парсинг - встречается 3 раз.
что-то - встречается 3 раз.
если - встречается 3 раз.
уже - встречается 3 раз.
я - встречается 3 раз.
0 - встречается 2 раз.
просто - встречается 2 раз.
необходимо - встречается 2 раз.
времени - встречается 2 раз.
который - встречается 2 раз.
прошу - встречается 2 раз.
для - встречается 2 раз.
обманчиво - встречается 2 раз.
url - встречается 2 раз.
парсинг html или - встречается 2 раз.
я хочу изменить - встречается 2 раз.
придется иметь дело - встречается 2 раз.
html или xml - встречается 2 раз.
без - встречается 2 раз.
свой велосипед - встречается 2 раз.
свой код - встречается 2 раз.
то - встречается 2 раз.
еще - встречается 2 раз.
быть обработаны - встречается 2 раз.
чем - встречается 2 раз.
json - встречается 2 раз.
помощью - встречается 2 раз.
пока - встречается 2 раз.
себе - встречается 2 раз.
опасность - встречается 2 раз.
было - встречается 2 раз.
идея - встречается 2 раз.
этом - встречается 2 раз.
затем - встречается 2 раз.
файлы - встречается 2 раз.
запятыми - встречается 2 раз.
так - встречается 2 раз.
может - встречается 2 раз.
возможно - встречается 2 раз.
итак - встречается 2 раз.
это - встречается 2 раз.
когда - встречается 2 раз.
по - встречается 2 раз.
любим - встречается 2 раз.
решил - встречается 2 раз.
его - встречается 2 раз.
https://ideone.com/ewmI2S
language:
PHP (php 7.3.5)
created:
11 years ago
visibility:
secret

Share or Embed source code

Discover > Sphere Engine API

The brand new service which powers Ideone!

Discover > IDE Widget

Widget for compiling and running the source code in a web browser!