NEQL↗TRAINING / 01 ↗

NEQL / ЖУРНАЛ

Практика / 3 минуты / 7 ноября 2026

Похожие строки: почему сравнение видит разницу

Буква с отдельным знаком, похожие латиница и кириллица, лишний пробел — разные причины несовпадения. Разбираем четыре учебные пары и границы NFC.

Две строки могут выглядеть одинаково, но содержать разные последовательности кодовых точек Unicode. При точном сравнении это имеет значение: совпадение изображения букв ещё не доказывает совпадение записи.

Ниже — четыре учебные пары для обычного текста. NFC — одна из форм нормализации Unicode: она приводит канонически эквивалентные записи к общей форме. Это помогает в первом примере, но не устраняет любое различие между похожими строками.

В этой статье
Что получится после NFC обеих строк
Учебная параРезультат сравнения
é: U+00E9 и é: U+0065 + U+0301Станут равны: буква с акцентом записана двумя способами
Латинская A: U+0041 и кириллическая А: U+0410Останутся разными: это буквы разных письменностей
«заказ» и «заказ» с пробелом в концеОстанутся разными: NFC не удаляет этот пробел
①: U+2460 и 1: U+0031Останутся разными: NFC сохраняет это различие

У буквы может быть больше одной записи

В первой паре é — либо одна кодовая точка U+00E9, либо буква e и отдельный комбинируемый акцент. Коды в таблице помогают различить записи, даже если шрифт рисует их одинаково. После приведения обеих строк к NFC эта пара совпадает.

Это не удаление акцента и не замена всех похожих букв. MDN показывает тот же принцип на двух записях ñ: точное сравнение исходных строк в JavaScript даёт несовпадение, а нормализация приводит канонически эквивалентные записи к общей форме.

Похожая буква может принадлежать другой письменности

Латинская A и кириллическая А имеют разные коды. Unicode отдельно объясняет, почему латиница и кириллица сохраняют самостоятельность даже при совпадении начертания некоторых букв. В нашей паре NFC не превращает одну A в другую.

Поэтому при неожиданном несовпадении проверьте раскладку и код конкретной буквы. Внешне похожие названия не стоит автоматически объявлять одинаковыми записями. Сам вид строки также не подтверждает подлинность сетевого адреса.

Пробелы и форма NFKC требуют отдельного решения

В третьей паре отличается наличие конечного пробела. Его удаление — отдельное правило обработки, которое NFC здесь не выполняет. Сначала решите, должен ли такой пробел учитываться в вашей задаче, и сохраните исходный текст.

Четвёртая пара показывает отличие NFC от NFKC: NFKC приводит ① к 1, а NFC сохраняет ①. UAX № 15 предостерегает от безусловного применения форм совместимости к произвольному тексту: они могут убрать значимые различия. Выбор более широкого преобразования требует цели, а не только желания убрать несовпадение.

Как проверить результат в инструментах NEQL

Инструмент «Убрать дубликаты строк» в NEQL не выполняет нормализацию Unicode. Его параметры игнорирования регистра и пробелов по краям задают другие правила. Поэтому две записи é из первой пары сохранятся как две строки даже при включении этих параметров.

«Сравнение текстов» также сохраняет различие этих записей. Для проверки возьмите учебную пару из таблицы, сравните исходники и отдельно результат нужного преобразования. Работайте с копией: сначала определите, какие различия важны для вашей задачи, затем выбирайте преобразование.

Оригинал статьи: https://neql.org/blog/unicode-text-equality