Дата публикации: 15.05.2026

Создание таблиц и сводок из неструктурированного текста

Вводная часть

Вам уже знакомы базовые возможности нейросетей — классификация, генерация текста, поиск. Теперь вы узнаете, как превратить неструктурированный текст (отчёты, статьи, переписку) в таблицы и сводки, которые удобно анализировать, визуализировать и использовать в работе или учёбе.

Эти навыки позволяют:

быстро собрать статистику из сотен документов;
автоматизировать подготовку отчётов и презентаций;
получать «сухие» данные из «мокрого» текста без ручного копипастинга.

1. Что такое неструктурированный текст?

Термин	Описание	Пример
Неструктурированный текст	Текст без чёткой схемы, без фиксированных полей.	Электронные письма, статьи, форумы.
Структурированный текст	Текст, где информация уже разбита на ячейки/строки.	CSV‑файл, таблица Excel.

Неструктурированный текст — это как мешок с разными предметами: в нём есть и книги, и карандаши, и яблоки, но без ярлыков, где что находится. Наша задача — разложить эти предметы по полкам (таблицам) и написать краткое содержание (сводку).

2. Зачем нужны таблицы и сводки?

Таблицы позволяют выполнять сортировку, фильтрацию, группировку и расчёты (среднее, минимум, максимум).
Сводки (summary, aggregation) дают быстрый обзор: сколько упоминаний, какие темы доминируют, какие тренды меняются со временем.

В академической работе это может быть «сколько раз в наборе статей упоминается метод X», а в бизнес‑контексте — «сколько заявок поступило из разных регионов за месяц».

3. Основные подходы к извлечению данных

Подход	Принцип	Плюсы	Минусы
Правила (regex, шаблоны)	Жёсткие шаблоны, ищут фиксированные паттерны.	Прозрачность, быстрый запуск.	Не масштабируется, чувствителен к изменению формата.
Классические ML‑модели	Фичи + классификатор (SVM, Random Forest).	Работают на небольших датасетах.	Требуют ручного выбора фичей.
Нейросети (BERT, GPT, T5)	Предобученные трансформеры + дообучение на вашей задаче.	Высокая точность, умеют «понимать» контекст.	Требуют GPU/CPU‑мощности, больше данных.

Для большинства практических задач сегодня нейросети — оптимальный компромисс: они умеют находить сущности, отношения и даже генерировать таблицы «на лету».

4. Предобработка текста (pre‑processing)

Очистка – удаляем HTML‑теги, спецсимволы, лишние пробелы.
Токенизация – разбиваем на слова/символы. В русскоязычном контексте часто используют spacy с моделью ru_core_news_md.
Лемматизация – приводим слова к базовой форме (например, «отчётах» → «отчёт»).
NER (Named Entity Recognition) – выделяем имена, даты, организации, суммы.

import spacy, pandas as pd
nlp = spacy.load("ru_core_news_md")
doc = nlp("В отчёте от 12.03.2024 указано, что компания «Альфа» получила 1 500 000 руб.")
entities = [(ent.text, ent.label_) for ent in doc.ents]
print(entities)   # [('12.03.2024', 'DATE'), ('Альфа', 'ORG'), ('1 500 000 руб', 'MONEY')]

Ключевые термины: токенизация (tokenization, 分词 fēn cí), лемматизация (lemmatization, 词形还原 cí xíng huán yuán), NER (named‑entity recognition, 实体识别 shí tǐ shí bié).

5. Построение таблицы из сущностей

5.1. Выбор колонок

Колонка	Что хранит	Пример
Дата	Дата события	`2024‑03‑12`
Организация	Название компании/организации	`Альфа`
Сумма	Финансовый показатель	`1500000`
Тема	Краткое описание	`Продажи`

5.2. Алгоритм

Собрать все найденные сущности.
Сгруппировать их по логическому «записному» блоку (обычно абзац или предложение).
Заполнить ячейки: если в блоке есть дата → ставим в колонку Дата, если есть MONEY → в Сумма и т.д.
Сохранить в pandas.DataFrame и экспортировать в CSV/Excel.

records = []
for sent in doc.sents:
    rec = {"Дата": None, "Организация": None, "Сумма": None, "Тема": None}
    for ent in sent.ents:
        if ent.label_ == "DATE":
            rec["Дата"] = ent.text
        elif ent.label_ == "ORG":
            rec["Организация"] = ent.text
        elif ent.label_ == "MONEY":
            rec["Сумма"] = int(ent.text.replace(' ','').replace('руб',''))
    # простая эвристика для темы: берём первое глагол‑существительное
    rec["Тема"] = sent.text.split()[0]
    records.append(rec)

df = pd.DataFrame(records)
print(df.head())

5.3. Обработка неоднозначностей

Даты в разных форматах – используйте dateparser.
Суммы с валютой – нормализуйте в одну единицу (рубли, доллары).
Повторяющиеся организации – объединяйте через groupby.

6. Создание сводок (aggregation)

6.1. Суммирование и средние значения

summary = df.groupby('Организация').agg(
    total_money=('Сумма', 'sum'),
    avg_money=('Сумма', 'mean'),
    count=('Сумма', 'count')
).reset_index()
print(summary)

6.2. Тренд‑анализ по времени

df['Дата'] = pd.to_datetime(df['Дата'], dayfirst=True)
trend = df.set_index('Дата').resample('M')['Сумма'].sum()
trend.plot(kind='line', title='Месячный объём продаж')

6.3. Краткое текстовое резюме

Для генерации небольших описаний можно использовать модели‑суммаризаторы (BART, T5).

from transformers import pipeline
summarizer = pipeline("summarization", model="facebook/bart-large-cnn")
text = " ".join(df['Тема'].tolist())
summary_text = summarizer(text, max_length=80, min_length=30, do_sample=False)[0]['summary_text']
print(summary_text)

Ключевой термин: агрегация (aggregation, 聚合 jù hé).

7. Инструменты и библиотеки, которые стоит знать

Задача	Библиотека	Пример использования
Токенизация, NER	spaCy, Stanza	`nlp = spacy.load("ru_core_news_md")`
Табличные операции	pandas, polars	`df.groupby(...).agg(...)`
Суммирование текста	transformers (BART, T5)	`pipeline("summarization")`
Визуализация	matplotlib, seaborn, plotly	`trend.plot()`
Парсинг дат	dateparser	`dateparser.parse("12 марта 2024")`

Для более «тяжёлых» проектов (много документов, требование реального времени) стоит рассмотреть Haystack + FAISS для быстрых поисковых индексов, а также LangChain для построения цепочек запросов к LLM‑моделям.

8. Пример проекта «Отчёт о продажах» – шаг за шагом

Соберите набор PDF‑документов (отчёты за квартал).
Конвертируйте PDF → текст (библиотека pdfminer.six).
Очистите текст от артефактов (таблицы в PDF часто превращаются в «---»).
Запустите NER‑модель (spaCy) и извлеките даты, организации, суммы.
Сформируйте DataFrame, нормализуйте даты и суммы.
Сохраните таблицу в sales_q1.xlsx.
Постройте сводку: общий объём продаж, топ‑5 компаний, динамика по месяцам.
Сгенерируйте короткое резюме (BART) и добавьте его в начало Excel‑файла.

Совет: если в одном документе несколько секций «Продажи», «Расходы», используйте ключевые фразы (например, «Итого по продажам») как маркеры начала новой записи.

Практика для закрепления

Экстракция сущностей
- Возьмите любой новостной текст (пример: статья о запуске нового продукта).
- С помощью spacy найдите все даты, организации и суммы.
- Сохраните результат в CSV‑файл.
Построение таблицы
- На основе полученных сущностей создайте DataFrame с колонками Дата, Организация, Сумма, Тема.
- Приведите все суммы к целому числу в рублях.
Агрегация
- Сгруппируйте данные по организации и вычислите общий объём продаж и среднюю сумму.
- Выведите топ‑3 организации по общему объёму.
Тренд‑анализ
- Постройте график месячной динамики суммы продаж.
- Определите, в каком месяце был пик продаж и предложите гипотезу (например, сезонность).
Сводка текста
- Сгенерируйте короткое резюме (2‑3 предложения) из колонок Тема и Сумма с помощью модели‑суммаризатора.
- Оцените, насколько резюме отражает основные цифры.

Выполнив эти упражнения, вы получите готовый «pipeline» от сырого текста до готовой аналитической таблицы и сводки, который можно адаптировать под любые задачи в работе и учёбе. Удачной автоматизации!

DeepEdit!