diff --git a/.manus/db/db-query-error-1781683149718.json b/.manus/db/db-query-error-1781683149718.json new file mode 100644 index 0000000..650236f --- /dev/null +++ b/.manus/db/db-query-error-1781683149718.json @@ -0,0 +1,8 @@ +{ + "query": "UPDATE veille_items SET typeVeille = 'informationnelle' WHERE typeVeille = 'generale';\nUPDATE rss_feeds SET defaultTypeVeille = 'informationnelle' WHERE defaultTypeVeille = 'generale';", + "command": "mysql --batch --raw --column-names --default-character-set=utf8mb4 --host gateway02.us-east-1.prod.aws.tidbcloud.com --port 4000 --user 4CrrYuB5tme73Qo.63b125a8f9ca --database VepzDyqR8YkJNcqpZ729Bw --execute UPDATE veille_items SET typeVeille = 'informationnelle' WHERE typeVeille = 'generale';\nUPDATE rss_feeds SET defaultTypeVeille = 'informationnelle' WHERE defaultTypeVeille = 'generale';", + "returncode": 1, + "logs": [ + "ERROR 1265 (01000) at line 1: Data truncated for column '%s' at row %d" + ] +} \ No newline at end of file diff --git a/client/public/__manus__/version.json b/client/public/__manus__/version.json index 3a39960..e9b1930 100644 --- a/client/public/__manus__/version.json +++ b/client/public/__manus__/version.json @@ -1,4 +1,4 @@ { - "version": "b19031d9", - "timestamp": 1781681307542 + "version": "7708bf54", + "timestamp": 1781683337686 } \ No newline at end of file diff --git a/client/src/pages/RssFeeds.tsx b/client/src/pages/RssFeeds.tsx index 930ba34..2941c75 100644 --- a/client/src/pages/RssFeeds.tsx +++ b/client/src/pages/RssFeeds.tsx @@ -61,7 +61,7 @@ import { cn } from "@/lib/utils"; // ─── Types ──────────────────────────────────────────────────────────────────── type FeedType = "veille" | "aap"; -type TypeVeille = "reglementaire" | "concurrentielle" | "technologique" | "generale"; +type TypeVeille = "reglementaire" | "concurrentielle" | "technologique" | "informationnelle"; type CategorieAap = "Handicap" | "PA" | "Enfance" | "Précarité" | "Sanitaire" | "Autre"; interface AutoRule { @@ -89,11 +89,11 @@ const TYPE_VEILLE_LABELS: Record = { reglementaire: "Réglementaire", concurrentielle: "Concurrentielle", technologique: "Technologique", - generale: "Générale", + informationnelle: "Informationnelle", }; const CATEGORIE_AAP_OPTIONS: CategorieAap[] = ["Handicap", "PA", "Enfance", "Précarité", "Sanitaire", "Autre"]; -const TYPE_VEILLE_OPTIONS: TypeVeille[] = ["reglementaire", "concurrentielle", "technologique", "generale"]; +const TYPE_VEILLE_OPTIONS: TypeVeille[] = ["reglementaire", "concurrentielle", "technologique", "informationnelle"]; const INTERVAL_OPTIONS = [ { value: 30, label: "30 minutes" }, diff --git a/client/src/pages/VeilleDashboard.tsx b/client/src/pages/VeilleDashboard.tsx index fa935ca..395bee5 100644 --- a/client/src/pages/VeilleDashboard.tsx +++ b/client/src/pages/VeilleDashboard.tsx @@ -46,7 +46,7 @@ import { cn } from "@/lib/utils"; import { format } from "date-fns"; import { fr } from "date-fns/locale"; -type TypeVeille = "reglementaire" | "concurrentielle" | "technologique" | "generale"; +type TypeVeille = "reglementaire" | "concurrentielle" | "technologique" | "informationnelle"; interface VeilleItem { id: number; @@ -62,7 +62,6 @@ interface VeilleItem { datePublication: Date | null; importedAt: Date; iaRelevant: boolean | null; - iaCategorie: string | null; iaClassifiedBy: "ia" | "rules" | null; iaReason: string | null; iaResume: string | null; @@ -72,28 +71,28 @@ const TYPE_LABELS: Record = { reglementaire: "Réglementaire", concurrentielle: "Concurrentielle", technologique: "Technologique", - generale: "Générale", + informationnelle: "Informationnelle", }; const TYPE_COLORS: Record = { reglementaire: "bg-blue-100 text-blue-800 border-blue-200", concurrentielle: "bg-purple-100 text-purple-800 border-purple-200", technologique: "bg-emerald-100 text-emerald-800 border-emerald-200", - generale: "bg-amber-100 text-amber-800 border-amber-200", + informationnelle: "bg-amber-100 text-amber-800 border-amber-200", }; const TYPE_ACCENT: Record = { reglementaire: "border-l-blue-500", concurrentielle: "border-l-purple-500", technologique: "border-l-emerald-500", - generale: "border-l-amber-500", + informationnelle: "border-l-amber-500", }; const TYPE_HEADER_BG: Record = { reglementaire: "from-blue-50 to-blue-100/30 border-blue-200", concurrentielle: "from-purple-50 to-purple-100/30 border-purple-200", technologique: "from-emerald-50 to-emerald-100/30 border-emerald-200", - generale: "from-amber-50 to-amber-100/30 border-amber-200", + informationnelle: "from-amber-50 to-amber-100/30 border-amber-200", }; const PAGE_SIZE = 24; @@ -151,15 +150,7 @@ function VeilleDetailDialog({ {/* Métadonnées en grille */}
- {item.categorie && ( -
- -
-

Catégorie

-

{item.categorie}

-
-
- )} + {item.niveau && (
@@ -314,7 +305,6 @@ export default function VeilleDashboard() { const totalPages = Math.ceil(total / PAGE_SIZE); const filterOptions = [ - { key: "categorie", label: "Catégorie", options: filtersQuery.data?.categories ?? [] }, { key: "niveau", label: "Niveau", options: filtersQuery.data?.niveaux ?? [] }, { key: "territoire", label: "Territoire", options: filtersQuery.data?.territoires ?? [] }, { key: "dateFrom", label: "Date depuis", type: "date" as const }, @@ -334,7 +324,7 @@ export default function VeilleDashboard() { )}

- Suivi réglementaire, concurrentiel, technologique et général + Suivi réglementaire, concurrentiel, technologique et informationnel

@@ -460,7 +450,6 @@ function VeilleListView({ items, onDetail, readIds }: { items: VeilleItem[]; onD # Titre Type - Catégorie Niveau Territoire Date @@ -487,9 +476,6 @@ function VeilleListView({ items, onDetail, readIds }: { items: VeilleItem[]; onD {TYPE_LABELS[item.typeVeille as TypeVeille] || item.typeVeille} - - {item.categorie || "—"} - {item.niveau || "—"} {item.territoire || "—"} {formatDate(item.datePublication) || "—"} @@ -562,8 +548,7 @@ function VeilleGridView({ items, onDetail, readIds }: { items: VeilleItem[]; onD {(item.iaResume || item.resume) &&

{item.iaResume || item.resume}

}
- {item.categorie && {item.categorie}} - {item.territoire && ( + {item.territoire && ( {item.territoire} diff --git a/drizzle/0009_fat_rocket_racer.sql b/drizzle/0009_fat_rocket_racer.sql new file mode 100644 index 0000000..31242b9 --- /dev/null +++ b/drizzle/0009_fat_rocket_racer.sql @@ -0,0 +1,2 @@ +ALTER TABLE `rss_feeds` MODIFY COLUMN `defaultTypeVeille` enum('reglementaire','concurrentielle','technologique','informationnelle');--> statement-breakpoint +ALTER TABLE `veille_items` MODIFY COLUMN `typeVeille` enum('reglementaire','concurrentielle','technologique','informationnelle') NOT NULL; \ No newline at end of file diff --git a/drizzle/meta/0009_snapshot.json b/drizzle/meta/0009_snapshot.json new file mode 100644 index 0000000..4f0b99b --- /dev/null +++ b/drizzle/meta/0009_snapshot.json @@ -0,0 +1,985 @@ +{ + "version": "5", + "dialect": "mysql", + "id": "60818888-9a29-4da2-b430-ea765431d740", + "prevId": "88852e92-af9f-4778-8015-3c6318f59cb4", + "tables": { + "aap_items": { + "name": "aap_items", + "columns": { + "id": { + "name": "id", + "type": "int", + "primaryKey": false, + "notNull": true, + "autoincrement": true + }, + "dedupKey": { + "name": "dedupKey", + "type": "varchar(64)", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "titre": { + "name": "titre", + "type": "text", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "categorie": { + "name": "categorie", + "type": "enum('Handicap','PA','Enfance','Précarité','Sanitaire','Autre')", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "region": { + "name": "region", + "type": "varchar(255)", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "departement": { + "name": "departement", + "type": "varchar(255)", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "departements": { + "name": "departements", + "type": "text", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "dateCloture": { + "name": "dateCloture", + "type": "timestamp", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "datePublication": { + "name": "datePublication", + "type": "timestamp", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "lien": { + "name": "lien", + "type": "text", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "importedAt": { + "name": "importedAt", + "type": "timestamp", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "default": "(now())" + }, + "iaRelevant": { + "name": "iaRelevant", + "type": "boolean", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "iaCategorie": { + "name": "iaCategorie", + "type": "varchar(128)", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "iaClassifiedBy": { + "name": "iaClassifiedBy", + "type": "enum('ia','rules')", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "iaReason": { + "name": "iaReason", + "type": "text", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "iaResume": { + "name": "iaResume", + "type": "text", + "primaryKey": false, + "notNull": false, + "autoincrement": false + } + }, + "indexes": {}, + "foreignKeys": {}, + "compositePrimaryKeys": { + "aap_items_id": { + "name": "aap_items_id", + "columns": [ + "id" + ] + } + }, + "uniqueConstraints": { + "aap_items_dedupKey_unique": { + "name": "aap_items_dedupKey_unique", + "columns": [ + "dedupKey" + ] + } + }, + "checkConstraint": {} + }, + "app_settings": { + "name": "app_settings", + "columns": { + "id": { + "name": "id", + "type": "int", + "primaryKey": false, + "notNull": true, + "autoincrement": true + }, + "key": { + "name": "key", + "type": "varchar(128)", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "value": { + "name": "value", + "type": "text", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "updatedAt": { + "name": "updatedAt", + "type": "timestamp", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "onUpdate": true, + "default": "(now())" + } + }, + "indexes": {}, + "foreignKeys": {}, + "compositePrimaryKeys": { + "app_settings_id": { + "name": "app_settings_id", + "columns": [ + "id" + ] + } + }, + "uniqueConstraints": { + "app_settings_key_unique": { + "name": "app_settings_key_unique", + "columns": [ + "key" + ] + } + }, + "checkConstraint": {} + }, + "article_reads": { + "name": "article_reads", + "columns": { + "id": { + "name": "id", + "type": "int", + "primaryKey": false, + "notNull": true, + "autoincrement": true + }, + "userId": { + "name": "userId", + "type": "int", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "articleType": { + "name": "articleType", + "type": "enum('veille','aap')", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "articleId": { + "name": "articleId", + "type": "int", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "readAt": { + "name": "readAt", + "type": "timestamp", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "default": "(now())" + } + }, + "indexes": {}, + "foreignKeys": {}, + "compositePrimaryKeys": { + "article_reads_id": { + "name": "article_reads_id", + "columns": [ + "id" + ] + } + }, + "uniqueConstraints": {}, + "checkConstraint": {} + }, + "ideas": { + "name": "ideas", + "columns": { + "id": { + "name": "id", + "type": "int", + "primaryKey": false, + "notNull": true, + "autoincrement": true + }, + "userId": { + "name": "userId", + "type": "int", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "userName": { + "name": "userName", + "type": "varchar(255)", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "titre": { + "name": "titre", + "type": "varchar(512)", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "message": { + "name": "message", + "type": "text", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "statut": { + "name": "statut", + "type": "enum('ouvert','en_cours','resolu','ferme')", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "default": "'ouvert'" + }, + "reponseAdmin": { + "name": "reponseAdmin", + "type": "text", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "reponduPar": { + "name": "reponduPar", + "type": "varchar(255)", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "reponduAt": { + "name": "reponduAt", + "type": "timestamp", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "createdAt": { + "name": "createdAt", + "type": "timestamp", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "default": "(now())" + }, + "updatedAt": { + "name": "updatedAt", + "type": "timestamp", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "onUpdate": true, + "default": "(now())" + } + }, + "indexes": {}, + "foreignKeys": {}, + "compositePrimaryKeys": { + "ideas_id": { + "name": "ideas_id", + "columns": [ + "id" + ] + } + }, + "uniqueConstraints": {}, + "checkConstraint": {} + }, + "import_logs": { + "name": "import_logs", + "columns": { + "id": { + "name": "id", + "type": "int", + "primaryKey": false, + "notNull": true, + "autoincrement": true + }, + "fileType": { + "name": "fileType", + "type": "enum('veille','aap')", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "source": { + "name": "source", + "type": "varchar(512)", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "status": { + "name": "status", + "type": "enum('success','partial','error')", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "totalRows": { + "name": "totalRows", + "type": "int", + "primaryKey": false, + "notNull": false, + "autoincrement": false, + "default": 0 + }, + "newRows": { + "name": "newRows", + "type": "int", + "primaryKey": false, + "notNull": false, + "autoincrement": false, + "default": 0 + }, + "skippedRows": { + "name": "skippedRows", + "type": "int", + "primaryKey": false, + "notNull": false, + "autoincrement": false, + "default": 0 + }, + "errorMessage": { + "name": "errorMessage", + "type": "text", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "details": { + "name": "details", + "type": "json", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "startedAt": { + "name": "startedAt", + "type": "timestamp", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "default": "(now())" + }, + "completedAt": { + "name": "completedAt", + "type": "timestamp", + "primaryKey": false, + "notNull": false, + "autoincrement": false + } + }, + "indexes": {}, + "foreignKeys": {}, + "compositePrimaryKeys": { + "import_logs_id": { + "name": "import_logs_id", + "columns": [ + "id" + ] + } + }, + "uniqueConstraints": {}, + "checkConstraint": {} + }, + "local_users": { + "name": "local_users", + "columns": { + "id": { + "name": "id", + "type": "int", + "primaryKey": false, + "notNull": true, + "autoincrement": true + }, + "name": { + "name": "name", + "type": "varchar(255)", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "username": { + "name": "username", + "type": "varchar(128)", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "email": { + "name": "email", + "type": "varchar(320)", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "passwordHash": { + "name": "passwordHash", + "type": "varchar(255)", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "role": { + "name": "role", + "type": "enum('admin','user','readonly')", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "default": "'user'" + }, + "isActive": { + "name": "isActive", + "type": "boolean", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "default": true + }, + "createdAt": { + "name": "createdAt", + "type": "timestamp", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "default": "(now())" + }, + "updatedAt": { + "name": "updatedAt", + "type": "timestamp", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "onUpdate": true, + "default": "(now())" + }, + "lastSignedIn": { + "name": "lastSignedIn", + "type": "timestamp", + "primaryKey": false, + "notNull": false, + "autoincrement": false + } + }, + "indexes": {}, + "foreignKeys": {}, + "compositePrimaryKeys": { + "local_users_id": { + "name": "local_users_id", + "columns": [ + "id" + ] + } + }, + "uniqueConstraints": { + "local_users_username_unique": { + "name": "local_users_username_unique", + "columns": [ + "username" + ] + } + }, + "checkConstraint": {} + }, + "rss_feeds": { + "name": "rss_feeds", + "columns": { + "id": { + "name": "id", + "type": "int", + "primaryKey": false, + "notNull": true, + "autoincrement": true + }, + "url": { + "name": "url", + "type": "text", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "name": { + "name": "name", + "type": "varchar(255)", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "feedType": { + "name": "feedType", + "type": "enum('veille','aap')", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "defaultTypeVeille": { + "name": "defaultTypeVeille", + "type": "enum('reglementaire','concurrentielle','technologique','informationnelle')", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "defaultCategorieAap": { + "name": "defaultCategorieAap", + "type": "enum('Handicap','PA','Enfance','Précarité','Sanitaire','Autre')", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "autoRules": { + "name": "autoRules", + "type": "json", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "isActive": { + "name": "isActive", + "type": "boolean", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "default": true + }, + "lastFetchedAt": { + "name": "lastFetchedAt", + "type": "timestamp", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "lastFetchStatus": { + "name": "lastFetchStatus", + "type": "enum('ok','error','pending')", + "primaryKey": false, + "notNull": false, + "autoincrement": false, + "default": "'pending'" + }, + "lastFetchError": { + "name": "lastFetchError", + "type": "text", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "createdAt": { + "name": "createdAt", + "type": "timestamp", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "default": "(now())" + }, + "updatedAt": { + "name": "updatedAt", + "type": "timestamp", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "onUpdate": true, + "default": "(now())" + } + }, + "indexes": {}, + "foreignKeys": {}, + "compositePrimaryKeys": { + "rss_feeds_id": { + "name": "rss_feeds_id", + "columns": [ + "id" + ] + } + }, + "uniqueConstraints": {}, + "checkConstraint": {} + }, + "rss_settings": { + "name": "rss_settings", + "columns": { + "id": { + "name": "id", + "type": "int", + "primaryKey": false, + "notNull": true, + "autoincrement": true + }, + "fetchIntervalMinutes": { + "name": "fetchIntervalMinutes", + "type": "int", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "default": 360 + }, + "scheduledTime": { + "name": "scheduledTime", + "type": "varchar(5)", + "primaryKey": false, + "notNull": false, + "autoincrement": false, + "default": "'06:00'" + }, + "fetchMode": { + "name": "fetchMode", + "type": "enum('interval','scheduled')", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "default": "'scheduled'" + }, + "autoFetchEnabled": { + "name": "autoFetchEnabled", + "type": "boolean", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "default": true + }, + "updatedAt": { + "name": "updatedAt", + "type": "timestamp", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "onUpdate": true, + "default": "(now())" + } + }, + "indexes": {}, + "foreignKeys": {}, + "compositePrimaryKeys": { + "rss_settings_id": { + "name": "rss_settings_id", + "columns": [ + "id" + ] + } + }, + "uniqueConstraints": {}, + "checkConstraint": {} + }, + "users": { + "name": "users", + "columns": { + "id": { + "name": "id", + "type": "int", + "primaryKey": false, + "notNull": true, + "autoincrement": true + }, + "openId": { + "name": "openId", + "type": "varchar(64)", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "name": { + "name": "name", + "type": "text", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "email": { + "name": "email", + "type": "varchar(320)", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "loginMethod": { + "name": "loginMethod", + "type": "varchar(64)", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "role": { + "name": "role", + "type": "enum('user','admin')", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "default": "'user'" + }, + "createdAt": { + "name": "createdAt", + "type": "timestamp", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "default": "(now())" + }, + "updatedAt": { + "name": "updatedAt", + "type": "timestamp", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "onUpdate": true, + "default": "(now())" + }, + "lastSignedIn": { + "name": "lastSignedIn", + "type": "timestamp", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "default": "(now())" + } + }, + "indexes": {}, + "foreignKeys": {}, + "compositePrimaryKeys": { + "users_id": { + "name": "users_id", + "columns": [ + "id" + ] + } + }, + "uniqueConstraints": { + "users_openId_unique": { + "name": "users_openId_unique", + "columns": [ + "openId" + ] + } + }, + "checkConstraint": {} + }, + "veille_items": { + "name": "veille_items", + "columns": { + "id": { + "name": "id", + "type": "int", + "primaryKey": false, + "notNull": true, + "autoincrement": true + }, + "dedupKey": { + "name": "dedupKey", + "type": "varchar(64)", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "titre": { + "name": "titre", + "type": "text", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "categorie": { + "name": "categorie", + "type": "varchar(128)", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "niveau": { + "name": "niveau", + "type": "varchar(128)", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "territoire": { + "name": "territoire", + "type": "varchar(255)", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "territoires": { + "name": "territoires", + "type": "text", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "resume": { + "name": "resume", + "type": "text", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "source": { + "name": "source", + "type": "varchar(512)", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "passage": { + "name": "passage", + "type": "text", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "lien": { + "name": "lien", + "type": "text", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "typeVeille": { + "name": "typeVeille", + "type": "enum('reglementaire','concurrentielle','technologique','informationnelle')", + "primaryKey": false, + "notNull": true, + "autoincrement": false + }, + "datePublication": { + "name": "datePublication", + "type": "timestamp", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "importedAt": { + "name": "importedAt", + "type": "timestamp", + "primaryKey": false, + "notNull": true, + "autoincrement": false, + "default": "(now())" + }, + "iaRelevant": { + "name": "iaRelevant", + "type": "boolean", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "iaCategorie": { + "name": "iaCategorie", + "type": "varchar(128)", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "iaClassifiedBy": { + "name": "iaClassifiedBy", + "type": "enum('ia','rules')", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "iaReason": { + "name": "iaReason", + "type": "text", + "primaryKey": false, + "notNull": false, + "autoincrement": false + }, + "iaResume": { + "name": "iaResume", + "type": "text", + "primaryKey": false, + "notNull": false, + "autoincrement": false + } + }, + "indexes": {}, + "foreignKeys": {}, + "compositePrimaryKeys": { + "veille_items_id": { + "name": "veille_items_id", + "columns": [ + "id" + ] + } + }, + "uniqueConstraints": { + "veille_items_dedupKey_unique": { + "name": "veille_items_dedupKey_unique", + "columns": [ + "dedupKey" + ] + } + }, + "checkConstraint": {} + } + }, + "views": {}, + "_meta": { + "schemas": {}, + "tables": {}, + "columns": {} + }, + "internal": { + "tables": {}, + "indexes": {} + } +} \ No newline at end of file diff --git a/drizzle/meta/_journal.json b/drizzle/meta/_journal.json index f37c075..94b48e0 100644 --- a/drizzle/meta/_journal.json +++ b/drizzle/meta/_journal.json @@ -64,6 +64,13 @@ "when": 1781593251405, "tag": "0008_worried_molten_man", "breakpoints": true + }, + { + "idx": 9, + "version": "5", + "when": 1781683138994, + "tag": "0009_fat_rocket_racer", + "breakpoints": true } ] } \ No newline at end of file diff --git a/drizzle/schema.ts b/drizzle/schema.ts index 08930f5..90eb35c 100644 --- a/drizzle/schema.ts +++ b/drizzle/schema.ts @@ -73,7 +73,7 @@ export const veilleItems = mysqlTable("veille_items", { passage: text("passage"), lien: text("lien"), // Type de veille (feuille d'origine) - typeVeille: mysqlEnum("typeVeille", ["reglementaire", "concurrentielle", "technologique", "generale"]).notNull(), + typeVeille: mysqlEnum("typeVeille", ["reglementaire", "concurrentielle", "technologique", "informationnelle"]).notNull(), // Date extraite de la colonne Source (qui contient parfois une date ISO) datePublication: timestamp("datePublication"), importedAt: timestamp("importedAt").defaultNow().notNull(), @@ -165,7 +165,7 @@ export const rssFeeds = mysqlTable("rss_feeds", { // Type de contenu alimenté par ce flux feedType: mysqlEnum("feedType", ["veille", "aap"]).notNull(), // Pour les flux de type veille : type de veille par défaut - defaultTypeVeille: mysqlEnum("defaultTypeVeille", ["reglementaire", "concurrentielle", "technologique", "generale"]), + defaultTypeVeille: mysqlEnum("defaultTypeVeille", ["reglementaire", "concurrentielle", "technologique", "informationnelle"]), // Pour les flux de type aap : catégorie par défaut defaultCategorieAap: mysqlEnum("defaultCategorieAap", ["Handicap", "PA", "Enfance", "Précarité", "Sanitaire", "Autre"]), // Règles d'automatisme JSON : [{keyword, typeVeille|categorieAap}] diff --git a/scripts/migrate-generale-to-informationnelle.mjs b/scripts/migrate-generale-to-informationnelle.mjs new file mode 100644 index 0000000..03c1dae --- /dev/null +++ b/scripts/migrate-generale-to-informationnelle.mjs @@ -0,0 +1,88 @@ +/** + * Script de migration : generale → informationnelle + * + * Étapes : + * 1. Élargir l'enum typeVeille pour inclure 'informationnelle' (en plus de 'generale') + * 2. Mettre à jour les données existantes (generale → informationnelle) + * 3. Réduire l'enum pour supprimer 'generale' + * 4. Même chose pour defaultTypeVeille dans rss_feeds + */ + +import mysql from "mysql2/promise"; +import { readFileSync } from "fs"; +import { config } from "dotenv"; + +config(); + +const DATABASE_URL = process.env.DATABASE_URL; +if (!DATABASE_URL) { + console.error("DATABASE_URL non définie"); + process.exit(1); +} + +// Extraire les paramètres de connexion depuis l'URL +const url = new URL(DATABASE_URL); +const sslParam = url.searchParams.get("ssl"); +const sslConfig = sslParam ? JSON.parse(sslParam) : undefined; + +const connection = await mysql.createConnection({ + host: url.hostname, + port: parseInt(url.port || "3306"), + user: url.username, + password: url.password, + database: url.pathname.slice(1), + ssl: sslConfig, +}); + +console.log("Connexion BDD établie"); + +try { + // Étape 1 : Élargir l'enum veille_items.typeVeille + console.log("1. Élargissement de l'enum veille_items.typeVeille..."); + await connection.execute( + `ALTER TABLE veille_items MODIFY COLUMN typeVeille ENUM('reglementaire','concurrentielle','technologique','generale','informationnelle') NOT NULL` + ); + console.log(" ✓ Enum élargi"); + + // Étape 2 : Migrer les données veille_items + console.log("2. Migration des données veille_items (generale → informationnelle)..."); + const [result1] = await connection.execute( + `UPDATE veille_items SET typeVeille = 'informationnelle' WHERE typeVeille = 'generale'` + ); + console.log(` ✓ ${result1.affectedRows} lignes mises à jour`); + + // Étape 3 : Réduire l'enum veille_items.typeVeille (supprimer 'generale') + console.log("3. Réduction de l'enum veille_items.typeVeille (suppression de 'generale')..."); + await connection.execute( + `ALTER TABLE veille_items MODIFY COLUMN typeVeille ENUM('reglementaire','concurrentielle','technologique','informationnelle') NOT NULL` + ); + console.log(" ✓ Enum réduit"); + + // Étape 4 : Élargir l'enum rss_feeds.defaultTypeVeille + console.log("4. Élargissement de l'enum rss_feeds.defaultTypeVeille..."); + await connection.execute( + `ALTER TABLE rss_feeds MODIFY COLUMN defaultTypeVeille ENUM('reglementaire','concurrentielle','technologique','generale','informationnelle')` + ); + console.log(" ✓ Enum élargi"); + + // Étape 5 : Migrer les données rss_feeds + console.log("5. Migration des données rss_feeds (generale → informationnelle)..."); + const [result2] = await connection.execute( + `UPDATE rss_feeds SET defaultTypeVeille = 'informationnelle' WHERE defaultTypeVeille = 'generale'` + ); + console.log(` ✓ ${result2.affectedRows} lignes mises à jour`); + + // Étape 6 : Réduire l'enum rss_feeds.defaultTypeVeille (supprimer 'generale') + console.log("6. Réduction de l'enum rss_feeds.defaultTypeVeille (suppression de 'generale')..."); + await connection.execute( + `ALTER TABLE rss_feeds MODIFY COLUMN defaultTypeVeille ENUM('reglementaire','concurrentielle','technologique','informationnelle')` + ); + console.log(" ✓ Enum réduit"); + + console.log("\n✅ Migration terminée avec succès !"); +} catch (err) { + console.error("❌ Erreur de migration :", err.message); + process.exit(1); +} finally { + await connection.end(); +} diff --git a/server/aiClassifier.test.ts b/server/aiClassifier.test.ts index 84dea34..34cad47 100644 --- a/server/aiClassifier.test.ts +++ b/server/aiClassifier.test.ts @@ -4,7 +4,7 @@ * Ces tests vérifient le comportement du module de classification IA : * - Fallback sur les règles en cas d'erreur LLM * - Résultat "hors périmètre" quand pertinent = false - * - Classification correcte quand les deux étapes réussissent + * - Classification correcte en une seule étape (pertinence + type de veille) */ import { describe, it, expect, vi, beforeEach } from "vitest"; @@ -37,8 +37,7 @@ function makeLLMResponse(content: string) { } const fallbackFn = () => ({ - categorie: "Autre" as const, - typeVeille: "generale" as const, + typeVeille: "informationnelle" as const, }); // ─── Tests ──────────────────────────────────────────────────────────────────── @@ -48,28 +47,33 @@ describe("classifyArticle", () => { vi.clearAllMocks(); }); - it("retourne le fallback (rules) si le LLM échoue à l'étape 1 (pertinence)", async () => { + it("retourne le fallback (rules) si le LLM échoue", async () => { mockInvokeLLM.mockRejectedValueOnce(new Error("LLM timeout")); const result = await classifyArticle("Titre test", "Résumé test", fallbackFn); expect(result.classifiedBy).toBe("rules"); - expect(result.categorie).toBe("Autre"); + expect(result.typeVeille).toBe("informationnelle"); expect(result.relevant).toBe(true); // on suppose pertinent par défaut + expect(result.reason).toContain("règles"); }); - it("retourne le fallback (rules) si le LLM retourne un JSON malformé à l'étape 1", async () => { + it("retourne le fallback (rules) si le LLM retourne un JSON malformé", async () => { mockInvokeLLM.mockResolvedValueOnce(makeLLMResponse("pas du JSON valide ici")); const result = await classifyArticle("Titre test", "Résumé test", fallbackFn); expect(result.classifiedBy).toBe("rules"); - expect(result.categorie).toBe("Autre"); + expect(result.typeVeille).toBe("informationnelle"); }); - it("retourne relevant=false et categorie=Autre si l'article est hors périmètre", async () => { + it("retourne relevant=false et typeVeille=null si l'article est hors périmètre", async () => { mockInvokeLLM.mockResolvedValueOnce( - makeLLMResponse(JSON.stringify({ pertinent: false, raison: "Actualité politique générale sans lien médico-social" })) + makeLLMResponse(JSON.stringify({ + pertinent: false, + typeVeille: null, + raison: "Actualité politique générale sans lien médico-social", + })) ); const result = await classifyArticle( @@ -79,25 +83,18 @@ describe("classifyArticle", () => { ); expect(result.relevant).toBe(false); - expect(result.categorie).toBe("Autre"); + expect(result.typeVeille).toBeNull(); expect(result.classifiedBy).toBe("ia"); expect(result.reason).toContain("politique"); }); - it("classifie correctement un article pertinent en deux étapes", async () => { - // Étape 1 : pertinent = true + it("classifie correctement un article pertinent réglementaire en une seule étape", async () => { mockInvokeLLM.mockResolvedValueOnce( - makeLLMResponse(JSON.stringify({ pertinent: true, raison: "Concerne les EHPAD et la perte d'autonomie" })) - ); - // Étape 2 : classification - mockInvokeLLM.mockResolvedValueOnce( - makeLLMResponse( - JSON.stringify({ - categorie: "PA", - typeVeille: "reglementaire", - raison: "Décret relatif au financement des EHPAD", - }) - ) + makeLLMResponse(JSON.stringify({ + pertinent: true, + typeVeille: "reglementaire", + raison: "Décret relatif au financement des EHPAD", + })) ); const result = await classifyArticle( @@ -107,50 +104,33 @@ describe("classifyArticle", () => { ); expect(result.relevant).toBe(true); - expect(result.categorie).toBe("PA"); expect(result.typeVeille).toBe("reglementaire"); expect(result.classifiedBy).toBe("ia"); }); - it("retourne le fallback (rules) si l'étape 2 (classification) échoue", async () => { - // Étape 1 : pertinent = true - mockInvokeLLM.mockResolvedValueOnce( - makeLLMResponse(JSON.stringify({ pertinent: true, raison: "Article pertinent" })) - ); - // Étape 2 : erreur LLM - mockInvokeLLM.mockRejectedValueOnce(new Error("LLM quota exceeded")); - - const result = await classifyArticle("Titre pertinent", "Résumé pertinent", fallbackFn); - - expect(result.classifiedBy).toBe("rules"); - expect(result.relevant).toBe(true); - expect(result.reason).toContain("Pertinent"); - }); - it("accepte les réponses LLM avec balises markdown ```json```", async () => { - // Étape 1 avec balises markdown mockInvokeLLM.mockResolvedValueOnce( - makeLLMResponse("```json\n" + JSON.stringify({ pertinent: false, raison: "Hors périmètre" }) + "\n```") + makeLLMResponse("```json\n" + JSON.stringify({ + pertinent: false, + typeVeille: null, + raison: "Hors périmètre", + }) + "\n```") ); const result = await classifyArticle("Titre sport", "Résultats du championnat de football", fallbackFn); expect(result.relevant).toBe(false); + expect(result.typeVeille).toBeNull(); expect(result.classifiedBy).toBe("ia"); }); - it("classe un article handicap correctement", async () => { + it("classe un article handicap comme réglementaire", async () => { mockInvokeLLM.mockResolvedValueOnce( - makeLLMResponse(JSON.stringify({ pertinent: true, raison: "Concerne les IME et l'inclusion scolaire" })) - ); - mockInvokeLLM.mockResolvedValueOnce( - makeLLMResponse( - JSON.stringify({ - categorie: "Handicap", - typeVeille: "reglementaire", - raison: "Circulaire sur l'inclusion scolaire des enfants en situation de handicap", - }) - ) + makeLLMResponse(JSON.stringify({ + pertinent: true, + typeVeille: "reglementaire", + raison: "Circulaire sur l'inclusion scolaire des enfants en situation de handicap", + })) ); const result = await classifyArticle( @@ -159,8 +139,48 @@ describe("classifyArticle", () => { fallbackFn ); - expect(result.categorie).toBe("Handicap"); + expect(result.relevant).toBe(true); expect(result.typeVeille).toBe("reglementaire"); expect(result.classifiedBy).toBe("ia"); }); + + it("classe un article technologique correctement", async () => { + mockInvokeLLM.mockResolvedValueOnce( + makeLLMResponse(JSON.stringify({ + pertinent: true, + typeVeille: "technologique", + raison: "Déploiement d'un nouveau logiciel de gestion pour les ESMS", + })) + ); + + const result = await classifyArticle( + "Nouveau logiciel de gestion pour les établissements médico-sociaux", + "Un éditeur lance une solution numérique dédiée à la gestion des ESMS.", + fallbackFn + ); + + expect(result.relevant).toBe(true); + expect(result.typeVeille).toBe("technologique"); + expect(result.classifiedBy).toBe("ia"); + }); + + it("utilise informationnelle comme typeVeille par défaut si pertinent mais typeVeille null", async () => { + mockInvokeLLM.mockResolvedValueOnce( + makeLLMResponse(JSON.stringify({ + pertinent: true, + typeVeille: null, + raison: "Article pertinent mais type non déterminé", + })) + ); + + const result = await classifyArticle( + "Rapport annuel sur le secteur médico-social", + "Publication du rapport annuel de la CNSA sur l'état du secteur.", + fallbackFn + ); + + expect(result.relevant).toBe(true); + expect(result.typeVeille).toBe("informationnelle"); // fallback sur informationnelle + expect(result.classifiedBy).toBe("ia"); + }); }); diff --git a/server/aiClassifier.ts b/server/aiClassifier.ts index 6828adb..0f8c4aa 100644 --- a/server/aiClassifier.ts +++ b/server/aiClassifier.ts @@ -1,12 +1,9 @@ /** - * Classification IA des articles RSS en deux étapes : + * Classification IA des articles RSS en une seule étape : * - * Étape 1 — Filtre de pertinence : - * Détermine si l'article est pertinent pour le secteur médico-social - * (handicap, personnes âgées, protection de l'enfance, précarité, sanitaire). - * - * Étape 2 — Classification par catégorie : - * Si l'article est pertinent, le classe dans l'une des catégories du secteur. + * Le LLM détermine simultanément : + * 1. Si l'article est pertinent pour le secteur médico-social + * 2. Le type de veille (réglementaire, concurrentielle, technologique, informationnelle) * * En cas d'erreur LLM (timeout, quota, JSON malformé), le module retourne * classifiedBy = "rules" pour signaler que le fallback doit être utilisé. @@ -16,38 +13,30 @@ import { invokeLLM } from "./_core/llm"; // ─── Types ──────────────────────────────────────────────────────────────────── -export type AiCategorie = - | "Handicap" - | "PA" - | "Enfance" - | "Précarité" - | "Sanitaire" - | "Autre"; - export type AiTypeVeille = | "reglementaire" | "concurrentielle" | "technologique" - | "generale"; + | "informationnelle"; export interface AiClassificationResult { /** L'article est-il pertinent pour le secteur médico-social ? */ relevant: boolean; - /** Catégorie principale déduite par l'IA */ - categorie: AiCategorie; - /** Type de veille déduit par l'IA (uniquement pour les articles de veille) */ - typeVeille?: AiTypeVeille; + /** Type de veille déduit par l'IA (null si non pertinent) */ + typeVeille: AiTypeVeille | null; /** Explication courte de la décision */ reason: string; /** Indique si la classification a été faite par l'IA ou par les règles (fallback) */ classifiedBy: "ia" | "rules"; } -// ─── Prompt 1 : Filtre de pertinence ───────────────────────────────────────── +// ─── Prompt unique : pertinence + type de veille ───────────────────────────── -const PROMPT_PERTINENCE = `Tu es un expert des établissements et services sociaux et médico-sociaux (ESMS) en France, spécialisé dans les secteurs : handicap, personnes âgées, protection de l'enfance, précarité/insertion, sanitaire. +const PROMPT_CLASSIFICATION = `Tu es un expert des établissements et services sociaux et médico-sociaux (ESMS) en France, spécialisé dans les secteurs : handicap, personnes âgées, protection de l'enfance, précarité/insertion, sanitaire. -Ta mission est de déterminer si un article de presse ou une publication institutionnelle est DIRECTEMENT pertinent pour une association gestionnaire d'ESMS. +Ta mission est d'analyser un article et de déterminer : +1. S'il est DIRECTEMENT pertinent pour une association gestionnaire d'ESMS +2. Si oui, à quel type de veille il appartient Un article est pertinent UNIQUEMENT s'il traite explicitement de l'un des sujets suivants : - Réglementation, lois, décrets, circulaires concernant les ESMS, le secteur social ou médico-social @@ -59,50 +48,43 @@ Un article est pertinent UNIQUEMENT s'il traite explicitement de l'un des sujets - Santé publique avec impact direct sur les ESMS ou leurs usagers Un article est NON PERTINENT si : -- Il traite de politique générale, économie, international, environnement, sport, culture, agriculture, pêche, tourisme, immobilier, technologie grand public, etc. +- Il traite de politique générale, économie, international, environnement, sport, culture, agriculture, pêche, tourisme, immobilier, technologie grand public, rénovation énergétique, etc. - Il mentionne des personnes vulnérables de façon anecdotique sans lien avec les ESMS - Il concerne la santé uniquement sous l'angle hospitalier ou médical sans lien avec le médico-social - Le lien avec le secteur médico-social est vague, indirect ou nécessite plusieurs degrés de déduction Sois STRICT : en cas de doute, réponds pertinent: false. -Réponds UNIQUEMENT avec un objet JSON valide, sans texte autour, sans balises markdown : -{"pertinent": true/false, "raison": "explication courte en une phrase"}`; - -// ─── Prompt 2 : Classification par catégorie ───────────────────────────────── - -const PROMPT_CLASSIFICATION = `Tu es un expert des établissements et services sociaux et médico-sociaux (ESMS) évoluant dans les secteurs suivants: handicap, personnes âgées, protection de l'enfance, précarité, sanitaire. Analyse le texte fourni et classe-le dans un seul secteur principal en te basant uniquement sur le public concerné, la structure mentionnée, l'objectif principal et le cadre institutionnel éventuel (ARS, Département, Justice, etc.). - -Handicap : choisir cette catégorie si le public principal est une personne en situation de handicap (moteur, psychique, intellectuel, sensoriel, TSA, polyhandicap, etc.). Inclut les structures et dispositifs tels que IME, ITEP, ESAT, MAS, FAM, SAVS, SAMSAH, SESSAD, MDPH, PCH, SERAFIN-PH, inclusion et compensation du handicap. Même si des soins sont évoqués, rester dans cette catégorie si la structure principale est médico-sociale liée au handicap. - -Personnes âgées : choisir cette catégorie si le sujet principal concerne le vieillissement ou la perte d'autonomie. Inclut EHPAD, SSIAD, SPASAD, résidences autonomie, GIR, APA, maintien à domicile, dépendance, maladies neurodégénératives. Si le sujet porte principalement sur l'hôpital ou l'organisation des soins hospitaliers, choisir sanitaire. - -Protection de l'enfance : choisir cette catégorie si le texte concerne des mineurs en danger ou protégés. Inclut ASE, MECS, AEMO, placement familial, protection judiciaire, MNA, mesures administratives ou judiciaires de protection. Si la situation concerne la pauvreté familiale sans mesure de protection, choisir précarité/insertion. - -Précarité / Insertion : choisir cette catégorie si le sujet concerne l'exclusion sociale, l'hébergement, l'accès aux droits ou l'insertion professionnelle. Inclut CHRS, hébergement d'urgence, RSA, insertion sociale ou professionnelle, logement accompagné, accompagnement des publics migrants. Si une mesure judiciaire protège un mineur, choisir protection de l'enfance. - -Sanitaire : choisir cette catégorie si le sujet relève principalement du soin médical, de l'hôpital ou de l'organisation du système de santé. Inclut hôpital, parcours de soins, CPTS, psychiatrie hospitalière, santé publique, organisation des soins par l'ARS. Si l'article concerne un établissement médico-social avec coordination médicale, choisir le secteur médico-social correspondant plutôt que sanitaire. - -Toujours identifier en priorité le public principal, puis l'objectif central (soin médical, accompagnement social, protection, insertion), puis la structure dominante. - -Si aucune catégorie ne correspond clairement, ou si le texte ne concerne pas le secteur médico-social, répondre "Autre". - -IMPORTANT : Si le texte concerne la pêche, l'agriculture, le sport, la culture, l'environnement, l'économie générale, la politique internationale, ou tout autre domaine sans lien direct avec les ESMS, réponds obligatoirement {"categorie": "Autre", ...}. +Si l'article est pertinent, classe-le dans l'un des types de veille suivants : +- "reglementaire" : textes de loi, décrets, circulaires, obligations légales, réformes institutionnelles, instructions ministérielles +- "concurrentielle" : actualités d'autres associations ou structures, appels d'offres, marchés, positionnement sectoriel, benchmarks +- "technologique" : innovations numériques, outils, systèmes d'information, nouvelles pratiques professionnelles, recherche appliquée +- "informationnelle" : informations générales pertinentes pour le secteur sans caractère réglementaire, concurrentiel ou technologique fort (rapports, études, événements sectoriels, nominations, etc.) Réponds UNIQUEMENT avec un objet JSON valide, sans texte autour, sans balises markdown : -{"categorie": "Handicap"|"PA"|"Enfance"|"Précarité"|"Sanitaire"|"Autre", "typeVeille": "reglementaire"|"concurrentielle"|"technologique"|"generale", "raison": "explication courte en une phrase"} +{"pertinent": true/false, "typeVeille": "reglementaire"|"concurrentielle"|"technologique"|"informationnelle"|null, "raison": "explication courte en une phrase"} -Pour typeVeille : -- reglementaire : textes de loi, décrets, circulaires, obligations légales, réformes institutionnelles -- concurrentielle : actualités d'autres associations, appels d'offres, marchés, positionnement sectoriel -- technologique : innovations numériques, outils, systèmes d'information, nouvelles pratiques -- generale : tout autre sujet pertinent sans caractère réglementaire, concurrentiel ou technologique fort`; +Si pertinent est false, typeVeille doit être null.`; + +// ─── Prompt résumé IA ───────────────────────────────────────────────────────── + +const PROMPT_RESUME = `Tu es un expert des établissements et services sociaux et médico-sociaux (ESMS). +Tu dois rédiger un résumé clair et professionnel de l'article fourni, destiné aux professionnels du secteur médico-social. + +Consignes : +- Rédige 3 à 5 phrases en français, en langage clair et accessible +- Mets en avant les points clés : qui est concerné, quelle mesure ou information, quel impact pour les structures +- Reste factuel et objectif, sans jugement de valeur +- N'utilise pas de listes à puces, écris en prose +- Ne commence pas par "Cet article" ou "Le texte" +- Adapte le vocabulaire au secteur médico-social (ESMS, ARS, MDPH, etc.) + +Réponds UNIQUEMENT avec le texte du résumé, sans introduction ni conclusion.`; // ─── Utilitaire : parse JSON robuste ───────────────────────────────────────── function parseJsonSafe(text: string): T | null { try { - // Nettoyer les éventuelles balises markdown ```json ... ``` const cleaned = text .replace(/^```json\s*/i, "") .replace(/^```\s*/i, "") @@ -114,56 +96,22 @@ function parseJsonSafe(text: string): T | null { } } -// ─── Étape 1 : Filtre de pertinence ────────────────────────────────────────── +// ─── Classification principale ──────────────────────────────────────────────── -async function checkRelevance( +/** + * Classifie un article en une seule étape via l'IA. + * Détermine simultanément la pertinence et le type de veille. + * Retourne toujours un résultat (fallback sur rules en cas d'erreur). + * + * @param titre Titre de l'article + * @param resume Résumé / description de l'article + * @param fallbackFn Fonction de fallback appelée si l'IA échoue + */ +export async function classifyArticle( titre: string, - resume: string -): Promise<{ pertinent: boolean; raison: string } | null> { - const userContent = `Titre : ${titre}\n\nRésumé : ${resume}`; - - try { - const response = await invokeLLM({ - messages: [ - { role: "system", content: PROMPT_PERTINENCE }, - { role: "user", content: userContent }, - ], - response_format: { - type: "json_schema", - json_schema: { - name: "pertinence_result", - strict: true, - schema: { - type: "object", - properties: { - pertinent: { type: "boolean" }, - raison: { type: "string" }, - }, - required: ["pertinent", "raison"], - additionalProperties: false, - }, - }, - }, - }); - - const rawContent = response?.choices?.[0]?.message?.content; - if (!rawContent) return null; - const content = typeof rawContent === "string" ? rawContent : JSON.stringify(rawContent); - - const parsed = parseJsonSafe<{ pertinent: boolean; raison: string }>(content); - return parsed; - } catch (e) { - console.error("[AI Classifier] Erreur étape 1 (pertinence):", (e as Error).message); - return null; - } -} - -// ─── Étape 2 : Classification par catégorie ─────────────────────────────────── - -async function classifyCategory( - titre: string, - resume: string -): Promise<{ categorie: AiCategorie; typeVeille: AiTypeVeille; raison: string } | null> { + resume: string, + fallbackFn: () => { typeVeille: AiTypeVeille } +): Promise { const userContent = `Titre : ${titre}\n\nRésumé : ${resume}`; try { @@ -180,17 +128,19 @@ async function classifyCategory( schema: { type: "object", properties: { - categorie: { - type: "string", - enum: ["Handicap", "PA", "Enfance", "Précarité", "Sanitaire", "Autre"], - }, + pertinent: { type: "boolean" }, typeVeille: { - type: "string", - enum: ["reglementaire", "concurrentielle", "technologique", "generale"], + anyOf: [ + { + type: "string", + enum: ["reglementaire", "concurrentielle", "technologique", "informationnelle"], + }, + { type: "null" }, + ], }, raison: { type: "string" }, }, - required: ["categorie", "typeVeille", "raison"], + required: ["pertinent", "typeVeille", "raison"], additionalProperties: false, }, }, @@ -198,35 +148,37 @@ async function classifyCategory( }); const rawContent = response?.choices?.[0]?.message?.content; - if (!rawContent) return null; - const content = typeof rawContent === "string" ? rawContent : JSON.stringify(rawContent); + if (!rawContent) throw new Error("Réponse LLM vide"); + const content = typeof rawContent === "string" ? rawContent : JSON.stringify(rawContent); const parsed = parseJsonSafe<{ - categorie: AiCategorie; - typeVeille: AiTypeVeille; + pertinent: boolean; + typeVeille: AiTypeVeille | null; raison: string; }>(content); - return parsed; + + if (!parsed) throw new Error("JSON LLM invalide"); + + return { + relevant: parsed.pertinent, + typeVeille: parsed.pertinent ? (parsed.typeVeille ?? "informationnelle") : null, + reason: parsed.raison, + classifiedBy: "ia", + }; } catch (e) { - console.error("[AI Classifier] Erreur étape 2 (classification):", (e as Error).message); - return null; + console.error("[AI Classifier] Erreur classification:", (e as Error).message); + // Fallback sur les règles + const fb = fallbackFn(); + return { + relevant: true, + typeVeille: fb.typeVeille, + reason: "Classification par règles (erreur LLM)", + classifiedBy: "rules", + }; } } -// ─── Prompt 3 : Génération de résumé IA ────────────────────────────────────────── - -const PROMPT_RESUME = `Tu es un expert des établissements et services sociaux et médico-sociaux (ESMS). -Tu dois rédiger un résumé clair et professionnel de l'article fourni, destiné aux professionnels du secteur médico-social. - -Consignes : -- Rédige 3 à 5 phrases en français, en langage clair et accessible -- Mets en avant les points clés : qui est concerné, quelle mesure ou information, quel impact pour les structures -- Reste factuel et objectif, sans jugement de valeur -- N'utilise pas de listes à puces, écris en prose -- Ne commence pas par "Cet article" ou "Le texte" -- Adapte le vocabulaire au secteur médico-social (ESMS, ARS, MDPH, etc.) - -Réponds UNIQUEMENT avec le texte du résumé, sans introduction ni conclusion.`; +// ─── Génération de résumé IA ────────────────────────────────────────────────── /** * Génère un résumé IA de 3-5 phrases pour un article pertinent. @@ -249,74 +201,9 @@ export async function generateSummary( const rawContent = response?.choices?.[0]?.message?.content; if (!rawContent) return null; const text = typeof rawContent === "string" ? rawContent.trim() : null; - return text && text.length > 20 ? text : null; + return text && text.length > 10 ? text : null; } catch (e) { console.error("[AI Classifier] Erreur génération résumé:", (e as Error).message); return null; } } - -// ─── Point d'entrée principal ───────────────────────────────────────────────── - -/** - * Classifie un article en deux étapes via l'IA. - * Retourne toujours un résultat (fallback sur rules en cas d'erreur). - * - * @param titre Titre de l'article - * @param resume Résumé / description de l'article - * @param fallbackFn Fonction de fallback (classification par règles) appelée si l'IA échoue - */ -export async function classifyArticle( - titre: string, - resume: string, - fallbackFn: () => { categorie: AiCategorie; typeVeille: AiTypeVeille } -): Promise { - // ── Étape 1 : Pertinence ────────────────────────────────────────────────── - const relevanceResult = await checkRelevance(titre, resume); - - if (!relevanceResult) { - // Erreur LLM → fallback - const fb = fallbackFn(); - return { - relevant: true, // on suppose pertinent par défaut - categorie: fb.categorie, - typeVeille: fb.typeVeille, - reason: "Classification par règles (erreur LLM étape 1)", - classifiedBy: "rules", - }; - } - - if (!relevanceResult.pertinent) { - // Article non pertinent → on l'insère quand même avec categorie "Autre" - return { - relevant: false, - categorie: "Autre", - typeVeille: "generale", - reason: relevanceResult.raison, - classifiedBy: "ia", - }; - } - - // ── Étape 2 : Classification ────────────────────────────────────────────── - const classResult = await classifyCategory(titre, resume); - - if (!classResult) { - // Erreur LLM → fallback - const fb = fallbackFn(); - return { - relevant: true, - categorie: fb.categorie, - typeVeille: fb.typeVeille, - reason: `Pertinent (${relevanceResult.raison}) — classification par règles (erreur LLM étape 2)`, - classifiedBy: "rules", - }; - } - - return { - relevant: true, - categorie: classResult.categorie, - typeVeille: classResult.typeVeille, - reason: classResult.raison, - classifiedBy: "ia", - }; -} diff --git a/server/db.ts b/server/db.ts index 64518a6..6a56a09 100644 --- a/server/db.ts +++ b/server/db.ts @@ -138,7 +138,7 @@ export async function getVeilleItems(filters: VeilleFilters = {}) { const offset = (page - 1) * pageSize; const conditions = []; - if (f.typeVeille) conditions.push(eq(veilleItems.typeVeille, f.typeVeille as "reglementaire" | "concurrentielle" | "technologique" | "generale")); + if (f.typeVeille) conditions.push(eq(veilleItems.typeVeille, f.typeVeille as "reglementaire" | "concurrentielle" | "technologique" | "informationnelle")); if (f.categorie) conditions.push(like(veilleItems.categorie, `%${f.categorie}%`)); if (f.niveau) conditions.push(like(veilleItems.niveau, `%${f.niveau}%`)); if (f.territoire) conditions.push(like(veilleItems.territoire, `%${f.territoire}%`)); diff --git a/server/importer.ts b/server/importer.ts index 30c085a..7be08e0 100644 --- a/server/importer.ts +++ b/server/importer.ts @@ -161,13 +161,14 @@ export async function getImportConfig(): Promise { // ─── Import Veille Stratégique ─────────────────────────────────────────────── -const VEILLE_SHEETS: Record = { +const VEILLE_SHEETS: Record = { réglementaire: "reglementaire", reglementaire: "reglementaire", concurrentielle: "concurrentielle", technologique: "technologique", - générale: "generale", - generale: "generale", + générale: "informationnelle", + generale: "informationnelle", + informationnelle: "informationnelle", }; export async function importVeille(config: ImportConfig): Promise { diff --git a/server/routers.ts b/server/routers.ts index ff47864..eb5c261 100644 --- a/server/routers.ts +++ b/server/routers.ts @@ -87,7 +87,7 @@ export const appRouter = router({ list: publicProcedure .input( z.object({ - typeVeille: z.enum(["reglementaire", "concurrentielle", "technologique", "generale"]).optional(), + typeVeille: z.enum(["reglementaire", "concurrentielle", "technologique", "informationnelle"]).optional(), categorie: z.string().optional(), niveau: z.string().optional(), territoire: z.string().optional(), @@ -131,15 +131,13 @@ export const appRouter = router({ const aiResult = await classifyArticle( row.titre || "", row.resume || "", - () => ({ categorie: (row.categorie as any) || "Autre", typeVeille: row.typeVeille || "generale" }) + () => ({ typeVeille: (row.typeVeille || "informationnelle") as "reglementaire" | "concurrentielle" | "technologique" | "informationnelle" }) ); await db .update(veilleItems) .set({ - categorie: aiResult.categorie, - typeVeille: (aiResult.typeVeille ?? row.typeVeille ?? "generale") as any, + typeVeille: (aiResult.typeVeille ?? row.typeVeille ?? "informationnelle") as any, iaRelevant: aiResult.relevant, - iaCategorie: aiResult.categorie, iaClassifiedBy: aiResult.classifiedBy, iaReason: aiResult.reason, }) @@ -253,14 +251,12 @@ export const appRouter = router({ const aiResult = await classifyArticle( row.titre || "", "", - () => ({ categorie: (row.categorie as any) || "Autre", typeVeille: "generale" as const }) + () => ({ typeVeille: "informationnelle" as const }) ); await db .update(aapItems) .set({ - categorie: aiResult.categorie as any, iaRelevant: aiResult.relevant, - iaCategorie: aiResult.categorie, iaClassifiedBy: aiResult.classifiedBy, iaReason: aiResult.reason, }) @@ -523,7 +519,7 @@ export const appRouter = router({ url: z.string().url("URL invalide"), name: z.string().min(1, "Nom requis").max(255), feedType: z.enum(["veille", "aap"]), - defaultTypeVeille: z.enum(["reglementaire", "concurrentielle", "technologique", "generale"]).optional(), + defaultTypeVeille: z.enum(["reglementaire", "concurrentielle", "technologique", "informationnelle"]).optional(), defaultCategorieAap: z.enum(["Handicap", "PA", "Enfance", "Précarité", "Sanitaire", "Autre"]).optional(), autoRules: z.array(z.object({ keyword: z.string(), @@ -551,7 +547,7 @@ export const appRouter = router({ url: z.string().url("URL invalide").optional(), name: z.string().min(1).max(255).optional(), feedType: z.enum(["veille", "aap"]).optional(), - defaultTypeVeille: z.enum(["reglementaire", "concurrentielle", "technologique", "generale"]).nullable().optional(), + defaultTypeVeille: z.enum(["reglementaire", "concurrentielle", "technologique", "informationnelle"]).nullable().optional(), defaultCategorieAap: z.enum(["Handicap", "PA", "Enfance", "Précarité", "Sanitaire", "Autre"]).nullable().optional(), autoRules: z.array(z.object({ keyword: z.string(), diff --git a/server/rssEngine.ts b/server/rssEngine.ts index 5222929..6c44010 100644 --- a/server/rssEngine.ts +++ b/server/rssEngine.ts @@ -36,7 +36,7 @@ interface RssItem { interface AutoRule { keyword: string; - typeVeille?: "reglementaire" | "concurrentielle" | "technologique" | "generale"; + typeVeille?: "reglementaire" | "concurrentielle" | "technologique" | "informationnelle"; categorieAap?: "Handicap" | "PA" | "Enfance" | "Précarité" | "Sanitaire" | "Autre"; } @@ -360,16 +360,14 @@ async function processFeed(feed: RssFeed): Promise { () => { const matchedRule = applyAutoRules(title, description, rules); return { - categorie: detectVeilleCategorie(fullText), - typeVeille: (matchedRule?.typeVeille ?? feed.defaultTypeVeille ?? "generale") as - "reglementaire" | "concurrentielle" | "technologique" | "generale", + typeVeille: (matchedRule?.typeVeille ?? feed.defaultTypeVeille ?? "informationnelle") as + "reglementaire" | "concurrentielle" | "technologique" | "informationnelle", }; } ); - const categorie = aiResult.categorie; - const typeVeille = (aiResult.typeVeille ?? feed.defaultTypeVeille ?? "generale") as - "reglementaire" | "concurrentielle" | "technologique" | "generale"; + const typeVeille = (aiResult.typeVeille ?? feed.defaultTypeVeille ?? "informationnelle") as + "reglementaire" | "concurrentielle" | "technologique" | "informationnelle"; // Générer le résumé IA uniquement pour les articles pertinents const iaResume = aiResult.relevant @@ -381,7 +379,6 @@ async function processFeed(feed: RssFeed): Promise { await db.insert(veilleItems).values({ dedupKey, titre: title, - categorie, niveau, territoire, territoires: JSON.stringify(territoire !== "France" && territoire !== "Auvergne-Rhône-Alpes" ? [territoire] : []), @@ -391,7 +388,6 @@ async function processFeed(feed: RssFeed): Promise { typeVeille, datePublication: pubDate, iaRelevant: aiResult.relevant, - iaCategorie: aiResult.categorie, iaClassifiedBy: aiResult.classifiedBy, iaReason: aiResult.reason, iaResume: iaResume || null, @@ -427,17 +423,12 @@ async function processFeed(feed: RssFeed): Promise { const aiResult = await classifyArticle( title, description, - () => { - const matchedRule = applyAutoRules(title, description, rules); - return { - categorie: (matchedRule?.categorieAap ?? feed.defaultCategorieAap ?? "Autre") as - "Handicap" | "PA" | "Enfance" | "Précarité" | "Sanitaire" | "Autre", - typeVeille: "generale" as const, - }; - } + () => ({ + typeVeille: "informationnelle" as const, + }) ); - const categorie = aiResult.categorie as + const categorie = (feed.defaultCategorieAap ?? "Autre") as "Handicap" | "PA" | "Enfance" | "Précarité" | "Sanitaire" | "Autre"; // Générer le résumé IA uniquement pour les articles pertinents @@ -456,7 +447,6 @@ async function processFeed(feed: RssFeed): Promise { lien: link || null, datePublication: pubDate, iaRelevant: aiResult.relevant, - iaCategorie: aiResult.categorie, iaClassifiedBy: aiResult.classifiedBy, iaReason: aiResult.reason, iaResume: iaResume || null, diff --git a/server/uploadRoutes.ts b/server/uploadRoutes.ts index 8d18f1b..e4f2858 100644 --- a/server/uploadRoutes.ts +++ b/server/uploadRoutes.ts @@ -69,13 +69,14 @@ function normalizeStr(v: unknown): string | null { // ─── Mapping des feuilles ───────────────────────────────────────────────────── -const VEILLE_SHEETS: Record = { +const VEILLE_SHEETS: Record = { "réglementaire": "reglementaire", "reglementaire": "reglementaire", "concurrentielle": "concurrentielle", "technologique": "technologique", - "générale": "generale", - "generale": "generale", + "générale": "informationnelle", + "generale": "informationnelle", + "informationnelle": "informationnelle", }; const AAP_SHEETS: Record = { diff --git a/todo.md b/todo.md index 240018b..320129b 100644 --- a/todo.md +++ b/todo.md @@ -121,23 +121,32 @@ ## Résumé IA automatique + Marquage Lu/Non lu -- [ ] Schéma BDD : ajouter iaResume (text) dans veille_items et aap_items -- [ ] Schéma BDD : créer table article_reads (id, userId, articleType, articleId, readAt) -- [ ] Migration pnpm db:push -- [ ] aiClassifier.ts : ajouter generateSummary() — résumé 3-5 lignes en français adapté au secteur médico-social -- [ ] rssEngine.ts : appeler generateSummary() après classifyArticle() pour chaque article pertinent -- [ ] Procédures tRPC : veille.markAsRead, veille.unreadCount -- [ ] Procédures tRPC : aap.markAsRead, aap.unreadCount -- [ ] VeilleDashboard : afficher iaResume dans la boîte de dialogue détail (à la place du résumé brut si disponible) -- [ ] VeilleDashboard : point bleu sur les articles non lus, clic sur article = markAsRead automatique -- [ ] AAPDashboard : même logique lu/non lu -- [ ] Sidebar DashboardLayout : compteur non lus sur les entrées Veille et AAP -- [ ] Tests visuels en sandbox -- [ ] Checkpoint +- [x] Schéma BDD : ajouter iaResume (text) dans veille_items et aap_items +- [x] Schéma BDD : créer table article_reads (id, userId, articleType, articleId, readAt) +- [x] Migration pnpm db:push +- [x] aiClassifier.ts : ajouter generateSummary() — résumé 3-5 lignes en français adapté au secteur médico-social +- [x] rssEngine.ts : appeler generateSummary() après classifyArticle() pour chaque article pertinent +- [x] Procédures tRPC : veille.markAsRead, veille.unreadCount +- [x] Procédures tRPC : aap.markAsRead, aap.unreadCount +- [x] VeilleDashboard : afficher iaResume dans la boîte de dialogue détail (à la place du résumé brut si disponible) +- [x] VeilleDashboard : point bleu sur les articles non lus, clic sur article = markAsRead automatique +- [x] AAPDashboard : même logique lu/non lu +- [x] Sidebar DashboardLayout : compteur non lus sur les entrées Veille et AAP +- [x] Tests visuels en sandbox +- [x] Checkpoint ## Corrections urgentes — Classification IA + Déploiement recette -- [ ] Corriger le prompt de pertinence dans aiClassifier.ts (articles hors périmètre passent le filtre) -- [ ] Tester en sandbox que les articles hors périmètre (pêche, sport, économie générale) sont bien rejetés -- [ ] Finaliser le déploiement recette : copier les fichiers frontend (marqueur lu/non lu) dans le conteneur -- [ ] Vérifier visuellement en recette que le marqueur lu/non lu et les compteurs s'affichent +- [x] Corriger le prompt de pertinence dans aiClassifier.ts (articles hors périmètre passent le filtre) +- [x] Tester en sandbox que les articles hors périmètre (pêche, sport, économie générale) sont bien rejetés +- [x] Finaliser le déploiement recette : copier les fichiers frontend (marqueur lu/non lu) dans le conteneur +- [x] Vérifier visuellement en recette que le marqueur lu/non lu et les compteurs s'affichent + +## Simplification : suppression catégorie médico-sociale dans Veille Stratégique +- [x] aiClassifier.ts : fusionner les deux prompts en un seul (pertinence + type de veille en une étape) +- [x] aiClassifier.ts : le résultat retourne uniquement typeVeille (reglementaire/concurrentielle/technologique/informationnelle) ou null si hors périmètre +- [x] rssEngine.ts : mettre à jour l'appel à classifyArticle pour utiliser le nouveau retour simplifié +- [x] VeilleDashboard.tsx : supprimer la colonne Catégorie de la vue liste +- [x] VeilleDashboard.tsx : supprimer tout filtre ou affichage lié à iaCategorie +- [x] Tester visuellement en sandbox +- [x] Checkpoint