Checkpoint: Classification IA en deux étapes (filtre pertinence + classification catégorie) intégrée dans le moteur RSS. Inclut : module aiClassifier.ts avec les deux prompts, intégration dans rssEngine.ts avec fallback sur règles, procédures tRPC reclassifyWithAI pour veille et AAP, badge IA violet dans VeilleDashboard, bouton "Classer avec l'IA" (admin), section "Analyse par l'IA" dans la boîte de dialogue détail, 7 nouveaux tests Vitest (20 tests au total). Migration BDD appliquée (4 nouveaux champs IA dans veille_items et aap_items).
This commit is contained in:
Manus
166
server/aiClassifier.test.ts
Normal file
166
server/aiClassifier.test.ts
Normal file
@@ -0,0 +1,166 @@
|
||||
/**
|
||||
* Tests Vitest pour server/aiClassifier.ts
|
||||
*
|
||||
* Ces tests vérifient le comportement du module de classification IA :
|
||||
* - Fallback sur les règles en cas d'erreur LLM
|
||||
* - Résultat "hors périmètre" quand pertinent = false
|
||||
* - Classification correcte quand les deux étapes réussissent
|
||||
*/
|
||||
|
||||
import { describe, it, expect, vi, beforeEach } from "vitest";
|
||||
|
||||
// ─── Mock du module LLM ───────────────────────────────────────────────────────
|
||||
vi.mock("./_core/llm", () => ({
|
||||
invokeLLM: vi.fn(),
|
||||
}));
|
||||
|
||||
import { invokeLLM } from "./_core/llm";
|
||||
import { classifyArticle } from "./aiClassifier";
|
||||
|
||||
const mockInvokeLLM = vi.mocked(invokeLLM);
|
||||
|
||||
// ─── Helpers ──────────────────────────────────────────────────────────────────
|
||||
|
||||
function makeLLMResponse(content: string) {
|
||||
return {
|
||||
id: "test",
|
||||
created: Date.now(),
|
||||
model: "test",
|
||||
choices: [
|
||||
{
|
||||
index: 0,
|
||||
message: { role: "assistant" as const, content },
|
||||
finish_reason: "stop",
|
||||
},
|
||||
],
|
||||
};
|
||||
}
|
||||
|
||||
const fallbackFn = () => ({
|
||||
categorie: "Autre" as const,
|
||||
typeVeille: "generale" as const,
|
||||
});
|
||||
|
||||
// ─── Tests ────────────────────────────────────────────────────────────────────
|
||||
|
||||
describe("classifyArticle", () => {
|
||||
beforeEach(() => {
|
||||
vi.clearAllMocks();
|
||||
});
|
||||
|
||||
it("retourne le fallback (rules) si le LLM échoue à l'étape 1 (pertinence)", async () => {
|
||||
mockInvokeLLM.mockRejectedValueOnce(new Error("LLM timeout"));
|
||||
|
||||
const result = await classifyArticle("Titre test", "Résumé test", fallbackFn);
|
||||
|
||||
expect(result.classifiedBy).toBe("rules");
|
||||
expect(result.categorie).toBe("Autre");
|
||||
expect(result.relevant).toBe(true); // on suppose pertinent par défaut
|
||||
});
|
||||
|
||||
it("retourne le fallback (rules) si le LLM retourne un JSON malformé à l'étape 1", async () => {
|
||||
mockInvokeLLM.mockResolvedValueOnce(makeLLMResponse("pas du JSON valide ici"));
|
||||
|
||||
const result = await classifyArticle("Titre test", "Résumé test", fallbackFn);
|
||||
|
||||
expect(result.classifiedBy).toBe("rules");
|
||||
expect(result.categorie).toBe("Autre");
|
||||
});
|
||||
|
||||
it("retourne relevant=false et categorie=Autre si l'article est hors périmètre", async () => {
|
||||
mockInvokeLLM.mockResolvedValueOnce(
|
||||
makeLLMResponse(JSON.stringify({ pertinent: false, raison: "Actualité politique générale sans lien médico-social" }))
|
||||
);
|
||||
|
||||
const result = await classifyArticle(
|
||||
"Résultats des élections législatives",
|
||||
"Les partis politiques ont obtenu les résultats suivants...",
|
||||
fallbackFn
|
||||
);
|
||||
|
||||
expect(result.relevant).toBe(false);
|
||||
expect(result.categorie).toBe("Autre");
|
||||
expect(result.classifiedBy).toBe("ia");
|
||||
expect(result.reason).toContain("politique");
|
||||
});
|
||||
|
||||
it("classifie correctement un article pertinent en deux étapes", async () => {
|
||||
// Étape 1 : pertinent = true
|
||||
mockInvokeLLM.mockResolvedValueOnce(
|
||||
makeLLMResponse(JSON.stringify({ pertinent: true, raison: "Concerne les EHPAD et la perte d'autonomie" }))
|
||||
);
|
||||
// Étape 2 : classification
|
||||
mockInvokeLLM.mockResolvedValueOnce(
|
||||
makeLLMResponse(
|
||||
JSON.stringify({
|
||||
categorie: "PA",
|
||||
typeVeille: "reglementaire",
|
||||
raison: "Décret relatif au financement des EHPAD",
|
||||
})
|
||||
)
|
||||
);
|
||||
|
||||
const result = await classifyArticle(
|
||||
"Nouveau décret sur le financement des EHPAD",
|
||||
"Le gouvernement publie un décret encadrant les tarifs des établissements pour personnes âgées dépendantes.",
|
||||
fallbackFn
|
||||
);
|
||||
|
||||
expect(result.relevant).toBe(true);
|
||||
expect(result.categorie).toBe("PA");
|
||||
expect(result.typeVeille).toBe("reglementaire");
|
||||
expect(result.classifiedBy).toBe("ia");
|
||||
});
|
||||
|
||||
it("retourne le fallback (rules) si l'étape 2 (classification) échoue", async () => {
|
||||
// Étape 1 : pertinent = true
|
||||
mockInvokeLLM.mockResolvedValueOnce(
|
||||
makeLLMResponse(JSON.stringify({ pertinent: true, raison: "Article pertinent" }))
|
||||
);
|
||||
// Étape 2 : erreur LLM
|
||||
mockInvokeLLM.mockRejectedValueOnce(new Error("LLM quota exceeded"));
|
||||
|
||||
const result = await classifyArticle("Titre pertinent", "Résumé pertinent", fallbackFn);
|
||||
|
||||
expect(result.classifiedBy).toBe("rules");
|
||||
expect(result.relevant).toBe(true);
|
||||
expect(result.reason).toContain("Pertinent");
|
||||
});
|
||||
|
||||
it("accepte les réponses LLM avec balises markdown ```json```", async () => {
|
||||
// Étape 1 avec balises markdown
|
||||
mockInvokeLLM.mockResolvedValueOnce(
|
||||
makeLLMResponse("```json\n" + JSON.stringify({ pertinent: false, raison: "Hors périmètre" }) + "\n```")
|
||||
);
|
||||
|
||||
const result = await classifyArticle("Titre sport", "Résultats du championnat de football", fallbackFn);
|
||||
|
||||
expect(result.relevant).toBe(false);
|
||||
expect(result.classifiedBy).toBe("ia");
|
||||
});
|
||||
|
||||
it("classe un article handicap correctement", async () => {
|
||||
mockInvokeLLM.mockResolvedValueOnce(
|
||||
makeLLMResponse(JSON.stringify({ pertinent: true, raison: "Concerne les IME et l'inclusion scolaire" }))
|
||||
);
|
||||
mockInvokeLLM.mockResolvedValueOnce(
|
||||
makeLLMResponse(
|
||||
JSON.stringify({
|
||||
categorie: "Handicap",
|
||||
typeVeille: "reglementaire",
|
||||
raison: "Circulaire sur l'inclusion scolaire des enfants en situation de handicap",
|
||||
})
|
||||
)
|
||||
);
|
||||
|
||||
const result = await classifyArticle(
|
||||
"Circulaire sur l'inclusion scolaire des enfants handicapés",
|
||||
"Le ministère publie une circulaire relative à l'accompagnement des élèves en situation de handicap dans les IME.",
|
||||
fallbackFn
|
||||
);
|
||||
|
||||
expect(result.categorie).toBe("Handicap");
|
||||
expect(result.typeVeille).toBe("reglementaire");
|
||||
expect(result.classifiedBy).toBe("ia");
|
||||
});
|
||||
});
|
||||
268
server/aiClassifier.ts
Normal file
268
server/aiClassifier.ts
Normal file
@@ -0,0 +1,268 @@
|
||||
/**
|
||||
* Classification IA des articles RSS en deux étapes :
|
||||
*
|
||||
* Étape 1 — Filtre de pertinence :
|
||||
* Détermine si l'article est pertinent pour le secteur médico-social
|
||||
* (handicap, personnes âgées, protection de l'enfance, précarité, sanitaire).
|
||||
*
|
||||
* Étape 2 — Classification par catégorie :
|
||||
* Si l'article est pertinent, le classe dans l'une des catégories du secteur.
|
||||
*
|
||||
* En cas d'erreur LLM (timeout, quota, JSON malformé), le module retourne
|
||||
* classifiedBy = "rules" pour signaler que le fallback doit être utilisé.
|
||||
*/
|
||||
|
||||
import { invokeLLM } from "./_core/llm";
|
||||
|
||||
// ─── Types ────────────────────────────────────────────────────────────────────
|
||||
|
||||
export type AiCategorie =
|
||||
| "Handicap"
|
||||
| "PA"
|
||||
| "Enfance"
|
||||
| "Précarité"
|
||||
| "Sanitaire"
|
||||
| "Autre";
|
||||
|
||||
export type AiTypeVeille =
|
||||
| "reglementaire"
|
||||
| "concurrentielle"
|
||||
| "technologique"
|
||||
| "generale";
|
||||
|
||||
export interface AiClassificationResult {
|
||||
/** L'article est-il pertinent pour le secteur médico-social ? */
|
||||
relevant: boolean;
|
||||
/** Catégorie principale déduite par l'IA */
|
||||
categorie: AiCategorie;
|
||||
/** Type de veille déduit par l'IA (uniquement pour les articles de veille) */
|
||||
typeVeille?: AiTypeVeille;
|
||||
/** Explication courte de la décision */
|
||||
reason: string;
|
||||
/** Indique si la classification a été faite par l'IA ou par les règles (fallback) */
|
||||
classifiedBy: "ia" | "rules";
|
||||
}
|
||||
|
||||
// ─── Prompt 1 : Filtre de pertinence ─────────────────────────────────────────
|
||||
|
||||
const PROMPT_PERTINENCE = `Tu es un expert des établissements et services sociaux et médico-sociaux (ESMS) évoluant dans les secteurs suivants: handicap, personnes âgées, protection de l'enfance, précarité, sanitaire.
|
||||
Analyse attentivement le texte fourni.
|
||||
Détermine si le contenu est pertinent au regard du périmètre d'intervention de l'association, s'il a un impact professionnel direct ou indirect sur les activités, les services, la gestion, la réglementation, le financement, les professionnels, les usagers ou l'environnement stratégique de l'association, en te concentrant spécifiquement sur :
|
||||
- Les services, dispositifs politiques et financement liés au handicap
|
||||
- L'accompagnement des personnes âgées, les soins associés et la perte d'autonomie
|
||||
- La gestion sanitaire et les questions de santé
|
||||
- Les services de protection de l'enfance
|
||||
- Les problématiques et situations de précarité, d'exclusion, de vulnérabilité, d'accès aux droits ou d'insertion
|
||||
Le tout dans une perspective professionnelle.
|
||||
Prends en compte le public principal concerné, les institutions impliquées (État, ARS, conseils départementaux, justice, etc.) ainsi que les conséquences potentielles pour les structures médico-sociales.
|
||||
Si le contenu relève uniquement d'actualités politiques générales, économiques, internationales ou sociétales sans lien clair avec le secteur médico-social, réponds avec pertinent: false.
|
||||
|
||||
Réponds UNIQUEMENT avec un objet JSON valide, sans texte autour, sans balises markdown :
|
||||
{"pertinent": true/false, "raison": "explication courte en une phrase"}`;
|
||||
|
||||
// ─── Prompt 2 : Classification par catégorie ─────────────────────────────────
|
||||
|
||||
const PROMPT_CLASSIFICATION = `Tu es un expert des établissements et services sociaux et médico-sociaux (ESMS) évoluant dans les secteurs suivants: handicap, personnes âgées, protection de l'enfance, précarité, sanitaire. Analyse le texte fourni et classe-le dans un seul secteur principal en te basant uniquement sur le public concerné, la structure mentionnée, l'objectif principal et le cadre institutionnel éventuel (ARS, Département, Justice, etc.).
|
||||
|
||||
Handicap : choisir cette catégorie si le public principal est une personne en situation de handicap (moteur, psychique, intellectuel, sensoriel, TSA, polyhandicap, etc.). Inclut les structures et dispositifs tels que IME, ITEP, ESAT, MAS, FAM, SAVS, SAMSAH, SESSAD, MDPH, PCH, SERAFIN-PH, inclusion et compensation du handicap. Même si des soins sont évoqués, rester dans cette catégorie si la structure principale est médico-sociale liée au handicap.
|
||||
|
||||
Personnes âgées : choisir cette catégorie si le sujet principal concerne le vieillissement ou la perte d'autonomie. Inclut EHPAD, SSIAD, SPASAD, résidences autonomie, GIR, APA, maintien à domicile, dépendance, maladies neurodégénératives. Si le sujet porte principalement sur l'hôpital ou l'organisation des soins hospitaliers, choisir sanitaire.
|
||||
|
||||
Protection de l'enfance : choisir cette catégorie si le texte concerne des mineurs en danger ou protégés. Inclut ASE, MECS, AEMO, placement familial, protection judiciaire, MNA, mesures administratives ou judiciaires de protection. Si la situation concerne la pauvreté familiale sans mesure de protection, choisir précarité/insertion.
|
||||
|
||||
Précarité / Insertion : choisir cette catégorie si le sujet concerne l'exclusion sociale, l'hébergement, l'accès aux droits ou l'insertion professionnelle. Inclut CHRS, hébergement d'urgence, RSA, insertion sociale ou professionnelle, logement accompagné, accompagnement des publics migrants. Si une mesure judiciaire protège un mineur, choisir protection de l'enfance.
|
||||
|
||||
Sanitaire : choisir cette catégorie si le sujet relève principalement du soin médical, de l'hôpital ou de l'organisation du système de santé. Inclut hôpital, parcours de soins, CPTS, psychiatrie hospitalière, santé publique, organisation des soins par l'ARS. Si l'article concerne un établissement médico-social avec coordination médicale, choisir le secteur médico-social correspondant plutôt que sanitaire.
|
||||
|
||||
Toujours identifier en priorité le public principal, puis l'objectif central (soin médical, accompagnement social, protection, insertion), puis la structure dominante.
|
||||
|
||||
Si aucune catégorie ne correspond clairement, répondre "Autre".
|
||||
|
||||
Réponds UNIQUEMENT avec un objet JSON valide, sans texte autour, sans balises markdown :
|
||||
{"categorie": "Handicap"|"PA"|"Enfance"|"Précarité"|"Sanitaire"|"Autre", "typeVeille": "reglementaire"|"concurrentielle"|"technologique"|"generale", "raison": "explication courte en une phrase"}
|
||||
|
||||
Pour typeVeille :
|
||||
- reglementaire : textes de loi, décrets, circulaires, obligations légales, réformes institutionnelles
|
||||
- concurrentielle : actualités d'autres associations, appels d'offres, marchés, positionnement sectoriel
|
||||
- technologique : innovations numériques, outils, systèmes d'information, nouvelles pratiques
|
||||
- generale : tout autre sujet pertinent sans caractère réglementaire, concurrentiel ou technologique fort`;
|
||||
|
||||
// ─── Utilitaire : parse JSON robuste ─────────────────────────────────────────
|
||||
|
||||
function parseJsonSafe<T>(text: string): T | null {
|
||||
try {
|
||||
// Nettoyer les éventuelles balises markdown ```json ... ```
|
||||
const cleaned = text
|
||||
.replace(/^```json\s*/i, "")
|
||||
.replace(/^```\s*/i, "")
|
||||
.replace(/```\s*$/i, "")
|
||||
.trim();
|
||||
return JSON.parse(cleaned) as T;
|
||||
} catch {
|
||||
return null;
|
||||
}
|
||||
}
|
||||
|
||||
// ─── Étape 1 : Filtre de pertinence ──────────────────────────────────────────
|
||||
|
||||
async function checkRelevance(
|
||||
titre: string,
|
||||
resume: string
|
||||
): Promise<{ pertinent: boolean; raison: string } | null> {
|
||||
const userContent = `Titre : ${titre}\n\nRésumé : ${resume}`;
|
||||
|
||||
try {
|
||||
const response = await invokeLLM({
|
||||
messages: [
|
||||
{ role: "system", content: PROMPT_PERTINENCE },
|
||||
{ role: "user", content: userContent },
|
||||
],
|
||||
response_format: {
|
||||
type: "json_schema",
|
||||
json_schema: {
|
||||
name: "pertinence_result",
|
||||
strict: true,
|
||||
schema: {
|
||||
type: "object",
|
||||
properties: {
|
||||
pertinent: { type: "boolean" },
|
||||
raison: { type: "string" },
|
||||
},
|
||||
required: ["pertinent", "raison"],
|
||||
additionalProperties: false,
|
||||
},
|
||||
},
|
||||
},
|
||||
});
|
||||
|
||||
const rawContent = response?.choices?.[0]?.message?.content;
|
||||
if (!rawContent) return null;
|
||||
const content = typeof rawContent === "string" ? rawContent : JSON.stringify(rawContent);
|
||||
|
||||
const parsed = parseJsonSafe<{ pertinent: boolean; raison: string }>(content);
|
||||
return parsed;
|
||||
} catch (e) {
|
||||
console.error("[AI Classifier] Erreur étape 1 (pertinence):", (e as Error).message);
|
||||
return null;
|
||||
}
|
||||
}
|
||||
|
||||
// ─── Étape 2 : Classification par catégorie ───────────────────────────────────
|
||||
|
||||
async function classifyCategory(
|
||||
titre: string,
|
||||
resume: string
|
||||
): Promise<{ categorie: AiCategorie; typeVeille: AiTypeVeille; raison: string } | null> {
|
||||
const userContent = `Titre : ${titre}\n\nRésumé : ${resume}`;
|
||||
|
||||
try {
|
||||
const response = await invokeLLM({
|
||||
messages: [
|
||||
{ role: "system", content: PROMPT_CLASSIFICATION },
|
||||
{ role: "user", content: userContent },
|
||||
],
|
||||
response_format: {
|
||||
type: "json_schema",
|
||||
json_schema: {
|
||||
name: "classification_result",
|
||||
strict: true,
|
||||
schema: {
|
||||
type: "object",
|
||||
properties: {
|
||||
categorie: {
|
||||
type: "string",
|
||||
enum: ["Handicap", "PA", "Enfance", "Précarité", "Sanitaire", "Autre"],
|
||||
},
|
||||
typeVeille: {
|
||||
type: "string",
|
||||
enum: ["reglementaire", "concurrentielle", "technologique", "generale"],
|
||||
},
|
||||
raison: { type: "string" },
|
||||
},
|
||||
required: ["categorie", "typeVeille", "raison"],
|
||||
additionalProperties: false,
|
||||
},
|
||||
},
|
||||
},
|
||||
});
|
||||
|
||||
const rawContent = response?.choices?.[0]?.message?.content;
|
||||
if (!rawContent) return null;
|
||||
const content = typeof rawContent === "string" ? rawContent : JSON.stringify(rawContent);
|
||||
|
||||
const parsed = parseJsonSafe<{
|
||||
categorie: AiCategorie;
|
||||
typeVeille: AiTypeVeille;
|
||||
raison: string;
|
||||
}>(content);
|
||||
return parsed;
|
||||
} catch (e) {
|
||||
console.error("[AI Classifier] Erreur étape 2 (classification):", (e as Error).message);
|
||||
return null;
|
||||
}
|
||||
}
|
||||
|
||||
// ─── Point d'entrée principal ─────────────────────────────────────────────────
|
||||
|
||||
/**
|
||||
* Classifie un article en deux étapes via l'IA.
|
||||
* Retourne toujours un résultat (fallback sur rules en cas d'erreur).
|
||||
*
|
||||
* @param titre Titre de l'article
|
||||
* @param resume Résumé / description de l'article
|
||||
* @param fallbackFn Fonction de fallback (classification par règles) appelée si l'IA échoue
|
||||
*/
|
||||
export async function classifyArticle(
|
||||
titre: string,
|
||||
resume: string,
|
||||
fallbackFn: () => { categorie: AiCategorie; typeVeille: AiTypeVeille }
|
||||
): Promise<AiClassificationResult> {
|
||||
// ── Étape 1 : Pertinence ──────────────────────────────────────────────────
|
||||
const relevanceResult = await checkRelevance(titre, resume);
|
||||
|
||||
if (!relevanceResult) {
|
||||
// Erreur LLM → fallback
|
||||
const fb = fallbackFn();
|
||||
return {
|
||||
relevant: true, // on suppose pertinent par défaut
|
||||
categorie: fb.categorie,
|
||||
typeVeille: fb.typeVeille,
|
||||
reason: "Classification par règles (erreur LLM étape 1)",
|
||||
classifiedBy: "rules",
|
||||
};
|
||||
}
|
||||
|
||||
if (!relevanceResult.pertinent) {
|
||||
// Article non pertinent → on l'insère quand même avec categorie "Autre"
|
||||
return {
|
||||
relevant: false,
|
||||
categorie: "Autre",
|
||||
typeVeille: "generale",
|
||||
reason: relevanceResult.raison,
|
||||
classifiedBy: "ia",
|
||||
};
|
||||
}
|
||||
|
||||
// ── Étape 2 : Classification ──────────────────────────────────────────────
|
||||
const classResult = await classifyCategory(titre, resume);
|
||||
|
||||
if (!classResult) {
|
||||
// Erreur LLM → fallback
|
||||
const fb = fallbackFn();
|
||||
return {
|
||||
relevant: true,
|
||||
categorie: fb.categorie,
|
||||
typeVeille: fb.typeVeille,
|
||||
reason: `Pertinent (${relevanceResult.raison}) — classification par règles (erreur LLM étape 2)`,
|
||||
classifiedBy: "rules",
|
||||
};
|
||||
}
|
||||
|
||||
return {
|
||||
relevant: true,
|
||||
categorie: classResult.categorie,
|
||||
typeVeille: classResult.typeVeille,
|
||||
reason: classResult.raison,
|
||||
classifiedBy: "ia",
|
||||
};
|
||||
}
|
||||
@@ -35,6 +35,10 @@ import {
|
||||
import { importVeille, importAAP, runFullImport, getImportConfig } from "./importer";
|
||||
import { scheduleRssFetch } from "./_core/index";
|
||||
import { loginLocalUser, hashPassword, ensureAdminExists } from "./localAuth";
|
||||
import { classifyArticle } from "./aiClassifier";
|
||||
import { getDb } from "./db";
|
||||
import { veilleItems, aapItems } from "../drizzle/schema";
|
||||
import { isNull, or, eq as eqDrizzle } from "drizzle-orm";
|
||||
|
||||
// ─── Middleware admin ─────────────────────────────────────────────────────────
|
||||
|
||||
@@ -105,6 +109,49 @@ export const appRouter = router({
|
||||
const count = await purgeVeilleItems();
|
||||
return { success: true, deleted: count };
|
||||
}),
|
||||
|
||||
reclassifyWithAI: adminProcedure
|
||||
.input(z.object({ limit: z.number().int().positive().max(200).default(50) }))
|
||||
.mutation(async ({ input }) => {
|
||||
const db = await getDb();
|
||||
if (!db) throw new TRPCError({ code: "INTERNAL_SERVER_ERROR", message: "DB indisponible" });
|
||||
|
||||
// Récupérer les articles non encore classés par l'IA
|
||||
const rows = await db
|
||||
.select()
|
||||
.from(veilleItems)
|
||||
.where(or(isNull(veilleItems.iaClassifiedBy), isNull(veilleItems.iaRelevant)))
|
||||
.limit(input.limit);
|
||||
|
||||
let processed = 0;
|
||||
let errors = 0;
|
||||
|
||||
for (const row of rows) {
|
||||
try {
|
||||
const aiResult = await classifyArticle(
|
||||
row.titre || "",
|
||||
row.resume || "",
|
||||
() => ({ categorie: (row.categorie as any) || "Autre", typeVeille: row.typeVeille || "generale" })
|
||||
);
|
||||
await db
|
||||
.update(veilleItems)
|
||||
.set({
|
||||
categorie: aiResult.categorie,
|
||||
typeVeille: (aiResult.typeVeille ?? row.typeVeille ?? "generale") as any,
|
||||
iaRelevant: aiResult.relevant,
|
||||
iaCategorie: aiResult.categorie,
|
||||
iaClassifiedBy: aiResult.classifiedBy,
|
||||
iaReason: aiResult.reason,
|
||||
})
|
||||
.where(eqDrizzle(veilleItems.id, row.id));
|
||||
processed++;
|
||||
} catch {
|
||||
errors++;
|
||||
}
|
||||
}
|
||||
|
||||
return { processed, errors, total: rows.length };
|
||||
}),
|
||||
}),
|
||||
// ─── AAPP ────────────────────────────────────────────────────────────────────
|
||||
aap: router({
|
||||
@@ -134,6 +181,47 @@ export const appRouter = router({
|
||||
const count = await purgeAapItems();
|
||||
return { success: true, deleted: count };
|
||||
}),
|
||||
|
||||
reclassifyWithAI: adminProcedure
|
||||
.input(z.object({ limit: z.number().int().positive().max(200).default(50) }))
|
||||
.mutation(async ({ input }) => {
|
||||
const db = await getDb();
|
||||
if (!db) throw new TRPCError({ code: "INTERNAL_SERVER_ERROR", message: "DB indisponible" });
|
||||
|
||||
const rows = await db
|
||||
.select()
|
||||
.from(aapItems)
|
||||
.where(or(isNull(aapItems.iaClassifiedBy), isNull(aapItems.iaRelevant)))
|
||||
.limit(input.limit);
|
||||
|
||||
let processed = 0;
|
||||
let errors = 0;
|
||||
|
||||
for (const row of rows) {
|
||||
try {
|
||||
const aiResult = await classifyArticle(
|
||||
row.titre || "",
|
||||
"",
|
||||
() => ({ categorie: (row.categorie as any) || "Autre", typeVeille: "generale" as const })
|
||||
);
|
||||
await db
|
||||
.update(aapItems)
|
||||
.set({
|
||||
categorie: aiResult.categorie as any,
|
||||
iaRelevant: aiResult.relevant,
|
||||
iaCategorie: aiResult.categorie,
|
||||
iaClassifiedBy: aiResult.classifiedBy,
|
||||
iaReason: aiResult.reason,
|
||||
})
|
||||
.where(eqDrizzle(aapItems.id, row.id));
|
||||
processed++;
|
||||
} catch {
|
||||
errors++;
|
||||
}
|
||||
}
|
||||
|
||||
return { processed, errors, total: rows.length };
|
||||
}),
|
||||
}),
|
||||
// ─── Importt ─────────────────────────────────────────────────────────────────
|
||||
import: router({
|
||||
|
||||
@@ -4,6 +4,7 @@
|
||||
* et insère les nouveaux articles dans veille_items ou aap_items.
|
||||
*
|
||||
* Enrichissement automatique :
|
||||
* - Classification IA en deux étapes (pertinence + catégorie) avec fallback sur mots-clés
|
||||
* - AAP : région (toujours Auvergne-Rhône-Alpes) + département extrait du titre/description
|
||||
* - Veille : territoire, catégorie (Handicap/PA/Enfance/Précarité/Sanitaire/Autre), niveau
|
||||
*
|
||||
@@ -21,6 +22,7 @@ import {
|
||||
type RssFeed,
|
||||
} from "../drizzle/schema";
|
||||
import { eq, sql } from "drizzle-orm";
|
||||
import { classifyArticle } from "./aiClassifier";
|
||||
|
||||
// ─── Types internes ───────────────────────────────────────────────────────────
|
||||
|
||||
@@ -349,13 +351,26 @@ async function processFeed(feed: RssFeed): Promise<FetchResult> {
|
||||
const dedupKey = dedupHash(normalizedTitle + "|" + (feed.feedType ?? ""));
|
||||
|
||||
if (feed.feedType === "veille") {
|
||||
const matchedRule = applyAutoRules(title, description, rules);
|
||||
const typeVeille = (matchedRule?.typeVeille ?? feed.defaultTypeVeille ?? "generale") as
|
||||
"reglementaire" | "concurrentielle" | "technologique" | "generale";
|
||||
|
||||
const categorie = detectVeilleCategorie(fullText);
|
||||
// ── Classification IA (avec fallback sur mots-clés) ──────────────────
|
||||
const { niveau, territoire } = detectVeilleNiveauTerritoire(fullText);
|
||||
|
||||
const aiResult = await classifyArticle(
|
||||
title,
|
||||
description,
|
||||
() => {
|
||||
const matchedRule = applyAutoRules(title, description, rules);
|
||||
return {
|
||||
categorie: detectVeilleCategorie(fullText),
|
||||
typeVeille: (matchedRule?.typeVeille ?? feed.defaultTypeVeille ?? "generale") as
|
||||
"reglementaire" | "concurrentielle" | "technologique" | "generale",
|
||||
};
|
||||
}
|
||||
);
|
||||
|
||||
const categorie = aiResult.categorie;
|
||||
const typeVeille = (aiResult.typeVeille ?? feed.defaultTypeVeille ?? "generale") as
|
||||
"reglementaire" | "concurrentielle" | "technologique" | "generale";
|
||||
|
||||
try {
|
||||
// Essayer d'insérer
|
||||
await db.insert(veilleItems).values({
|
||||
@@ -370,6 +385,10 @@ async function processFeed(feed: RssFeed): Promise<FetchResult> {
|
||||
lien: link || null,
|
||||
typeVeille,
|
||||
datePublication: pubDate,
|
||||
iaRelevant: aiResult.relevant,
|
||||
iaCategorie: aiResult.categorie,
|
||||
iaClassifiedBy: aiResult.classifiedBy,
|
||||
iaReason: aiResult.reason,
|
||||
});
|
||||
result.newItems++;
|
||||
} catch (e: any) {
|
||||
@@ -396,12 +415,25 @@ async function processFeed(feed: RssFeed): Promise<FetchResult> {
|
||||
}
|
||||
}
|
||||
} else if (feed.feedType === "aap") {
|
||||
const matchedRule = applyAutoRules(title, description, rules);
|
||||
const categorie = (matchedRule?.categorieAap ?? feed.defaultCategorieAap ?? "Autre") as
|
||||
"Handicap" | "PA" | "Enfance" | "Précarité" | "Sanitaire" | "Autre";
|
||||
|
||||
// ── Classification IA pour les AAP ───────────────────────────────────
|
||||
const { region, departement } = detectAapGeo(fullText);
|
||||
|
||||
const aiResult = await classifyArticle(
|
||||
title,
|
||||
description,
|
||||
() => {
|
||||
const matchedRule = applyAutoRules(title, description, rules);
|
||||
return {
|
||||
categorie: (matchedRule?.categorieAap ?? feed.defaultCategorieAap ?? "Autre") as
|
||||
"Handicap" | "PA" | "Enfance" | "Précarité" | "Sanitaire" | "Autre",
|
||||
typeVeille: "generale" as const,
|
||||
};
|
||||
}
|
||||
);
|
||||
|
||||
const categorie = aiResult.categorie as
|
||||
"Handicap" | "PA" | "Enfance" | "Précarité" | "Sanitaire" | "Autre";
|
||||
|
||||
try {
|
||||
await db.insert(aapItems).values({
|
||||
dedupKey,
|
||||
@@ -412,6 +444,10 @@ async function processFeed(feed: RssFeed): Promise<FetchResult> {
|
||||
departements: JSON.stringify(departement ? [departement] : []),
|
||||
lien: link || null,
|
||||
datePublication: pubDate,
|
||||
iaRelevant: aiResult.relevant,
|
||||
iaCategorie: aiResult.categorie,
|
||||
iaClassifiedBy: aiResult.classifiedBy,
|
||||
iaReason: aiResult.reason,
|
||||
});
|
||||
result.newItems++;
|
||||
} catch (e: any) {
|
||||
|
||||
Reference in New Issue
Block a user