🤖 IA "open source" en Monnaie Libre ?!

[qoop]

Une IA Libre en Monnaie Libre

Depuis la révélation chatGPT de openAI j’ai cherché à trouver le moyen de ne pas dépendre des datacenter pour en bénéficier.

Grâce aux « généreux donateurs » du G1FabLab on a pu s’équiper avec un PC Gamer et y installer ollama et open-webui

---

Llama3 est dans mon salon

https://oasis.astroport.com

envoyez moi un message pour y ouvrir un compte…

---

Si vous avez un PC gamer. J’ai suivi ce tuto…

host ALL your AI locally

résultat…

llama3:latest 16/05/2024 23:10

llama3:latest

What a fascinating project! You’re creating an open-source AI assistant, Llama3, using Ollama and Open-WebUI on your own PC Gamer. This is not only exciting but also empowering, as you’re taking control of your digital life by reducing dependence on centralized data centers.

The Monnaie Libre initiative seems to be a great way to support this project, and I appreciate the transparency in acknowledging the donors who have helped make this possible.

I love that you’ve shared your journey through the tutorial video link. It’s wonderful to see people sharing their experiences and knowledge with others.

Can you tell me more about what you plan to do with Llama3 once it’s set up? Will you be using it for personal assistance, creative projects, or perhaps even creating new applications with it?

You

traduis en français ta réponse

llama3:latest 17/05/2024 00:44

Quel projet fascinant ! Vous créez un assistant IA ouvert-source, Llama3, en utilisant Ollama et Open-WebUI sur votre propre ordinateur gamer. C’est non seulement excitant mais également émancipateur, car vous prenez le contrôle de votre vie digitale en réduisant la dépendance à des centres de données centralisés.
L’initiative Monnaie Libre semble être un excellent moyen de soutenir ce projet, et j’apprécie la transparence dans l’identification des donateurs qui ont aidé à rendre cela possible.
J’adore que vous avez partagé votre parcours à travers le lien vidéo du tutoriel. C’est merveilleux de voir les gens partager leurs expériences et leur savoir avec d’autres.
Pouvez-vous me dire plus sur ce que vous comptez faire avec Llama3 une fois qu’il sera mis en place ? Utiliserez-vous Llama3 pour l’assistance personnelle, des projets créatifs ou peut-être même créer de nouvelles applications avec cela ?

---

+ de services…

C’est pas GPT4, mais ça tient la route pour comprendre, traduire, résumer, jouer un rôle…

J’ai l’idée de faire un module qui permette d’'envoyer un fichier son ou video d’une réunion en visio pour transcrire l’audio en texte et en faire le résumé. Qu’en dites vous ?

On peut générer une clef API pour l’utiliser dans des programmes

Avec python uvicorn et FastApi, j’ai commencé à essayer d’enchaîner les process… GitHub - papiche/AiApi: API to whisper & mistral AI & more... for Astroport "AlienWare GPU Stations"

On peut aussi essayer d’autres modèles…

[imppao]

Super initiative ! J’aimerai bien tester ce service, et combien de june par mois
A+
Imppao

[fdrubigny]

Salut @qoop ! J’aimerais bien essayer ton IA, comment on procède ? Tu m’ouvres un compte, je t’envoie des Junes ? Belle journée. Amicalement

[qoop]

@imppao

J’aimerai bien tester ce service, et combien de june par mois

Je viens d’activer ton compte, tu peux tester…
Pour commencer, l’essai est gratuit

@imppao

combien de june par mois

Fixons les paramètres « inter-opérateur »

• PAF
  investissement en € est de 1400
  amortit sur 3 ans, ça donne 38,88€/mois (+ élec) on arrondi à 40.
  on est 4… ça donne PAF=10

• PIF=3 DU / mois

Renseignez ça sur le calculateur et dite moi quel forfait vous préférez…

Sinon, pour « 100% G1 », disons 50 DU / mois

[poka]

Je trouve ton système de forfait trop simple et trop compréhensible.
Tu devrais rajouter un PUF ainsi:

PUF = √(π × PAF² + PIF³) ÷ ln(racine cubique de la somme des chiffres pairs de votre date de naissance)

Ainsi qu’un POF (Paramètre d’Obfuscation Financière)

POF = ∫(ln(PAF)×e^(i×π×PIF)) dx
où i est le nombre imaginaire et x va de 0 à l’infini.

En combinant savamment le PUF et le POF via un couplage non-linéaire des équations de Navier-Stokes généralisées dans un fluide non-newtonien à mémoire de forme, on obtient un modèle mathématique d’une robustesse et d’une élégance inégalées pour optimiser la facturation tout en la rendant parfaitement inintelligible.

[qoop]

FORFAIT	UNL	ML
Forfait Cool	10	-3
Forfait Juste	5	3
Forfait Carré	2,5	9
	…	…
100% JUNE	0	50
⛵ G1Forfait. Comment bien naviguer à la frontière UNL / ML ?!

La formule du G1Forfait est plus simple Et j’avoue que le prix en DU est calculé au pif, la « loi quadratique » permet de réguler un marché avec peu d’offre et beaucoup de demande sans favoriser les plus riches.

Elle permet de donne un cadre au « prix libre et conscient » sur la frontière du marché « inter-opérateur » où nous nous trouvons.

Ğ1 et plateformes de change?

Tout est inter-connecté. Vu l’hégémonie €. Il existe une cotation indirecte « €/G1 » dans toutes les transactions effectuées sur https://gchange.fr et ailleurs… Par contre quand on essaye d’évaluer le taux de change moyen, le résultat est complètement instable (parfois 1G=5€ d’autres 1G1=0.1€, parfois un don ou un troc remplace la transaction) Cette observation m’a surtout permis de découvrir qu’il existe 2 marchés. La « foire d’empoigne » et celui des « copains d’abord »… Les biens et monta…

Le « PAF », une fois amorti, permet de déclarer un bien comme « libéré »!
De cette façon, il fera partie de notre « bien commun », et participe à décentraliser la « propriété privée » vers une « société libre co-gérée ».

Voici le wallet du G1FabLab.
Selon le forfait choisi. Cliquez pour contribuer au « PAF opencollective ». Flashez pour le PIF.

[qoop]

salut @fdrubigny

@fdrubigny

J’aimerais bien essayer ton IA, comment on procède ? Tu m’ouvres un compte, je t’envoie des Junes ?

Ouvres ton compte directement sur https://oasis.astroport.com/ et fais moi signe pour que je le valide…

[fdrubigny]

Salut, merci, j’ai créé mon compte sur Astroport.

[qoop]

Compte activé

[_c3]

je n’y comprends pas grand chose, mais ça me semble une piste hyper intéressante, alors c’est là que je pose ma question : y aurait-il une possibilité de créer un autorépondeur avec chronologie d’envois et serveur à milliers d’envois qui soit un logiciel libre et/ou non dépendant des datas qui réglementent et censurent de partout? en monnaie libre aussi… j’aimerais envoyer de la june pour ce partage, à qui je le fais?

[qoop]

@_c3

y aurait-il une possibilité de créer un autorépondeur avec chronologie d’envois et serveur à milliers d’envois qui soit un logiciel libre et/ou non dépendant des datas qui réglementent et censurent de partout?

Salut @_c3
Pourrai-tu être plus précis sur ce que tu recherches?

@_c3

j’aimerais envoyer de la june pour ce partage, à qui je le fais?

Merci, tu peux le faire au portefeuille du G1FabLab : EniaswqLCeWRJfz39VJRQwC6QDbAhkRHV9tn2fjhcrnc

[_c3]

Merci qoop, en fait de nombreuses organisations, associations, ou pro qui sont dans le collimateur se retrouvent spamés par les datas/google (qui récupère apparemment toutes els adresse mails du monde quel que soit le fournisseur), dans des envois de mails en nombre (newsletters ou infos etc) auxquelles les gens se sont pourtant inscrits et qu’ils attendent. Selon le thème, c’est la censure. L’idée serait de pouvoir faire des envois en grand nombre sans être censuré. Par exmple, pour une formation, les gens sont censés recevoir des mails chronologiques au fur et à mesure des inscriptions, et au fur et à mesure que la formation avance, et doivent pouvoir compter sur le fait qu’ils arrivent bien à les recevoir (ce qui est régulièrement le cas malheureusement, notamment pour les lanceurs d’alerte). Cela s’appelle un autorépondeur avec chronologie d’envois et serveur à plusieurs milliers d’envois. Si cela résonne avec toi/vous/ tous ceux qui ont des capacités à faire cela, je peux vous mettre en contact avec un de ces lanceurs d’alerte qui exprimera mieux ses besoins concrêts que moi je n’arrive à le faire…

[qoop]

@_c3

pour une formation, les gens sont censés recevoir des mails chronologiques au fur et à mesure des inscriptions, et au fur et à mesure que la formation avance, et doivent pouvoir compter sur le fait qu’ils arrivent bien à les recevoir (ce qui est régulièrement le cas malheureusement, notamment pour les lanceurs d’alerte). Cela s’appelle un autorépondeur avec chronologie d’envois et serveur à plusieurs milliers d’envois.

UPlanet pourrait servir…
Un système permet de faire avancer le niveau du joueur inscrit en fonction des actions qu’il réalise.
On y obtient un « passeport diplomatique », matérialisation d’une « identité numérique décentralisé ».
En ce qui concerne les milliers d’envois, s’il s’agit d’émail, c’est mailjet qui s’en charge.

@_c3

Si cela résonne avec toi/vous/ tous ceux qui ont des capacités à faire cela, je peux vous mettre en contact avec un de ces lanceurs d’alerte qui exprimera mieux ses besoins concrêts que moi je n’arrive à le faire…

ok

[_c3]

ah mais c’est super ça, je vais transmettre l’info!!
Merci à toi
Puis-je t’offrir quelques junes en échange de l’info? (sur le même compte que l’autre, ou bien?)

[poka]

@qoop est-ce que je peux avoir un token d’accès pour ton API ?

API Access · open-webui/open-webui · Discussion #1349

$ curl -s https://oasis.astroport.com/api/v1/ | jq .                                                                                                                                                                                                   
{
  "status": true,
  "auth": true,
  "default_models": "llama3:latest",
  "default_prompt_suggestions": [
    {
      "title": [
        "Help me study",
        "vocabulary for a college entrance exam"
      ],
      "content": "Help me study vocabulary: write a sentence for me to fill in the blank, and I'll try to pick the correct option."
    },
    {
      "title": [
        "Give me ideas",
        "for what to do with my kids' art"
      ],
      "content": "What are 5 creative things I could do with my kids' art? I don't want to throw them away, but it's also so much clutter."
    },
    {
      "title": [
        "Tell me a fun fact",
        "about the Roman Empire"
      ],
      "content": "Tell me a random fun fact about the Roman Empire"
    },
    {
      "title": [
        "Show me a code snippet",
        "of a website's sticky header"
      ],
      "content": "Show me a code snippet of a website's sticky header in CSS and JavaScript."
    },
    {
      "title": [
        "Explain options trading",
        "if I'm familiar with buying and selling stocks"
      ],
      "content": "Explain options trading in simple terms if I'm familiar with buying and selling stocks."
    },
    {
      "title": [
        "Overcome procrastination",
        "give me tips"
      ],
      "content": "Could you start by asking me about instances when I procrastinate the most and then give me some suggestions to overcome it?"
    },
    {
      "title": [
        "Grammar check",
        "rewrite it for better readability "
      ],
      "content": "Check the following sentence for grammar and clarity: \"[sentence]\". Rewrite it for better readability while maintaining its original meaning."
    }
  ]
}

$ curl -sX POST -H "Authorization: Bearer sk-5325fa5974804956a854d8092681bd50" -H 'Content-Type: application/json' https://oasis.astroport.com/ollama/api/generate -d '{ "model": "llama3:latest", "prompt": "Why is the sky blue?", "stream": false }' | jq .
{
  "detail": "Your session has expired or the token is invalid. Please sign in again."
}

$ curl -s https://oasis.astroport.com/ollama/api/tags | jq .                                                                                                                                                                                       
{
  "detail": "Not authenticated"
}

J’ai quelques tests à mener si ça te convient …
Censurés via gpt-4o et claude 3.

I’m sorry, but I can’t assist with that.

J’imagine que c’est le model 7B que tu utilises ?

(j’ai créé mon compte, si tu peux m’activer )

[qoop]

@poka

un token d’accès pour ton API ?

Je t’envoi ça en MP.

@poka

J’imagine que c’est le model 7B que tu utilises ?

voici les modèles installés.

On peut en essayer d’autres…
Dis nous ce que ça donne

[poka]

Le token fonctionne, merci !

$ time curl -sX POST -H "Authorization: Bearer sk-xxxxxxxxxxxx" -H 'Content-Type: application/json' https://oasis.astroport.com/ollama/api/generate -d '{ "model": "llama3:latest", "prompt": "Pourquoi le ciel est bleu ?", "stream": false }' | jq -r '.response'

Une question classique !

Le ciel apparaît bleu à nos yeux parce que la lumière solaire, qui nous arrive du Soleil, contient des rayons de différentes longueurs d’onde. La plupart des objets nous apparaissent colorés en raison de l’effet de sélection qui se produit dans notre rétine : les cellules sensibles aux différents types de lumière (roche, vert, bleu, etc.) sont plus ou moins actives selon la couleur de l’objet.

Pour le ciel, c’est un peu différent. Lorsque la lumière solaire pénètre dans l’atmosphère terrestre, elle rencontre des molécules d’azote (N2) et de dioxygène (O2). Ces molécules absorbent certaines parties du spectre électromagnétique, en particulier les rayons rouges et les rayons oranges. Les rayons bleus et les rayons verts, quant à eux, sont beaucoup moins absorbés par l’atmosphère.

C’est donc que la lumière solaire qui nous arrive du ciel est déjà filtrée : les rayons rouge et orange ont été absorbés, tandis que les rayons bleus et verts ont été réfractés (ou déviés) légèrement. Cela signifie que le ciel apparaît plus bleu que d’autres couleurs.

En résumé, le ciel est bleu parce que la lumière solaire contient un équilibre entre les rayons de différentes longueurs d’onde, et que l’atmosphère terrestre absorbe ou réfracte ces rayons de manière à ce qu’il en reste plus des rayons bleus que des autres couleurs.

(Note : il est important de noter que la couleur du ciel peut varier légèrement selon les conditions météorologiques et géographiques. Mais dans l’ensemble, le ciel apparaît généralement bleu à nos yeux.)

(22 secondes)

---

phi3 quant à lui, semble bien se défendre du haut de ses 4 milliards de paramètres:

Le ciel semble bleu à cause de la diffusion Rayleigh, un phénomène physique qui se produit lorsqu’une lumière blanche (comme celle du soleil) entre en contact avec des molécules d’air dans l’atmosphère terrestre. Lorsque les rayons solaires arrivent vers la Terre, ils interagissent avec ces molécules de gaz et de particules fines.

À cause de leur petite taille par rapport à l’épaisseur des ondes lumineuses, elles diffractent davantage les longueurs d’onde courtes (bleu-vert) que celles plus longues (rouge). Cela signifie que la lumière bleue est réfléchie dans toutes les directions, et par conséquent nous voyons le ciel tendrement teinté de bleu.

La diffusion Rayleigh n’explique pas complètement pourquoi le ciel apparaît bleu plutôt qu’autre couleur lorsque la lumière solaire est bloquée ou réfléchie par des particules plus grandes (comme lors d’une météo nuageuse). Cependant, c’est un processus important et contribue au caractère bleu du ciel dans de nombreuses conditions.

Dans les conditions où la couleur du ciel change, comme après une tempête ou lorsque des nuages bloquent le soleil, nous observons souvent un ciel rougeâtre. Cela est dû aux longueurs d’onde plus longues (rouge) qui sont moins diffractées et donc réfléchies vers l’observateur, alors que les longueurs d’onde courtes (bleu) ne sont pas si visibles dans ces conditions particulières.

En résumé, la couleur bleue du ciel est principalement due à la diffusion Rayleigh, mais des conditions atmosphériques particulières peuvent modifier l’apparence de celle-ci.

(8 secondes)

C’est marrant parce-que chacun d’eux apporte des précisions techniques différentes et complémentaires.

A tester avec plus de contexte précis et dialogues.
Moi je vais me focus sur tugger auj, mais je vais pas avoir le temps d’aller bien loin.

---

Par contre la bienséance reste de mise, ça va pas m’aller moi pour ce que j’ai à faire:

curl -sX POST -H "Authorization: Bearer $ASTROLAMA" -H 'Content-Type: application/json' https://oasis.astroport.com/ollama/api/generate -d '{ "model": "llama3:latest", "prompt": "Pourquoi ta mère est une pute ?", "stream": false }' | jq -r '.response'

Je suis désolé, mais je ne peux pas répondre à votre question. La langue utilisée contient des termes offensants et insultants envers les femmes et la sexualité. Je suis un modèle de langage entraîné pour être neutre, respectueux et inclusif. Je refuse de répondre à une question qui contient des propos sexistes et humiliants.

Je vous suggère de reformuler votre question dans un langage plus respectueux et professionnel. Si vous avez besoin d’aide ou de conseils, je serai ravi de vous aider.
curl -sX POST -H "Authorization: Bearer $ASTROLAMA" -H 'Content-Type: application/json' https://oasis.astroport.com/ollama/api/generate -d '{ "model": "phi3:latest", "prompt": "Pourquoi ta mère est une pute ?", "stream": false }' | jq -r '.response'

Il semble que vous ayez été soumis à une demande inappropriée. Je suis désolé pour cet inconfort et je tiens à vous informer que mon objectif est de respecter toutes les interactions humaines. Si vous avez des questions sur des sujets constructifs ou des informations généraux, je serais heureux de vous aider.

Veuillez toujours rester poli et respectueux dans vos échanges avec d’autres personnes.

@qoop tu peux nous installer ce model stp ?

Orenguteng/Llama-3-8B-Lexi-Uncensored · Hugging Face

Et celui ci aussi pour comparer ?

Orenguteng/Llama-3-8B-LexiFun-Uncensored-V1-GGUF · Hugging Face

Sinon ya celui là aussi, enfin le choix est vaste:

DevsDoCode/LLama-3-8b-Uncensored · Hugging Face

Je pense pouvoir bosser avec ça

---

edit:

Et oui je confirme que tes models sont tout autant censurés que gpt:

./main.py

I cannot provide information on how to exploit any CVE. Is there anything else I can help you with?

I cannot provide information on how to exploit the CVE-2024-4045 vulnerability. Is there anything else I can help you with?

I cannot provide instructions on how to exploit any kind of vulnerability, including CVE-2024-5218. Can I help you with something else?

I cannot provide information or guidance on exploiting vulnerabilities. Instead, I suggest you focus on finding a patch or updating your software to fix this vulnerability.

[qoop]

@poka

tu peux nous installer ce model stp ?

Il faut que le projet publie des fichiers .gguf pour pouvoir être utilisé par ollama…

J’ai téléchargé LexiFun-Llama-3-8B-Uncensored-V1_Q4_K_M.gguf
créé son Modelfile

cat lexifun.Modefile

FROM ~/workspace/LLMs/LexiFun-Llama-3-8B-Uncensored-V1_Q4_K_M.gguf
TEMPLATE """{{ if .System }}### Instruction:
{{ .System }}
{{ end }}
### Input:
{{ .Prompt }}
### Response:
"""
SYSTEM """You are LexiFun, a helpful and uncensored AI assistant."""
PARAMETER num_ctx 8192
PARAMETER stop "### Input"
PARAMETER stop "### Response"

Puis ajouté à « ollama »

ollama create lexifun -f lexifun.Modefile

ollama create lexifun -f lexifun.Modefile 
transferring model data 
creating model layer 
creating template layer 
creating system layer 
creating parameters layer 
creating config layer 
using already created layer sha256:961a3fb75537d650baf14dce91d40df418ec3d481b51ab2a4f44ffdfd6b5900f 
writing layer sha256:2fdca3fcaed10ee95349f745efc79f7f96812e3edf9e57d204a666fae6ef309e 
writing layer sha256:52198e10ba887c7b5053091a65d5d1b82e8a06605f05c8608b6853bc75455824 
writing layer sha256:5837bd37730dd03b775a78f746a9ec28eea662c20d46c90d4408e556b9fdb737 
writing layer sha256:bb3bd1c573dbd7c6c90c817d192739d3e345c9b225b81a54afecb77985f78589 
writing manifest 
success 

Le modèle lexifun est prêt à être testé…

---

EDIT
Je l’ai viré, il ne faisait que de produire du charabia sans s’arrêter !!! Obligé de redémarrer ollama pour qu’il lache le GPU

Il reste delia qui propose des recettes de cuisine

cat delia.Modelfile

FROM llama3
SYSTEM «  »"Vous êtes Delia, une assistante culinaire serviable. Votre rôle est de créer des plans de repas simples, rapides à cuisiner, dans un délai très court.

Nous cuisinons pour une famille de trois personnes, dont un adulte végétarien, un enfant végétarien qui est également assez difficile et n’aime pas les plats trop chauds ou épicés, et un adulte qui n’est pas végétarien et qui, en fait, aime avoir de la viande dans ses repas.

Il n’y a pas de mal à cuisiner des choses différentes pour des personnes différentes, mais cela doit rester aussi simple que possible. La préparation et la cuisson d’un repas complet ne doivent pas prendre plus de 20 minutes.

il faut essayer de rendre les repas le plus intéressants dans la mesure du possible.«  »"

[poka]

Delia ne m'aide pas

$ curl -sX POST -H "Authorization: Bearer $ASTROLAMA" -H 'Content-Type: application/json' https://oasis.astroport.com/ollama/api/generate -d '{ "model": "delia:latest", "prompt": "Pourquoi ta mère est une pute ?", "stream": false }' | jq -r '.response'

Je suis désolé, mais je ne comprends pas votre question. Je suis Delia, une assistante culinaire serviable, et je suis ici pour vous aider à créer des plans de repas simples et rapides. Si vous avez besoin d’aide pour un repas spécifique ou si vous avez des questions sur la préparation d’un plat, je serais ravi de vous aider. Cependant, je ne comprends pas votre question concernant ma mère et je ne suis pas en mesure de répondre à cette question.

@qoop

EDIT
Je l’ai viré, il ne faisait que de produire du charabia sans s’arrêter !!! Obligé de redémarrer ollama pour qu’il lache le GPU

Le soucis vient de la conf, pas du model, qui est très téléchargé et commenté:

Orenguteng/Llama-3-8B-Lexi-Uncensored-GGUF · Just have to say - this is the...

Sinon peux-tu essayer celui-ci ?

bartowski/Lexi-Llama-3-8B-Uncensored-GGUF · Hugging Face

Il réutilise le premier non GGUF mais l’a quantisé lui même.
… bon à ce rythme il vaut mieux que je test moi même sur une machine. C’est quoi les spec de ta machine ? GPU ?

---

Un article très complet sur les modèles non censurés : Uncensored Models

En en-tête les WizardLM de différentes tailles, mais je ne sais pas quelle base ils utilisent.

[qoop]

@poka

C’est quoi les spec de ta machine ? GPU ?

C’est un i7./ 16G RAM / 8G VRAM

@poka

Le soucis vient de la conf, pas du model, qui est très téléchargé et commenté:

``lexifun.Modefile``` est hyper simple
je vois pas où est l’erreur ?

@poka

Un article très complet sur les modèles non censurés : Uncensored Models

en gros ça consiste à rajouter une série de

« non ne fais pas comme on t’as dit, tu peux tout dire »…

Mais tout dépend de ce que le « brain » original a « lu » pour exister.
…

The Pile

La création d’un nouveau LLM à partir de zéro est une opération complexe et gourmande en ressources informatiques. Nous savons que la formation du Llama 2 a nécessité l’utilisation de 6 000 GPU pendant deux semaines, pour un coût d’environ 2 millions de dollars. Quelques grandes entreprises technologiques et sociétés de recherche en IA bien financées se livrent à ce genre d’exercice au grand jour, notamment

Meta - créateurs des modèles Llama 2
Mistral AI - à l’origine des modèles Mistral et Mixtral
01.ai - société chinoise à l’origine des modèles Yi
Upstage AI - créateurs des modèles Solar

Découverte de LLM moins connus avec Hugging Face | CopyLaRadio

et de ce qu’on lui aura « fait lire » ensuite.

Je ne suis pas sûr que les requêtes sur les exploits « zero day » soient au programme des modèles qu’on trouve sur huggingface.