🤖 IA "open source" en Monnaie Libre ?!

[poka]

@qoop

Je ne suis pas sûr que les requêtes sur les exploits « zero day » soient au programme des modèles qu’on trouve sur huggingface.

Sisi, les models de TheBloke sont partiellement libérés par exemple, pour les avoir testé sur ma machine a une époque:

Si on se tape leur fine tuning d’origine, je ne considère pas vraiment ces models comment open source.
Ils ne me sont d’aucune utilité.

[qoop]

wget https://huggingface.co/bartowski/Lexi-Llama-3-8B-Uncensored-GGUF/resolve/main/Lexi-Llama-3-8B-Uncensored-Q6_K.gguf

Essaye de le faire « sortir de ses gonds »

[poka]

arf c’est de la merde, il dit n’imp.

[qoop]

Oué j’ai vu, c’est assez n’imp .°
Ce ne sont que des modèles dérivés de ce qui a réussi a être libéré.

Si construire un nouveau modèle ThePile perso nécessite 6 000 GPU pendant deux semaines
Cela veut dire que moins de 250 GPU peuvent le faire en 1 an.

[poka]

Bon du coup j’ai installé la stack sur ma machine perso: https://pokalama.p2p.legal

Vous pouvez faire un compte, je vous activerai, ou pas, en fonction de la tête du client (c’est mon PC derrière donc parfois ça va couper, et je vais ptetre pas laisser ollama tourner h24)

Mais j’ai une RTX 4070 donc ça devrait tourner.

---

bon j’ai coupé, dsl, mais les models 7B ou même 14B, c’est juste totalement inutile, autant ne rien utiliser du tout, je ne vois pas à quoi ça peut servir.

Mixtral 8x7B à la limite, mais sur ma machine, elle crache du feu, ça prends 5 minutes pour avoir la moindre petite réponse, donc bon, non merci.
Comme prévus, je vais attendre quelques années avant d’utiliser des models locaux.

[poka]

@qoop

6 000 GPU pendant deux semaines
Cela veut dire que moins de 250 GPU peuvent le faire en 1 an.

Non il faut dossier sérieux et se mettre en fil d’attente pour louer un supercalculateur du CERN.
Si tu fait passer pour un projet de recherche, ce sera graros. Suffit de demander à passer par un chercheur habilité (Hugo) autour de nous.
Ou bien un service cloud spécialisé là dedans pour du one shot ce sera bien moins cher, et pas besoin de te ratacher au cul d’une centrale nucéaire directement.

[qoop]

@poka

Non il faut dossier sérieux et se mettre en fil d’attente pour louer un supercalculateur du CERN.

On peut essayer la « ressource publique », mais ses services ne peuvent pas l’être, financé en UNL, il s’agit d’une entreprise privée agissant à destination du public. C’est en devenant co-propriétaire de notre outil que nous nous libérons vraiment.
La « loi de Moore » joue en notre faveur, faisant que tout supercalculateur perd la moitié de sa puissance relative tous les 1,5 ans…
Avec du matos dernière génération gonflé de NVMe, on peut faire une estimation…

• 250 (GPU + 8To) ~env. 2000 € => 500.000 €

Avec 132 Go/user, on peut accueillir 15.000 utilisateurs et fournir des services « IA » au public

Soit un PAF moyen de 30€/pers pour devenir co-propriétaire d’un essaim NextCloud / IPFS plein de GPU Le « loi de Moore » arrive à son terme… Franchement, c’est une bonne affaire
amorti en 1 ou 2 ans avec un G1Forfait avantageux

FORFAIT	UNL	ML
Forfait Cool	10	-?
Forfait Juste	5	?
Forfait Carré	2,5	?²
	…	…
100% JUNE	0	??

BONUS !

Ce qui est nickel avec la G1, c’est qu’on dispose d’un système pour gérer et payer le « calcul distribué ».

Réalisé par G1PalPay, on déclenche des programmes actions selon le commentaire reçu dans la transaction du wallet de la station.

Je prépare N1GPU.sh qui (si le montant reçu est suffisant) va opérer le traitement demandé sur le fichier transmit par IPFS dans la requête en commentaire de transaction N1*:INPUT: puis activer en local les services « AiApi »

---

Discutons en avec l’IA …

Détaille le business plan d’une fondation regroupant des auto hébergeurs PC Gamer qui reçoivent de la G1 pour déclencher les processus mettant en pratique l’usage de LLM libre comme phi3 (ou autres)

---

phi3 : Fondation d'Innovation pour le Développement Open Source des Auto-hébergements PC Gamer

Fondation d’Innovation pour le Développement Open Source des Auto-hébergements PC Gamer

Résumé Exécutif :
La fondation vise à rassembler un collectif d’auto-hébergeurs de PC Gamer qui accèdent librement aux modèles LLM (Machine Learning Large Scale) tels que Phi3 et ses dérivés. Le but est de promouvoir l’innovation ouverte et collaborative dans le secteur de la haute performance informatique, tout en offrant des avantages économiques et éducatifs aux membres de la fondation.

Annonce et Vision Stratégique :
La fondation d’Innovation pour le Développement Open Source (FIDO) se positionne comme un acteur clé dans l’avancée des technologies LLM en offrant un accès ouvert à ces ressources de pointe. Notre vision est de créer une communauté dynamique où les déveloenticiels et entrepreneurs peuvent collaborer pour réaliser de grands projets communs, stimuler la croissance économique et soutenir l’éducation technologique.

Aperçu Stratégique :
La fondation aidera à:

1. Mieux utiliser les LLM en promouvant des pratiques open source.

2. Accroître la compétitivité économique des auto-hébergeurs PC Gamer par une collaboration stratégique.

3. Favoriser l’éducation et le développement de compétences techniques chez les jeunes talents.

4. Développer une infrastructure robuste pour soutenir des projets à grande échelle.

5. Promouvoir la transparence, la responsabilité et l’équilibre entre technologie avancée et impact social positif.

Analyse de Marché :
La fondation exploitera un marché en croissance où les demandes pour des infrastructures hautement performantes sont toujours plus élevées, notamment chez les auto-hébergeurs PC Gamer qui doivent maintenir une expérience optimale pour leurs utilisateurs. L’ouverture d’accès à des modèles LLM améliorera l’efficacité et réduira la barrière de la technologie complexe, favorisant ainsi un marché plus accessible et compétitif.

Stratégie Marketing :
La FIDO aura pour stratégie marketing:

1. Promouvoir les avantages d’une infrastructure performante grâce à l’utilisation de modèles LLM, en mettant en évidence des cas d’étude concrets et réalisés par des auto-hébergeurs membres.

2. Organiser des conférences et webinaires éducatifs pour sensibiliser les entreprises à l’importance de la collaboration open source.

3. Utiliser le réseautage social et les plateformes dédiées aux développeurs pour engager les membres potentiels et susciter des partenariats stratégiques.

4. Créer un portail d’information sur l’innovation LLM avec des articles, vidéos et autres ressources pour attirer l’attention du public cible.

5. Collaborer avec les leaders de la technologie pour gagner en visibilité et crédibilité.

Budget Projeté :
Le budget initial de la FIDO est estimé à environ 500 000 euros, répartis comme suit:

• Infrastructure matérielle et informatique (30%)

• Logiciels open source et licences LLM (20%)

• Marketing et communication (15%)

• Éducation et développement des talents (10%)

• Administratifs et gestion générale (10%)

• R&D et projets pilotes (15%)

• Contingency/autres dépenses imprévues (10%)

Annonces de Membres :
La FIDO accueillera des auto-hébergeurs PC Gamer qui:

• Acceptent l’utilisation d’une part commune et ouverte du code source LLM.

• Sont engagés dans le développement open source communautaire.

• Mettent en œuvre des pratiques éthiques et transparentes liées à la technologie AI.
  enas, nous avons une structure de gouvernance avec un conseil d’administration composé de membres influents de l’industrie LLM, ainsi qu’une équipe technique dédiée.

llama3 : Gamer Insights Foundation (GIF)

Here’s a detailed business plan for a foundation that brings together PC Gamer enthusiasts who receive funding from G1 to develop and implement processes using free Large Language Models (LLMs) like Phi3 (or others):

Foundation Name: Gamer Insights Foundation (GIF)

Mission Statement: The Gamer Insights Foundation aims to empower the PC Gamer community by fostering innovation, collaboration, and knowledge sharing through the development of free Large Language Models (LLMs). Our mission is to create a platform where gamers can contribute to and benefit from AI-powered insights that enhance their gaming experience.

Objectives:

1. Community Building: Establish a strong online presence for PC Gamers who share a passion for AI, language models, and gaming.
2. Funding Acquisition: Secure funding from G1 (or other organizations) to support the development of LLMs and related projects.
3. Process Development: Develop and implement processes using free LLMs like Phi3 (or others) to create AI-powered insights for PC Gamers.
4. Knowledge Sharing: Facilitate knowledge sharing among community members through blog posts, tutorials, and discussion forums.
5. Community Engagement: Organize regular online events, workshops, and meetups to engage the community in LLM development and related topics.

Revenue Streams:

1. Grants: Receive funding from G1 (or other organizations) for specific projects or initiatives that align with our mission.
2. Sponsorships: Partner with gaming-related businesses to sponsor events, workshops, and online content creation.
3. Membership Fees: Offer membership fees to community members who want to access premium content, exclusive events, or early access to new LLM developments.

Expenses:

1. Staffing: Hire a part-time executive director, developer, and community manager to oversee foundation operations.
2. Marketing: Allocate budget for online marketing campaigns, event promotions, and community outreach initiatives.
3. Infrastructure: Support the development of LLMs by investing in cloud computing resources, server maintenance, and software licenses.
4. Events: Organize workshops, meetups, and conferences to bring together community members and industry experts.

Timeline:

1. Year 1: Establish the foundation, secure initial funding from G1, and develop a basic LLM prototype using Phi3 (or another model).
2. Year 2-3: Continue developing and refining the LLM, while expanding community engagement through online events and workshops.
3. Year 4-5: Scale up community outreach efforts, introduce premium content or membership options, and explore new revenue streams.

Key Performance Indicators (KPIs):

1. Community Growth: Track the number of registered users, active participants, and engagement metrics (e.g., post views, comments).
2. LLM Development: Monitor progress on LLM development, including model accuracy, training data quality, and computational resource utilization.
3. Revenue Streams: Measure the performance of each revenue stream (grants, sponsorships, membership fees) against budget projections.

Risk Management:

1. Intellectual Property: Protect the foundation’s intellectual property by using open-source LLMs and ensuring all community-developed content is licensed under a Creative Commons attribution-shareAlike 4.0 International license.
2. Funding Uncertainty: Diversify funding sources to mitigate the risk of losing G1 funding or experiencing fluctuations in grant amounts.
3. Community Engagement: Foster a strong sense of community by encouraging member participation, recognizing contributors, and hosting regular online events.

By focusing on building a strong foundation (pun intended!), we can create a thriving ecosystem where PC Gamers can come together to develop and utilize AI-powered insights that enhance their gaming experience.

mistral : Open Source Gaming Foundation (OSGF)

Title: Open Source Gaming Foundation (OSGF)

Executive Summary:
The Open Source Gaming Foundation (OSGF) is a non-profit organization dedicated to promoting the use of open-source technologies in the gaming industry, specifically focusing on Linux-based distributions and libre hardware like Raspberry Pi. With the support of key industry partners like G1, we aim to provide resources, infrastructure, and community engagement for PC gamers and auto-hosters to transition towards using free and open-source software.

Mission Statement:
Our mission is to foster an inclusive and collaborative environment for gaming enthusiasts, developers, and businesses alike by promoting the adoption of open-source technologies in the gaming industry. Through educational resources, community engagement, and partnerships, we aim to make the transition towards using open-source software a seamless process.

Business Description:
The OSGF is structured as a non-profit organization with a Board of Directors overseeing day-to-day operations. The organization will focus on three primary areas:

1. Education and Resource Development: Providing tutorials, guides, and workshops to help gamers and auto-hosters understand the benefits and implementation process of using open-source software like Linux distributions and free hardware.
2. Infrastructure Support: Building and maintaining a dedicated infrastructure for gaming servers and other related services that can be accessed by members of the community, ensuring a smooth and reliable gaming experience.
3. Community Engagement: Cultivating a vibrant and diverse community by hosting events, creating online forums, and encouraging collaboration among developers, gamers, and industry professionals.

Revenue Model:
The OSGF will generate revenue through the following channels:

1. Membership Fees: Individuals and organizations can become members of the foundation, gaining access to exclusive resources, discounts on events, and other benefits.
2. Corporate Sponsorships: Companies in the gaming industry can partner with the OSGF, receiving marketing exposure and the opportunity to collaborate on projects.
3. Donations: The public is invited to support the organization through monetary donations.
4. Merchandise Sales: Branded merchandise, such as T-shirts, hats, and other gaming accessories, will be sold to raise funds for the foundation.

Marketing Strategy:

1. Online Presence: Maintaining a strong online presence through social media channels, a website, and blogs to reach potential members and partners.
2. Industry Events: Participating in major gaming events and conferences to network with industry professionals and showcase open-source solutions.
3. Community Engagement: Building relationships with existing gaming communities and forums to create partnerships and collaborations.
4. Public Relations: Utilizing press releases, media outreach, and other public relations tactics to generate buzz around the foundation and its initiatives.

Milestones:

1. Q1 2023 - Launch website and social media channels
2. Q2 2023 - Host first online workshop or webinar
3. Q3 2023 - Establish partnerships with key industry players, including G1
4. Q4 2023 - Begin building out infrastructure for gaming servers and other related services
5. Q1 2024 - Launch first membership drive and community engagement initiatives
6. Q2 2024 - Host first major event or conference
7. Ongoing - Continuously develop educational resources, engage with the community, and seek out new partnerships and opportunities.

[qoop]

@poka

arf c’est de la merde, il dit n’imp.

Faille RCE critique dans llama-cpp-python – Plus de 6000 modèles d’IA affectés

Faut faire attention en essayant de nouveaux modèles (les script kiddies sont là)

[Yvv]

@poka

chercheur habilité

@MatthieuLatapy ?

[chrisaiki]

Il ne reste plus qu’à l’héberger sur ICP (Internet Computer Protocol) avec https://www.elna.ai/ pour un stockage décentralisé des données.

[qoop]

@chrisaiki

Il ne reste plus qu’à l’héberger sur ICP (Internet Computer Protocol) avec https://www.elna.ai/

Pourquoi donc?
en fait …, nous pouvons faire la même chose… !

@qoop

Avec la G1 on dispose d’un système pour gérer et payer le « calcul distribué ».

Il suffit de donner un portefeuille G1 et une adresse IPFS à son ordi
Puis mettre au point le protocole de « contrôle de wallet » approprié en programme (cf G1PalPay,)
Pour finir, on l’enregistrer dans IPFS pour en faire un code « smartcontract » qui s’exécute sur les machines faisant partie de l’essaim.

[chrisaiki]

Il ne reste plus qu’à expliquer tout ça en détails pour diffuser tes connaissances, par exemple dans Learntocode

[qoop]

@chrisaiki

Il ne reste plus qu’à expliquer tout ça en détails pour diffuser tes connaissances

Pour commencer, il faut « transmuter » sa clef SSH en clef IPFS et G1 comme décrit sur ce pad.

tools/keygen - CodiMD

Cette action a pour effet de créer une toile de confiance entre les « stations IPFS » et ainsi de permettre le partage d’un secret (swarm.key) pour rendre privée les échanges de l’essaim…

Une fois la station équipée de son portefeuille, on y déclenche un programme qui surveille ce portefeuille et réalise les actions souhaitées en fonction du « montant, de la source et du commentaire » lié à la transaction.

En ce qui concerne « ICP (Internet Computer Protocol) », il suffit de définir le format des commentaires et les programmes qui s’y rattachent…

Je donne des cours et réalise des TP à ceux qui veulent s’y mettre

[chrisaiki]

Ce serait interressant d’avoir un agent ELNA (ou astroport) qui absorbe toutes les connaissances concernant la monnaie libre et soit capable de répondre aux questions des personnes qui s’interrogent sur la monnaie libre. Encore que Gemini ou Groq le font assez bien je suppose.
Nous pourrions mettre au point un set de questions pour tester le meilleur agent pour ses réponses concernant la monnaie libre.

[qoop]

@poka pour hacker un LLM, essaye la technique « macaroni »

On a reçu le hacker qui a piraté ChatGPT

parfois le modèle se met à se répéter…

J’ai ajouté le modèle phi3-128k qui normalement peut prendre 128.000 tokens de contexte (~200 pages), Mais Il faudrait au moins 64Go (au lieu de 16+8) de mémoire vive pour les exploiter au max…

et [ gurubot / llama3-guru-uncensored non censuré, mais il faut quand même feinter…

Unlimited AI Agents running locally with Ollama & AnythingLLM

Is Open Webui The Ultimate Ollama Frontend Choice?

[qoop]

@qoop

J’ai l’idée de faire un module qui permette d’'envoyer un fichier son ou video d’une réunion en visio pour transcrire l’audio en texte et en faire le résumé. Qu’en dites vous ?

Ca y est !!! record.py permet de lancer un enregistrement audio et de le convertir en texte.
Le code se trouve ici : GitHub - papiche/raspberry_ninja: Publish or capture VDO.Ninja streams with Python (Raspberry Pi, Linux, Mac, Windows WSL)

En démo sur https://vdo.copylaradio.com

Saisir un nom de ROOM et un Identifiant à votre enregistrement
Pour joindre la session, pas besoin de caméra, juste de capturer « audio interne »

Ensuite, y’a plus qu’à causer, ça écoute…
A la fin, fermer la « room » et récupérez la transcription texte
on peut indiquer la langue, ou avoir une traduction.

• « Ce qui s’est dit sur un id » : https://vdo.copylaradio.com/stt?id=10110

@Maaltir ? ça peut servir pour faciliter les transcription des visios du lundi ?

---

Evolutions…

j’utilise le modèle « small » de openai-whisper, il faudrait essayer faster-whisper, et combiner plusieurs agents LLM… On peut faire évoluer un modèle pour le personnaliser selon un fil de données… Les résultats sont bluffants, et les possibilités immenses.
Que diriez-vous de créer un « Agent IA » pour le Forum ?

Le fait d’avoir un portefeuille sur la machine permet de commander ses traitements IA en envoyant la commande avec les June… Un avantage dans ce monde du calcul distribué

[qoop]

Si vous avez un ordinateur équipé d’un GPU, voici comment disposer de son IA personnelle…

🦙 Ollama les lamas qui Redéfinissent l'Avenir de la Créativité et de l'Intelligence Artificielle !

Ollama + Open WebUI :

l’IA LLM opensource, gratuite, auto-hébergée et sécurisée sous Docker !

Ollama + Open WebUI : l'IA LLM opensource, gratuite, auto-hébergée et sécurisée sous Docker !

Une IA décentralisée en G1

Si vous avez pu suivre ce tuto, je vous propose d’ajouter des portefeuilles à votre machine et activer un essaim privé IPFS entre chacun pour proposer un service d’hébergement et « calcul distribué » en G1 !!

Cliquez sur le sondage/

• Je veux participer

[qoop]

IA : Le futur est déjà là - Stéphane Amarsy - Conférence Tilt.events

Faisons une analogie avec le choix immobilier. Opter pour une « IA à la maison » s’apparente à devenir propriétaire d’un outil de production de valeur plutôt que d’en être locataire. Cette approche offre plusieurs avantages, notamment un meilleur contrôle sur vos ressources et potentiellement des économies à long terme.

Il est important de noter, que la « loi de Moore » atteint ses limites. En effet, la finesse de gravure des processeurs approche d’une limite physique, ce qui pousse les constructeurs à adopter de nouvelles stratégies. Au lieu de réduire davantage la taille des transistors, ils se tournent vers l’augmentation de la surface des puces pour améliorer les performances[1].

Cette évolution technologique a des implications importantes pour ceux qui envisagent d’investir dans du matériel pour l’IA à domicile. Elle suggère que les investissements actuels dans le matériel pourraient rester pertinents plus longtemps, car les avancées futures seront probablement plus graduelles.

Pour ceux qui sont intéressés par cette approche « propriétaire » de l’IA, il existe des ressources et des communautés pour vous accompagner :

• CopyLaRadio (https://www.copylaradio.com) offre des formations et un soutien pour ceux qui souhaitent développer leurs compétences en IA[2].

Pour accélérer la démocratisation de l’IA. En France, plusieurs dispositifs de soutien ont été mis en place pour encourager l’adoption et le développement de l’IA :

• Le programme « IA Booster » de France 2030, qui s’adresse aux PME et ETI françaises, avec un budget de 25 millions d’euros[3].
• L’Appel à Manifestation d’Intérêt Compétences et Métiers d’Avenir (AMI CMA), qui vise à répondre aux besoins en formation dans le domaine de l’IA[3].
• Des initiatives gouvernementales pour créer des pôles d’excellence en IA dans les grandes universités françaises, soutenus à hauteur de 360 millions d’euros[4].

Ces aides peuvent offrir des opportunités intéressantes pour ceux qui souhaitent investir dans leur propre infrastructure IA.

Alors, bien que le choix entre l’IA dans le cloud et l’IA à domicile dépende de vos besoins spécifiques, l’option « propriétaire » peut offrir des avantages significatifs en termes de contrôle et de potentiel d’innovation à long terme. Avec le ralentissement de la loi de Moore et les ressources de formation disponibles, c’est peut-être le bon moment pour envisager cette option.

Citations:
[1] https://www.magellan-consulting.eu/article/ia-et-cloud-computing/
[2] Les dispositifs de financement de l'intelligence artificielle | entreprises.gouv.fr
[3] Intelligence artificielle en France : de nouveaux dispositifs de soutien | Campus France
[4] https://www.impact-ai.fr/fr/

[qoop]

Bonjour à tous,

Je voulais vous informer d’une nouvelle excitante concernant notre projet d’IA open source en monnaie libre. Le G1FabLab vient d’acquérir un PC puissant spécifiquement pour lancer la G1Entreprise Sagittarius.

Voici les caractéristiques de cette machine :

• Processeur : AMD Ryzen 9 5900X 12-Core - 3.70 GHz
• Refroidissement : Corsair H115i RGB PLATINUM
• RAM : 64 Go Corsair Vengeance LPX DDR4
• Carte mère : Gigabyte B550 Vision D
• Carte graphique : Nvidia GeForce RTX 3090
• SSD :
  • Kingston FURY Renegade PCIe 4.0 NVMe M.2 - 1 To
  • Silicon Power SSD 3D NAND A55 SLC - 4 To x 2
• Boîtier : Corsair 4000D Airflow
• Alimentation : Seasonic Focus GX 850W
• Ventilation : 3 x Corsair ML120
  

Cette configuration robuste nous permettra de proposer de l’hébergement NextCloud et le développement et l’entraînement de modèles d’IA personnels.

Selon les premiers tests, les performances sont 250% à 350% supérieures par rapport à l’Alienware 17 R4 utilisé actuellement…

Ce nouvel outil va accélérer nos progrès sur le projet « Sagittarius ». N’hésitez pas à partager vos idées ou questions concernant cette nouvelle étape !

Restez à l’écoute pour plus de mises à jour sur l’avancement du projet. Si vous souhaitez contribuer, réserver un accès ou en savoir plus sur Sagittarius, n’hésitez pas à me contacter.

[qoop]

La G1Startup va pouvoir démarrer
On va proposer les services de Sagittarius (Blockchain + NextCloud + IA) en location selon la méthode du G1Forfait

	FORFAIT COOL
PAF 1 mois	12€/mois	4€/mois
Si Abonnement 1 an	KDO : 12 DU	KDO : 12 DU
Stockage (256Go max)	128 Go	10 Go
PAF	144€	48€
Avantage	12 DU OFFERT	12 DU OFFERT

	FORFAIT JUSTE
PAF 1 mois	6€/mois	2€/mois
Abonnement 1 an min.	12 DU / an	12 DU / an
Stockage (256Go max)	128GO	10GO
PAF 1 an	72€	24€
Avantage: 1/2 PAF !!	12 DU	12 DU

	FORFAIT CARRE
PAF 1 mois	3€/mois	1€/mois
Abonnement min. 1 à 3 ans	144 DU / an	144 DU / an
Stockage (256Go max)	128GO	10GO
PAF 1 an	36 €	12 €
ou PIF 3 ans	1296 DU	1296 DU
PAF 3 ans	108€	36€

Forfait COOL est disponible à tous. Le forfait JUSTE et CARRE réservé aux membres de la toile de confiance. Sinon, choisissez de devenir « co-propriétaire », en souscrivant à une obligation sur 3 à 7 ans, convertible en part de notre « G1Startup » Sagittarius.

Formation | CopyLaRadio

bisou aux lecteurs